[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101515273B - 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 - Google Patents

提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 Download PDF

Info

Publication number
CN101515273B
CN101515273B CN200810173557XA CN200810173557A CN101515273B CN 101515273 B CN101515273 B CN 101515273B CN 200810173557X A CN200810173557X A CN 200810173557XA CN 200810173557 A CN200810173557 A CN 200810173557A CN 101515273 B CN101515273 B CN 101515273B
Authority
CN
China
Prior art keywords
data
file
file system
intelligent
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN200810173557XA
Other languages
English (en)
Other versions
CN101515273A (zh
Inventor
舒亚·M·帕特尔
保罗·A·米克塞尔
达雷恩·P·沙克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isilon Systems LLC
Original Assignee
Isilon Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isilon Systems LLC filed Critical Isilon Systems LLC
Publication of CN101515273A publication Critical patent/CN101515273A/zh
Application granted granted Critical
Publication of CN101515273B publication Critical patent/CN101515273B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/10—Indexing scheme relating to G06F11/10
    • G06F2211/1002—Indexing scheme relating to G06F11/1076
    • G06F2211/1028—Distributed, i.e. distributed RAID systems with parity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/10—Indexing scheme relating to G06F11/10
    • G06F2211/1002—Indexing scheme relating to G06F11/1076
    • G06F2211/104—Metadata, i.e. metadata associated with RAID systems with parity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)
  • Multi Processors (AREA)

Abstract

智能分布式文件系统(110)能够将文件数据存储在可像单一文件系统一样得到访问的多个智能存储单元中。该智能分布式文件系统(110)利用元数据数据结构来跟踪和管理每个文件的详细信息，包括如文件数据块的块位置和设备，从而可以允许单一文件系统内有不同级别的复制和/或冗余，便于冗余参数的改变，提供高级别的元数据保护，以及实时地复制和移动数据等等。

Description

提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法
本申请是申请日为2002年8月2日、题为“提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法”的第02816665.5号中国专利申请(国际申请号为PCT/US02/24728)的分案申请。
发明领域
本发明的系统和方法一般涉及分布式文件存储领域，尤其涉及智能分布式文件管理。
技术背景
互联网的爆炸式成长带来了新的领域，在该领域中，信息被持续地交换和访问。响应于这种增长，共享数据的规模也在增大。用户所要求的比标准HTML文档更多，他们希望访问多种数据，例如音频数据、视频数据、图像数据和编程数据。因此，存在着对在提供快速而可靠的数据访问的同时能够存储大的数据组的数据存储器的需要。
一种响应是采用可以存储大量的数据但很难提供高流量的单一的存储设备。随着数据容量的增加，访问数据的时间量也随之增加。虽然处理速度和能力已经得到提高，但是磁盘I/O(输入/输出)操作性能没有以相同的速率提高，致使I/O操作效率低下，特别是在大数据文件方面。
另一种响应是允许多个服务器利用诸如存储区域网络(SAN)解决方案的系统架构来访问共享磁盘，但是这种系统价格昂贵，并需要复杂的技术来建立并控制数据完整性(integrity)。而且还需要高速适配器来处理大容量的数据请求。
常规方法的一个问题在于，它们受到其可扩展性(scalability)的限制。因而，随着数据容量的增加，系统需要也相应增长，但是扩充费用高昂而且具有高的破坏性。
常规方法的另一共同问题在于它们的灵活性有限。这些系统通常被配置为使用预先确定的纠错控制。例如，可使用RAID(磁盘阵列)系统在物理磁盘级别上提供数据文件的冗余和镜像，因而在确定数据在哪里存储或应使用的冗余参数类型方面给管理员很少的灵活性或根本没有灵活性。
发明内容
智能分布式文件系统能够很好地将文件数据存储在能像单一文件系统一样得到访问的一组智能(smart)存储单元中。智能分布式文件系统很好地利用元数据(metadata)数据结构来跟踪和管理每个文件的详细信息，包括如文件数据块的块位置和设备，以允许单一文件系统内不同级别的复制和/或冗余，方便冗余参数的改变，为元数据提供高级别的保护，实时地复制和移动数据，等等。
本发明内容的目的、特定方面、优点和新颖的特征在本文中得到了描述。应该理解，未必所有这些优点都在本发明的任何特定的实施例中得到实现。因此，例如，本领域技术人员应意识到，可以以只实现本文中所教导的一个优点或一组优点而无需实现本文教导或建议的其他优点的方式来实现或完成本发明。
附图的简要说明
图1是本发明一个实施例的高层方框图；
图2示出了图1所示的组成部件之间的示例数据流；
图3示出了示例性的智能存储单元的高层方框图；
图4示出了示例文件目录；
图5示出了元数据数据结构的一个实施例；
图6A示出了数据位置表结构的一个实施例；
图6B示出了数据位置表结构的另一个实施例；
图6C示出了数据位置表结构的又一个实施例；
图6D示出了数据位置表结构的再一个实施例；
图7A示出了用于目录的元数据数据结构的一个实施例；
图7B示出了用于文件的元数据数据结构的一个实施例；
图8A示出了数据位置表的一个实施例；
图8B示出了数据位置表的另一个实施例；
图8C示出了数据位置表的又一个实施例；
图9示出了带有相应的示例数据的文件的示例元数据数据结构；
图10示出了用于检索数据的流程图的一个实施例；
图11示出了的用于实现名称解析的流程图的一个实施例；
图12示出了用于检索文件的流程图的一个实施例；
图13示出了用于创建奇偶校验信息的流程图的一个实施例；
图14示出了用于实现纠错的流程图的一个实施例。
其中，图2中的附图标记含义如下：
A：用户请求文件
B：交换机看到请求并转发到可用的智能存储单元0
C：智能存储单元0接收请求
D：智能存储单元0为目录元数据查询智能存储单元2
E：智能存储单元0接收目录元数据
F：智能存储单元0查询用于目录元数据的智能存储单元3
G：智能存储单元0接收目录元数据
H：智能存储单元0检索文件元数据
具体实施方式
以下将参照附图对代表了本发明的一个实施例和示例应用的系统和方法进行说明。对该系统和方法的变换所代表的其它实施例也将得到描述。
为说明的目的，一些实施例将在互联网内容-传送和网络托管(webhosting)的背景中描述。发明人期望本发明不受使用本系统和方法的环境类型的限制，本系统和方法可使用在其他环境中，诸如，举例来说，互联网、万维网、医院专用网络、政府机构广播网、合作企业互连网、企业内部互联网，局域网，广域网等等。然而，在涉及本发明的实施例的说明书和附图中，背景环境是互联网内容-传送和网络托管。也应意识到，在其他的实施例中，所述系统和方法可作为单一的模块实现并且/或者可以其他各种模块等协同实现。而且，本文所描述的特定的实现方式为说明的目的而提出的，它并不是对本发明的限制。本发明的范围由所附权利要求来定义。
现在将参照上面简要描述的附图来描述这些和其它的特征。附图和相关的说明被提供用来阐明本发明的实施例，但其不限制本发明的范围。在全部附图中，参考标号可被重复使用以指明所参考部件间的对应关系。另外，每个参考标号的第一个数字一般都表示该部件第一次出现的图。
I.概述
本发明的系统和方法提供了智能分布式文件系统，其能够在一组可作为单一文件系统得到访问的智能存储单元中存储数据。该智能分布式文件系统跟踪和管理每个文件的详细的元数据。元数据可以包括涉及和/或描述文件的任何数据，例如，包括设备和块位置信息在内的文件数据块的位置、元数据和/或数据块(如果有的话)的冗余备份的位置、纠错信息、访问信息、文件名、文件的大小、文件类型，等等。另外，对该由文件系统管理的不同文件和/或数据块，智能分布式文件系统允许进行不同级别的复制和/或冗余，从而方便了系统激活时冗余参数的改变，并能够实现元数据和数据的实时复制和移动。进一步，通过从智能存储单元组中定位和收集文件数据，各智能存储单元都可响应文件请求。
在存在大量的读(READ)请求的情况下，特别是其与写(WRITE)请求成比例的情况下，智能分布式文件系统可以很好地提供对数据的访问。这是由于增加了锁定智能的智能存储单元组以及对单个智能存储单元的浏览的复杂性从而保证了一致性。此外，在对大的数据块的请求很普遍的期间，智能分布式文件系统能够很好地对块的交互进行处理。
一些实施例的一个好处是，用于文件和目录的元数据由智能分布式文件系统管理和访问。元数据可指出用于目录或文件的元数据被定位在哪里、内容数据存储在哪里、元数据和/或内容数据的镜像备份存储在哪里、以及与系统相关的奇偶校验或其他纠错信息存储在哪里。可使用如设备和块位置信息来存储数据位置信息。因而，智能分布式文件系统可通过利用分布和存储在智能存储单元组中的元数据来定位和检索被请求的内容数据。另外，因为智能分布式文件系统可以访问元数据，因而智能分布式文件系统可被用于选择数据被存储的位置并根据请求来移动、复制和/或改变数据而不对智能存储单元组产生破坏。
一些实施例的另一个好处是，用于每个文件的数据可跨越几个智能存储单元存储并以时序的方式访问。用于每个文件的数据块可能分布在智能存储单元的子集中，这样数据存取时间就可减少。进一步，不同的文件可能跨越不同数量的智能存储单元以及跨越不同智能存储单元组而分布。这种架构使智能分布式文件系统能够根据诸如文件的大小、重要度、预期访问速率，以及可用的存储容量、CPU利用率和每个智能存储单元的网络利用率等因素而智能地存储数据块。
一些实施例的另外的益处是，该系统和方法可被用于对数据块或文件提供不同的保护方案，例如纠错、冗余和镜像，以使存储在智能存储单元之中的不同的数据块或文件可以有不同的保护类型。例如，一些目录或文件可以被镜像，其他的目录和文件可利用不同的错误或丢失纠正方案的错误和/或丢失(loss)纠正数据而得到保护，以及其它较不重要的目录或文件可能不使用任何保护方案。
一些实施例的进一步的好处是该系统和方法可实时地增加、删除和/或修改智能存储单元而不破坏或中断正在进行的数据请求。因而，在需要更多的存储器时，附加的智能存储单元可实时地加到智能存储单元组并且并入到智能分布式文件系统中，而不打断文件请求或使现有的智能存储单元离线。在现有文件的数据块或新文件被智能分布式文件系统跨越现在已包括了新的智能存储单元的智能存储单元组分布的同时，现有的智能存储单元可处理对文件的请求。
一些实施例的另外的益处是，通过将数据块复制在一个或多个智能存储单元上，该系统和方法可实现对这些块的存储的实时修改，因而为任何单独的数据块创造了多点访问。这种复制有助于减少已被观测的频繁访问模式下用于文件或文件组的单个智能存储单元的CPU利用率和网络资源需求。这些访问模式被智能存储单元监测，并且智能分布式文件系统为智能存储单元提供了在智能分布式文件系统依旧工作的同时复制这类数据的灵活性。
II.示例操作
为说明的目的，现在讨论一个其中使用了正在运行的智能分布式文件系统的示例场景。在该示例场景中，智能分布式文件系统由一家通过互联网网站提供电影下载的公司使用。该公司可使用智能分布式文件系统来存储和管理由消费者经网站访问的可下载的电影及电影预告片、广告和消费者信息的拷贝。数据可以按照不同的保护级别得到存储，并且可以跨越多个智能存储单元存储以进行快速访问。
例如，该公司可能想要在智能分布式文件系统中跨越几个智能存储单元地存储客户调查电子邮件以提供对这些电子邮件的快速访问。然而，该公司可以保留全部电子邮件的备份带并可能感到对客户调查立即恢复并不是很重要的。该公司可能指示智能分布式文件系统不对客户调查电子邮件使用纠错或镜像保护。因此，如果一个或更多的智能存储单元变得不可访问，该公司可能感到将这些智能存储单元上的访问客户调查电子邮件延迟到电子邮件可从备份带中恢复为止是可接受的。
为进行广告，该公司可能指示智能分布式文件系统使用高纠错参数，这样如果一个或更多的智能存储单元出现故障，则智能分布式文件系统可以恢复数据而不打断广告的显示。例如，该公司可能依据不同的容错测量结果以帮助确定对特定的文件需要提供多少保护。对于重要的信息，该公司可能想确保容错水平X，而对重要性较低的信息，公司想要确保容错水平Y，其中X＞Y。应意识到，容错是被用于说明可靠性的一种测量方法，但可以使用附加于或代替容错的其他方法。因此，即使一个或更多的智能存储单元出现故障，该公司也可以向其广告客户可靠地保证广告的可用性。
对于顶级电影下载，该公司可有利地建立智能分布式文件系统以自动存储电影数据的多重拷贝，从而使更多的客户能够访问数据并保证如果一个或更多的智能存储单元出现故障，那么丢失的数据可从其他单元重建或恢复。另外，如果请求的数量增加并且/或者一个或更多的智能存储单元开始充满对驻留在智能存储单元上的数据的请求，则可创建顶级电影下载的另外拷贝并将其存储在智能存储单元之中。
该公司可选择提供其他不是如此流行的电影，并可能由于较少的请求而指示智能分布式文件系统存储较少量的拷贝。进一步，随着“顶级下载电影”变得不那么流行，该公司可有利地建立智能分布式文件系统以从存储电影的智能存储单元上删除电影的额外拷贝，并将“较不流行的”电影移动至性能较低的智能存储单元(例如，那些可用磁盘空间较少的智能存储单元)。智能分布式文件系统可被设定以利用智能存储单元自动地照顾这些任务。
另外，随着该公司获得更多的电影，该公司可能为智能分布式文件系统增加额外的智能存储单元。然后，该公司可能使用新的智能存储单元以存储更多的电影、存储现有电影的更多拷贝并且/或者重新分配现有的电影数据以改善响应时间。增加的智能存储单元被合并到智能分布式文件系统中，这样即使智能分布式文件系统管理和存储多组智能存储单元中的数据，智能分布式文件系统也作为单一的文件系统出现。
本例中，智能分布式文件系统为该公司提供了对顶级电影下载的可靠的和快速的访问、对较不流行的电影的快速访问以及客户调查电子邮件访问的能力。对每个文件，该公司可能设置错误和/或丢失纠正参数并可选择应存储多少文件的附加拷贝。在某些情况下，该公司可能手工地选择应存储的数据拷贝数并确定存储数据的地方。在其他的情况下，该公司可能依赖智能分布式文件系统的特性以选择应存储的数据拷贝数、将使用的错误和/或丢失纠正方案(如果有的话)，以及/或者数据应存储的位置。因而，该公司能有效地使用其存储空间而更好地响应用户的请求。存储空间不被浪费在稀少的请求文件上，并且不为不重要的文件生成和存储纠错信息。
尽管上面的例子涉及提供用于下载的电影的公司，但应该意识到，该例子只是用于说明智能分布式文件系统的一个实施例的特性。进一步，智能分布式文件系统也可在其他的环境中使用，并可能使用其他类型的数据和/或其结合，包括例如声音文件、音频文件、图形文件、多媒体文件、数字相片、可执行文件，等等。
III.智能分布式文件系统
图1示出了智能分布式文件系统110的一个实施例，其与网络服务器120通信以提供远程文件访问。智能分布式文件系统110可使用多种协议，例如NFS(网络文件系统)或CIFS，与网络服务器120通信。用户130经通信介质140(例如互联网145)与网络服务器120交互，以请求被智能分布式文件系统110管理的文件。示例的智能分布式文件系统110使用了交换部件125，交换部件125与一组智能存储单元114以及网络服务器120通信。智能分布式文件系统110使单独文件的数据块能够跨越多个智能存储单元114分布。数据被存储以使对数据的访问可以比数据被存储在单一的设备上提供较高的流量。另外，智能分布式文件系统110可被用于存储利用各种保护方案得到存储的各种的数据文件。
示例的智能分布式文件系统110在一组智能存储单元114中存储数据。为更详细描述智能存储单元114，请参考下面标题为“智能存储单元”的部分。
示例的智能分布式文件系统使用诸如负载平衡交换机的交换部件125，交换部件125为请求指明能处理被请求的数据类型的应用服务器。使用高速技术将引入的请求转发到适当的应用服务器以使延迟最小，从而保证数据的完整性。
应该意识到可以使用不同的负载平衡交换机125，例如，1000Base-T(铜)千兆比特负载平衡以太网交换机、Extreme Networks Summit7I、Foundry Fast Iron II、北电网络的Alteon ACE交换机180、F5Big-Ip)以及标准以太网交换机或其他的负载平衡交换机。智能分布式文件系统使用支持大帧尺寸(例如“jumbo”以太网帧)的交换机。另外，可使用Foundry网络公司的SERVER IRON交换机、Asante公司的InstraSwitch6200交换机，Asante公司的HotStack、CISCO公司的Catalyst交换机及其他的商业产品和/或私有的产品来实现负载平衡交换机125。然而，本领域的普通技术人员将意识到，也可以使用很大范围的交换部件125，或使用其他技术。此外，应该意识到，也可配置交换机部件125以传输不同大小的网络帧。
高度重要的文件可能用高纠错参数存储，在磁盘、主板、CPU、操作系统或其它硬件或软件出现故障而阻止了对一个或更多的智能存储单元的访问时，该纠错参数为数据提供了高的恢复率。如果数据丢失或缺少，智能存储单元114可使用元数据中的冗余信息或镜像信息以从另外的单元获得数据或重建数据。高需求的文件可实时地跨越另外的智能存储单元114而被镜像，从而提供平稳的更高的流量。
在智能分布式文件系统110的一个实施例中，元数据数据结构至少受到与它引用的数据(包括与元数据数据结构相应的目录的任何下属内容)一样的保护。由于如果没有元数据数据结构则很难恢复数据，因此元数据数据结构中的数据丢失会危害智能分布式文件系统110。在智能分布式文件系统110中，元数据数据结构的替代拷贝可根据需要被镜像于很多单元中以提供必需的保护。因而，带有奇偶校验保护的文件可能使它的元数据数据结构以至少与奇偶校验保护相同或更好的方式得到存储，并且被镜像两次的文件可能使它的元数据结构至少被镜像在两个单元中。
尽管图1示出了智能分布式文件系统110的一个实施例，应该意识到，也可以采用其他的实施例。例如，可以采用另外的服务器，如可与交换部件125通信的应用服务器。这些应用服务器可能包括如音频流服务器、视频流服务器、图像处理服务器、数据库服务器，等等。此外，可能有另外的设备，例如与交换部件125通信的工作站。另外，尽管图1示出的智能分布式文件系统110与四个智能存储单元114协同工作，应该意识到，智能分布式文件系统110也可与不同数目的智能存储单元114协同工作。
还应意识到术语“远程”可包括非本地存储(也就是不能通过本地总线访问)的设备、部件和/或模块。因而，远程设备可包括物理上位于同一房间并经诸如交换机或局域网的设备连接的设备。在其他情况下，远程设备也可位于分离的地理范围内，例如在不同的位置、国家等等。
也应该意识到，可使用智能分布式文件系统110存储多种类型的数据。例如，智能分布式文件系统110可与大的文件应用程序一起使用，例如，视频点播(video-on-demand)、在线音乐系统、网站镜像、大的数据库、大的图形文件、CAD/CAM设计、软件更新、公司介绍(corporatepresentation)、保险请求文件、医疗成像文件、公司文件存储等等。
图2示出了一种示例环境，其中网站用户130提交了观看数字视频点播的请求。在事件A中，用户130通过互联网145向网站发送请求，请求观看电影mymovie.movie的拷贝。该请求被网站服务器120接收，并且服务器120确定该文件位于movies\comedy\mymovie.movie。在事件B中，智能分布式文件系统110的交换部件125看到该请求而连接到智能分布式文件系统110，并使用标准负载平衡技术将该请求转发到可用的智能存储单元114，如智能存储单元0。在事件C中，智能存储单元0接收对文件/DFSR/movies/comedy/mymovie.movie的请求，并从它的根元数据数据结构(用于根目录/DFSR)确定出用于子目录movies(电影)的元数据数据结构被存储在智能存储单元2。在事件D中，智能存储单元0发送请求到智能存储单元2，请求用于子目录comedy(喜剧)的元数据数据结构的位置。在事件E中，智能存储单元0收到信息，用于子目录comedy(喜剧)的元数据数据结构被存储在智能存储单元3。在事件F中，智能存储单元0发送请求到智能存储单元3，请求用于文件mymovie.movie的元数据数据结构的位置。在事件G中，智能存储单元0收到这样的信息：用于文件mymovie.movie的元数据数据结构被存储在智能存储单元0内。智能存储单元0随后从本地存储器中检索出用于文件mymovie.movie的元数据数据结构。从该元数据数据结构中，智能存储单元0检索出用于文件mymovie.movie的数据位置表(data location table)，该数据位置表中保存有文件中的各个数据块的位置。智能存储单元0随后使用数据位置表信息以开始检索本地存储的块并发送对存储在其他智能存储单元上的数据的请求。
在文件的数据或数据的一部分被检索之后，文件数据被发送到请求服务器120以被转发给请求的用户130。在一个例子中，文件数据可能被发送到视频流服务器，其可调节数据在何时以何方式被发送到用户130。应该意识到，在一些实施例中，利用预读(read ahead)技术以检索更多的数据，然后被请求从而减少等待时间是有利的。
IV.智能文件系统结构
表1示出了一组示例的文件系统层的一个实施例，通过该文件系统层，文件请求被处理以访问物理存储设备。示例的文件系统层包括用户层、虚拟文件系统层、本地文件系统层、本地文件存储层和存储设备层。
Figure G200810173557X01D00111
表1
在一类文件请求中，请求通过用于文件共享的用户层协议应用程序被接收，用户层协议如HTTPD(Apache全球网服务)、FTPD或在Unix上使用的实现了微软公司的Windows文件共享服务器协议的一个版本的SMBD。用户层协议应用程序通过例如对libc(C运行时期库)的函数调用来实现核心层的操作，如打开、读、搜索、写或关闭系统调用。
系统调用被传送到虚拟文件系统层(“VFS”)，虚拟文件系统层则维持了缓冲存储器。缓冲存储器可以是如最近最少使用的(“LRU”)高速缓冲存储器，其用于存储从较低的文件系统层接收的数据或元数据数据结构。
下一层是本地文件系统层，该层维护文件系统的等级命名系统(hierarchical naming system)并发送目录和文件名请求到下层，即本地文件存储层。本地文件系统层处理元数据数据结构的查找和管理。例如，在一些系统中，例如在基于Unix的文件系统中，元数据数据结构是文件的概括，包括与文件访问许可、数据块位置和参考计数有关的信息。一旦利用其名字打开了文件，其它的文件操作利用唯一的标识符来引用文件，该标识符标识出了用于特定文件的元数据结构。这种方法的益处是，单个文件可能有许多不同的名字，单个文件可通过不同的路径访问，并且可复制新文件以覆盖VFS命名空间中的旧文件，而不会经标准UNIX用户层应用程序(例如，‘MV’命令)而覆盖实际的文件数据。在诸如内容-传送和网络托管的环境中，这些益处可能更有利，因为内容可在适当的位置更新而不会破坏当前的内容服务。元数据数据结构内的参考计数使系统只在打开的文件柄全部被关闭时才能够无效该数据块。
第四层是本地文件存储层，其控制“缓冲器请求到块请求”的翻译以及数据缓冲器请求的管理。例如，本地文件存储层使用块分配方案来改善并最大化用于写和读的流量，以及用于读的块检索方案。
最后一层是存储设备层，其托管(host)文件系统使用的用于磁盘硬件的特定块的设备驱动器，例如，如果物理存储设备是ATA磁盘，那么存储设备层托管ATA磁盘驱动程序。
V.智能存储单元
在一个实施例中，智能存储单元114是即插即用(plug-and-play)的、高密度的、可架式安装的应用设备，其对高流量数据传送是优选的。智能存储单元可被配置成与各种其他的智能存储单元通信以提供单一的虚拟文件系统。随着所需存储空间的增多或一个或更多的智能存储单元出现故障，另外的智能存储单元可被安装而不会使整个系统关机或导致服务中断。
如本文所使用的，字模块是指嵌入在硬件或固件中的逻辑或由程序设计语言(例如C或C++)编写的、可能具有进入点和退出点的软件指令的集合。软件模块可能被编译并连接为可执行程序，此可执行程序可安装在动态连接库中，或由解释性程序设计语言例如Basic、Perl或Python编写。应该意识到软件模块可能被其他模块或自身所调用，并且/或者可响应检测到的事件或中断而被调用。软件指令可能被嵌入在固件(例如EPROM)中。应该进一步意识到，硬件模块可能包含逻辑连接单元，例如门和触发器，和/或可能由可编程单元(例如可编程门阵列或处理器)组成。本文描述的模块优选地由软件模块实现，但也可能在硬件或固件中出现。
图3示出了智能存储单元114的一个实施例，其包括管理模块320、处理模块330、缓冲器340，堆栈350和存储设备360。示例的智能存储单元114可被配置成与交换部件125通信，发送和接收如图1所示的请求。
A.管理模块
在一个实施例中，智能存储单元包括用于执行管理任务的管理模块320，这些任务例如安装、参数设置、智能分布式文件系统监控，发生在智能分布式文件系统110上的事件的记录以及升级。
B.处理模块
示例的处理模块330可被配置为接收对数据文件的请求，检索本地和/或远程存储的关于被请求的数据文件的元数据，并检索本地和/或远程存储的被请求数据文件的数据块。另外，在一个或更多的被请求数据块损坏或丢失时，处理模块330还可完成数据恢复和纠错。
在一个实施例中，处理模块330包括响应文件请求的五个模块，块分配管理器模块331、块缓冲模块333、本地块管理模块335、远程块管理模块337和块设备模块339。
1.块分配管理器模块
块分配管理器331模块确定在哪里分配块，响应READ(读)请求对块进行定位，以及引导设备进行故障恢复。关于在哪里分配块的信息可以由缺省参数所设置的策略、系统管理员利用工具(例如图形用户界面或外壳接口)设置的策略、或这些策略的组合确定。在一个实施例中，块分配管理器331驻留在本地文件系统层并与标准网络软件层(例如TCP/IP和以太网)配合工作，和/或代替加州大学柏克利分校软件设计通用文件系统(“BSD UFS”)。
示例的块分配管理器331包括3个子模块，块请求翻译模块、预分配(forward allocator)模块和故障恢复模块。
a.块请求翻译模块
块请求翻译模块接收引入的读请求，完成名称查找，定位适当的设备，并从该设备取出数据以完成请求。如果数据是直接可用的，块请求翻译模块依据数据块是存储在本地存储设备还是存储在其它的智能存储单元的存储设备上，以发送数据请求到本地块管理器模块或到远程块管理器模块。
在一个实施例中，块请求翻译模块包括名称查找过程，其将在哪下面标题为“智能分布式文件系统过程-名称查找处理”中得到讨论。
块请求翻译模块也可能对设备故障做出响应。例如，如果设备关机，则块请求翻译模块可使用如奇偶校验信息请求可用于重构数据的本地的和远程的数据块。因而即使READ不能被执行，数据也可被生成。另外，块请求翻译模块可与故障恢复模块通信，这样故障的恢复模块可使用奇偶校验或其他的错误或丢失纠正数据来重建数据并跨越智能分布式文件系统的自由空间地为损失纠正数据重新划分带区(re-stripe)。在其他的实施例中，块请求翻译模块可能请求出错或丢失数据的干净拷贝。
b.预分配模块
预分配模块根据诸如冗余、空间和性能等因素确定应被用于写请求的设备的块。这些参数由系统管理员设置、可以从嵌入在智能分布式文件系统110中并作为智能分布式文件系统110的逻辑而使用的信息中获得，或可以从其组合中获得。预分配模块110接收来自于其他使用智能分布式文件系统的智能存储单元的统计数据，并使用这些统计数据决定存放新来数据的最好位置。被收集的统计数据包括如所测量的CPU利用率、网络利用率和磁盘利用率。
预分配模块还可根据远程智能存储单元的应答时间而从远程块管理器模块接收等待时间信息。如果中间设备的等待时间相对于其他智能存储单元达到高水平，如果可能，则根据冗余设置，分配方案可能被调整以有利于其他的智能存储单元减少对慢的智能存储单元的使用。在一个有利的例子中，智能分布式文件系统可能已将数据块从一个智能存储单元移动到另外的智能存储单元，并相应地更新了对应的元数据结构。等待时间条件可能被记录系统记录并报告给系统管理员。慢的链接条件的原因可能是诸如劣质的网卡、错误的双工协商或设备数据被相对频繁地读或写。
可使用多种策略确定在什么地方存储数据。这些策略可依据系统的目的进行调整，例如，遵照系统管理员设置的参数、满足已选择的冗余水平和/或性能改进。下面提供了可被预分配模块采用以存储数据的几个示例性的策略。应该意识到，可采用的策略很多，它们并且可以与下文讨论的结合使用，也可在其之外。
预分配模块可包括跨越多个智能存储单元的用于划分数据带区的分配方案。对数据划分带区是普通的技术，其通常使用在高端RAID存储设备上，但也在有多个磁盘的单用户工作站机器上使用。划分数据带区简单地意味着文件数据的不同部分存在于和/或被存储在不同的存储设备或磁盘上。划分数据带区的优势是当读请求跨越分配于多个磁盘上的块时，每个磁盘都分担数据检索的总流量。利用典型的系统，划分数据带区是在软件设备层上完成的。也就是说，文件系统中没有关于划分数据带区的信息。只有文件系统下面的软件层明白该结构。在硬件的一些特定块中，这种划分是在比软件设备层更低、实际是在硬件层上完成的。在智能分布式文件系统110中，文件系统自身可处理数据带区的划分。这种实现为划分数据带区配置提供了更大的灵活性。作为示例，典型的RAID技术的局限之处在于，所有的磁盘必须是一样大小的并具有相同的性能特征。这些约束对于保证数据跨越设备地均匀分布是必须的。为更详细地讨论RAID，请参考由PAUL MASSIGLIA撰写的“RAID BOOK”，第六版(1997)，该文也被引入本文以作为参考。
利用智能分布式文件系统110，不同的智能存储单元114可使用不同的磁盘和不同大小的磁盘并将其加入到文件带区中。预分配模块使用性能度量标准或预置规则，在根元数据数据结构中查寻磁盘设备信息并计算文件数据所跨越的智能存储单元的数目。然后预分配模块可分配文件的数据块到一组智能存储单元中。
预分配模块也可还包括用于奇偶校验或其他错误或丢失纠正保护的分配方案。在大多数RAID系统中，当文件带区被使用时，奇偶校验保护也可被使用，以使除一个以外的所有磁盘可被用于数据存储。最后一个磁盘纯粹用于奇偶校验信息。该奇偶校验信息通常利用对跨越所有数据磁盘的每个数据块按位异或(“XOR”)来计算。当磁盘故障发生时，该奇偶校验信息用于实现数据恢复。通过对剩余的磁盘数据块和奇偶校验信息按位XOR可重新计算丢失的数据。在典型的RAID系统中，数据是不可恢复的，直到替换磁盘被插入到阵列中以重建丢失的数据为止。
利用智能分布式文件系统110，由于奇偶保护发生在文件系统层而不是软件设备层，因此丢失的数据可被重新计算并重写在其余智能存储单元的其他部分的未用空间中。如果没有足够的未用空间来重写数据，奇偶校验数据可能被重新计算的数据覆盖，并且冗余比最初的水平下降的事实可被记录和/或报告给系统管理员。
预分配模块可能还包括用于镜像数据的分配方案，也就是在不同的智能存储单元上制造可用数据的多个拷贝。预分配模块可能使用一种分配方案以利用在存储空间、网络利用率、和/或CPU利用率方面使用较少的智能存储单元对跨越智能存储单元的数据块的位置进行负载平衡。镜像可提供增加的性能和增加的容错。如果要求对特定的内容块进行镜像，预分配模块分配用于最初数据及镜像数据的空间。如果要求大于1的容错水平，预分配器可利用容错计算并产生数据带区的镜像，以逻辑地划分智能存储单元或智能存储单元的子集。例如，如果在智能分布式文件系统110中有10个智能存储单元114，并且要求容错为2，那么预分配器可以逻辑地将智能分布式文件系统分为两部分，每部分带有5个智能存储单元，使数据带区在每个部分中跨越四个智能存储单元，并使用每个部分中的第5个智能存储单元作为奇偶校验磁盘。智能存储单元的这种划分可被称为阵列镜像切分。
c.故障恢复模块
故障恢复模块实时地重新配置智能分布式文件系统110，以恢复由于设备故障而不再有效的数据。在维护性能的同时，故障恢复模块可实现重新配置而不中断服务，并可在短的时间周期内将数据恢复到所需的冗余水平。
如上面所讨论的，远程块管理器模块337检测故障并将这类故障的通知传送到故障恢复模块。对于最初的故障，故障恢复模块定位不能满足系统管理员设置的或智能分布式文件系统110设置的冗余参数的任何数据块。
首先，能从奇偶校验信息中重新创建的数据被重新创建，并且请求被发送到预分配模块以分配用于新数据空间。预分配器监测CPU和网络利用率并开始积极地操作直到CPU和网络利用率达到预定标志为止。该预定标志可能是系统管理员设置的或依据如计算机处理器等因素预先设置的。一旦达到该标志，故障恢复模块可有利地在标志的时间以能达到的速率重新计算数据，以减少对智能存储单元性能的冲击。
如果最近故障设备重新联机，故障恢复模块与被恢复设备的远程块管理器模块337通信以检验数据的完整性并修正任何不一致。
智能分布式文件系统110也可支持热备用设备(hot standby device)的进入。热备用设备是空闲的存储设备，其在当前不处理任何数据存储，但在设备故障时其将被投入使用。在这样的情况下，故障恢复模块可通过与热备用设备的远程块管理器模块337进行通信，从而利用热备用设备重建丢失的数据。
2.块缓冲模块
块缓冲模块333管理数据块、名称查找和元数据数据结构的缓冲。在一个实施例中，块缓冲模块333与BSD虚拟文件系统缓冲存储器联合工作或代替它工作。
块缓冲模块333可使用最近最少使用缓冲算法来高速缓冲数据块和元数据数据块，但应该意识到还有多种缓冲算法可以使用，例如，频率缓冲。块缓冲模块333可依据哪个性能最好而确定使用哪种块缓冲算法。而在其他的实施例中，算法可能被设置为默认的。
最近最少使用缓冲(“LRU”)是在大多数系统中使用的典型的缓冲方案。LRU依据这样的原理工作，即，一旦数据被访问，就很可能被再次访问。因而，数据按其最后使用的顺序而被存储，这样最长时间没有被访问的数据被丢弃。
频率缓冲存储被最频繁访问的数据。因为磁盘写是相对地时间集中的操作，可通过在元数据数据结构中跟踪访问频率来获得附加性能并根据访问频率进行缓冲。
另外，块缓冲模块333可利用特征为所请求的数据比所需要的数据更多的“点播(on demand)”协议或“预读(read ahead)”协议。块缓冲模块333可发送对一组数据的请求并请求该组数据的一定数量的前置数据。例如，块缓冲模块333可执行预读，例如一个报文预读，二个报文预读、十个报文预读、二十报文预读等等。在其他的实施例中，块缓冲模块333可根据请求的等待时间来使用预读技术。例如，块缓冲模块333可执行K个报文预读，其中K是利用读速率和链路的等待时间计算出来的。块缓冲模块333也可利用其他根据CPU和网络利用率的算法来确定预读数据的大小。此外，块缓冲模块可使用设置缓冲协议(set cachingprotocol)，或可改变缓冲协议以响应系统的性能水平。
缓冲器340可用由通用多用户操作系统提供的默认大小来实现或更改默认大小以不同程度地增加缓冲块大小，但不能严重地冲击系统性能。这样的调整可通过不同的性能测试来决定，这些性能测试依赖例如被存储的数据的类型，处理速度、在智能分布式文件系统中的智能存储单元的数量和被使用的保护方案等因素。
3.本地块管理器模块
本地块管理器模块335管理本地存储在存储设备360上的数据块的分配、存储和检索。本地块管理器335可执行零拷贝文件读以将数据从磁盘移动到存储设备360的另外的部分(例如，网卡)，从而改善性能。本地块管理器335还可基于所使用的存储设备360来实现调整，以提高性能。在一个实施例中，本地块管理器模块335驻留在本地文件存储层并可与FreeBSD快速文件系统联合使用或替代它使用。
4.远程块管理器模块
远程块管理器模块337管理设备间通信，包括例如块请求、块应答和远程设备故障检测。在一个实施例中，远程块管理器模块337驻留在本地文件系统层。
在一个实施例中，智能存储单元114可能通过远程块管理器337与智能分布式文件系统110中的其他的智能存储设备114连接和/或通信。
远程块管理器模块337可使智能存储单元114能够经诸如TCP的连接而相互对话。在一个实施例中，每个智能存储单元之间至少有二个TCP连接，一个用于文件数据传输，一个用于控制报文传输。双通道TCP通信架构的优势在于，只要数据块以页大小的倍数形式发送，数据就可经DMA(直接存储器存取)传送直接从网络接口卡发送到系统内存，并经DMA传送从系统内存发送到系统的其他部分(可能又是网络接口卡)而无需将数据从系统内存的一个部分复制到其它部分。这是因为由于该信息是在控制通道传送的，因而其不包含非-数据报头或识别信息，从而无需使用CPU解析数据报文。在高性能服务器和操作系统中，这些从系统内存的一部分到另外部分的内存拷贝是对系统性能的严重限制。
在一个实施例中，远程块管理器模块337使用报文通信进行通信，报文通信利用了例如数据块访问报文(如READ，READ_RESPONSE，WRITE，和WRITE-RESPONSE)、元数据访问报文(例如，GET_INODE，GET_INODE_RESPONSE，SET_ADDRESS，GET_ADDRESS，以及INVALIDATE_INODE)、目录报文(如，ADD_DIR和REMOVE_DIR)、状态报文、以及其他类型的各种报文。
虽然以上讨论了双通道协议，但应该意识到也可使用其他的通信协议以在智能存储单元114之间进行通信。
5.块设备模块
块设备模块339托管(host)用于被文件系统使用的特定磁盘硬件的设备驱动程序。例如，如果物理存储设备是ATA磁盘，那么块设备模块339托管ATA磁盘驱动程序。
C.缓冲器
高速缓冲存储器或高速缓冲器340可由本领域中所周知的多种产品实现，例如，1G的RAM高速缓冲。图3所示的缓冲器340可以存储最近被访问的或在设定的时间量内将被访问的数据块。缓冲器340可由高速存储机构，如静态RAM设备、动态RAM设备、内部缓存、磁盘高速缓存，以及其它类型的多种设备来实现。通常，从缓冲器340访问数据比访问非易失性存储设备的时间要快。缓冲器340存储数据，这样如果智能存储单元114需要从存储设备360访问数据，可首先被检查缓冲器340，看数据是否已经被检索。因而，使用缓冲340可改善智能存储单元在检索数据块时的性能。
D.网络堆栈
在一个实施例中，智能存储单元310还包括网络堆栈350，其使用协议(例如TCP/IP)处理引入的和输出的报文通信量。然而，应该意识到，也可使用其他的协议或数据结构来实现堆栈350。
E.存储设备
存储设备360是可用于存储数据块的非易失性存储设备。存储设备360可使用本领域公知的多种产品实现，例如4个1.25GB的ATA100设备，SCSI设备，等等。另外，用于智能分布式文件系统110中的智能存储单元114的存储设备360的大小可以相同，或者也可不同于智能存储单元114的大小。
F.系统信息
在一个实施例中，智能存储单元114运行在能够使智能存储单元114与其他智能存储单元114通信的计算机上。该计算机可能是使用一个或多个微处理器的通用目的计算机，例如，奔腾处理器、奔腾II处理器、奔腾Pro处理器、奔腾IV处理器、xx86处理器，8051处理器，MIPS(每秒百万条指令)处理器，强力PC处理器、SPARC处理器、Alpha处理器等等。
在一个实施例中，处理器单元运行源代码开放的FreeBSD操作系统并执行标准的操作系统功能，如打开、读、写和关闭文件。应该意识到，也可以使用其他的操作系统，例如，微软公司的
Figure G200810173557X01D00211
Figure G200810173557X01D00212
3.X、
Figure G200810173557X01D00213
Windows 98、
Figure G200810173557X01D00215
2000、
Figure G200810173557X01D00216
Figure G200810173557X01D00217
NT、
Figure G200810173557X01D00218
CE、
Figure G200810173557X01D002111
ME、PALM公司的Palm Pilot OS、苹果公司的
Figure G200810173557X01D002112
Figure G200810173557X01D002113
磁盘操作系统(DOS)、UNIX、IRIX、Solaris、SunOS、FreeBSD、或IBM公司的
Figure G200810173557X01D002115
OS/
Figure G200810173557X01D002116
操作系统。
在一个实施例中，计算机装备有常规的网络连接，例如，以太网(IEEE802.3)、令牌环网(IEEE 802.5)、光纤分布式数据连接接口(FDDI)、或异步传输模式(ATM)。进一步，计算机可被配置为支持多种网络协议，如基于UDP/TCP的NFS v2/v3、
Figure G200810173557X01D002117
CIFS、HTTP(超文本连接协议)1.0、HTTP.1.1、DAFS、FTP(文件传送协议)等等。
在一个实施例中，智能存储设备114包括单或双CPU 2U可架式安装的配置、多个ATA100接口、以及支持超大(jumbo)的9K以太网帧的1000/100网络接口卡。然而，应该意识到，也可以使用不同的配置。
VI.智能分布式文件系统数据结构
图4示出了可与智能分布式文件系统一起使用的示例目录结构。在该例中，根目录(ROOT directory)被命名为“DFSR”并包括多个子目录IMPORTANT(重要文件目录)、TEMP(临时目录)和USER(用户目录)。子目录IMPORTANT包括子目录PASSWORD(口令目录)和CREDITCARD(信用卡目录)。文件USER.TXT和ADMIN.TXT存储在PASSWORD子目录内。因而，USER.TXT文件的地址是：
/DFSR/IMPORTANT/PASSWORDS/USER.TXT
关于目录和文件的信息或元数据由智能分布式文件系统110存储和维护。
A.元数据数据结构
图5示出了用于存储元数据的示例数据结构510。该示例数据结构510存储了下列各项信息：
  字段   描述
  Mode(模式)   文件的模式(例如常规文件、特定的块、特殊字符、目录、符号链接、先入先出、插件、淡入淡出(whiteout)、未知)
  Owner(所有者)   拥有文件所有权的智能存储单元的帐户
  Timestamp(时间标记)   文件的最后修改的时间标记
  Size(大小)   元数据文件的大小
  Parity Count(奇偶校验计数)   使用的奇偶校验设备的数量
  Mirror Count(镜像计数)   使用的镜像设备的数量
  Version(版本)   元数据结构的版本
  Type(类型)   数据位置表的类型(例如，类型0、类型1、类型2、或类型3)
  Data Location Table(数据位置表)   数据位置表地址或实际的数据位置表信息
  Reference Count(参考计数)   所引用的元数据结构的数目
  Flags(标志)   文件许可(例如标准的UNIX许可)
  Parity Map Pointer(奇偶校验映射指针)   指示奇偶校验块信息的指针
应该意识到，示例数据结构510示出了用于存储元数据的数据结构510的一个实施例，可以根据本发明采用多种实现方式。例如，数据结构510可能包括不同的字段，这些字段可具有不同的类型，这些字段可被分组并单独存储等等。
图6A、6B、6C和6D提供了用于数据位置表的一些类型(即分别为类型0、类型1、类型2和类型3)的示例数据位置表结构。在图6A中，类型0的数据位置表包括24个直接块条目，这意味着数据位置表中的条目包括指示数据块存储位置的设备/块数目对。在图6B中，类型1数据位置表包括15个直接块条目、三个单独的间接条目、三个二级间接条目和三个三级间接的条目。代表单独间接条目的条目指示出了直接条目的附加数据位置表所存储的位置。代表二级间接条目的条目指示出了包括单独间接条目的数据位置表所存储的位置。代表三级间接条目的条目指出了包括二级间接条目的数据位置表所存储的位置。
因为任何块都可以跨越任意数量的设备而被镜像，所以元数据数据结构510是灵活的，足够代表具有多个位置的块，并仍可提供来自固定空间内的直接索引的快速访问。因而，类型可以有利地与元数据数据结构510联系在一起以指示出待要使用的数据位置表的类型。在元数据数据结构510的一个实施例中，可能有用于24个数据条目的空间(room)，例如，24个指针。
数据文件小的时候可以使用类型0；数据位置地址被作为直接条目存储。因而，类型0元数据数据结构包括24个直接条目。类型1用于支持至多达两倍的较大的文件和镜像(文件的三个拷贝)。类型1使用15个直接条目，三个单级间接条目、三个二级间接条目和三个三级间接条目。类型2可被用于支持至多达7倍的镜像(8个文件拷贝)，并包括八个单级间接条目，八个二级间接条目和八个三级间接条目。类型3的数据位置表可以进一步将全部磁盘地址镜像为三级间接条目。结果，其可存储至多达24个完整的文件拷贝。
应该意识到可以使用各种不同的数据位置表，而且图6A、6B、6C和6D仅示出了示例性的实施例。在其他的实施例中，例如，数据位置表可包括直接和间接条目的不同混合。进一步，在其他的实施例中，数据位置表可包括指示表中各个条目的条目类型的条目字段。这些类型可包括，例如上面讨论的(例如，直接的、单级间接的、二级间接的，三级间接的)以及其他的(例如，四级间接的等等)。另外，数据位置表可包括至多达X水平的更深嵌套的数据位置表，其中X是整数。
1.目录元数据
图7A示出了用于目录PASSWORD的一组示例元数据。在图7A中，数据结构存储了关于PASSWORD目录的信息。该目录被镜像两次(总共三个拷贝)。因为目录结构相对较小(例如，其适于在一个块中)，所以只使用了三个直接的指针，每个拷贝使用一个指针。该组示例元数据的示例包括数据位置表710，其包括直接条目720以及一组未用的块条目730，直接条目720用设备/块号对指出了数据块的位置。
2.文件元数据
图7B示出了用于文件USER.TXT的一组示例元数据。在图7B中，该数据结构存储了关于文件USER.TXT的信息。对用于USER.TXT文件数据的每个数据块都有一个拷贝，并且数据采用3+1奇偶校验方案保护。用于USER.TXT的内容数据的大小是45K，块的大小是8K，因而，有6个数据块，其中第6个数据块没有完全使用。数据位置表710示出了6个数据块中的每一个被存储的位置720，其中，数据块由设备号和块号引用，其中第一个条目与第一数据块相应。进一步，用于内容数据的奇偶校验信息的位置被存储在奇偶校验映射740中，其位置由数据结构的最后位置的“奇偶校验映射指针”指出。USER.TXT文件使用3+1奇偶校验方案存储，因而，对每三块数据块，存储一个奇偶校验数据块。因为在3+1奇偶校验方案中有六个块，因而有两个奇偶校验数据块(6除以3并舍入到最接近的整数)。奇偶校验映射示出了两个奇偶校验数据块的存储位置，其中奇偶校验数据块被设备号和块号引用，并且第一条目与第一奇偶校验数据块相应。
B.数据位置表数据结构
智能分布式文件系统110可为各种数据文件提供存储器并可提供如何存储这些数据文件的灵活性。数据文件的冗余和镜像在文件系统级别被完成，从而使智能分布式文件系统110能够支持不同文件的不同冗余参数。例如，一些目录可得到镜像、奇偶校验保护，或根本不受保护。
图8A、8B和8C示出了示例的数据位置表，其可用于存储保护类型和级别不同的数据文件的数据位置信息。图8A、8B和8C示出了不同的数据位置表，应该意识到，也可以使用不同的格式和/或结构。
图8A示出了示例数据位置表810，其指出了相应文件的每个数据块在哪里存储。虽然应该意识到，数据位置表810可能与一组元数据相应，但应注意，图中并未示出与文件(如图7B所示的文件)相应的元数据。示例的数据位置表810既包括直接条目也包括间接条目。
直接条目包括设备ID/块对。设备ID指出数据被存储的智能存储单元，偏移或块地址则指出了数据在存储数据的设备上的位置。数据位置表上的一个示例条目可以为：
条目    设备    块
1       7       127
它表明数据块1被存储在7号设备的块127上。
示例数据位置表810还可包括指向另外的数据位置表的间接条目，以使数据位置表能够跟踪较大的数据组的数据位置。虽然间接条目的级别在理论上无限的，但为改善流量最好还是要限制该级别。例如，数据位置表可被限制为只允许至多二级间接条目或至多三级间接条目。示例数据位置表810示出了两个级别的间接条目。
进一步，数据位置表的最后条目可被保留以用于存储奇偶校验映射的地址(如果有)。在其他的例子中，奇偶校验映射的地址可被存储在其他的位置，例如，作为元数据数据结构中的一个条目。如果一组数据不包括奇偶校验保护，则地址值可被设置为标准值，例如NULL(零)。
图8B示出了用于被镜像在两个附加位置的数据的数据位置表。该数据位置表包括设备ID以及用于数据的每个拷贝的块或偏移地址。在该示例的数据位置表中，镜像位置被逐块(block-by-block)地选择。应该意识到，也可采用其它的方案，例如，选择一个或更多的智能存储单元来镜像特定的智能存储单元。尽管图8B所示的数据位置表只包括直接条目，但应该意识到间接条目也可被使用。
在一个实施例中，用于文件的镜像信息可以被存储在文件的相应元数据结构中。信息可包括例如数据的拷贝数以及每个拷贝的数据位置表的位置。应该意识到，数据位置表可作为单一的数据结构被存储，并且/或者数据位置表的单独拷贝可被存储在不同的位置。
虽然图8B所示的带有镜像数据的示例数据位置表不包括奇偶校验保护，但应该意识到该数据位置表也可包括奇偶校验信息。
图8C示出了带有奇偶校验映射的数据位置表。在该示例的数据位置表中，数据用3+1奇偶校验方案保护，也就是说，为每三个数据块创建一组奇偶校验数据。可以使用本领域中用于创建数据的公知技术，例如，对数据一起逐比特地(bit-by-bit)、逐字节地(byte-by-byte)或逐块地(block-by-block)进行XOR以创建奇偶校验块。
示例的数据位置表提供了与由21个数据块(块0到块20)组成的数据文件有关的信息。因为奇偶校验方案是3+1，所以要为每三个数据块的组创建奇偶校验块。表2示出了图8C所示的一些数据块和一些奇偶校验块之间的对应关系。
Figure G200810173557X01D00261
表2
该示例数据位置表包括奇偶校验映射或奇偶校验位置表。在示例的奇偶校验映射中，用于创建数据的一组块条目与奇偶校验映射之间存在着一对一的映射。在其他实施例中，奇偶校验映射还可包括大小可变的条目，在由于设备故障而导致数据的任何直接位置都无效的情况下，该大小可变的条目可以利用设备和块号来指明哪些块将被一起受到奇偶校验的XOR以再生数据。在其他的实施例中，奇偶校验产生方案是预先设置的，这样可以由智能分布式文件系统110确定出奇偶校验数据的位置和对应性而不必指明将被一起进行XOR以再生数据的数据块。
在一个实施例中，奇偶校验映射由元数据数据结构指明，例如，在元数据数据结构的最后一项条目中被指明，而并不包含在元数据数据结构之中。因为该映射只在智能存储单元114出现故障的非正常情况下才需使用，所以其可被指明而不是直接包括在元数据结构中。奇偶校验映射也可使用大小可变的条目来表达奇偶校验重组块，以使智能存储单元114能够在单一时间(single time)上横移(traverse)奇偶校验映射，同时重建数据并在对横移的奇偶校验映射进行解析。在一些情况下，与奇偶校验计算时间相比，检索和解析条目的计算和I/O时间是可以忽略的。
虽然图8C所示出的带有奇偶校验位置信息的示例数据位置表810不包括镜像信息或间接条目，但应该意识到，这两者中的一个或两者均可与奇偶校验位置信息联合使用。进一步，应该意识到，也可使用其他的数据结构，而且上述数据位置表数据结构的用意只是为了示出本发明的一个实施例。
C.示例数据
图9示出了示例数据位置表910和奇偶校验映射920以及相应的存储该数据的设备。图9的例子示出了数据如何被存储在设备的不同位置上，被存储的数据“带区(stripes)”跨过了每个设备的不同的偏移地址，并且奇偶校验数据可被存储在不同的设备上，即使对来自同一文件的数据也是一样。在其他的实施例中，数据可被存储在每个设备的同一偏移地址中。
例如，用于第一带区的奇偶校验数据被存储在设备3的位置400上，并与存储在设备0的位置100上的数据块0、存储在设备1的位置200上的数据块1和存储在设备2的位置300上的数据块2相关。用于第二带区的奇偶校验数据被存储在设备2的位置600上，并与存储在设备0的位置300上数据块3、存储在设备4的位置800上的数据块4和存储在设备1的位置700数据块5相关。
在一些实施例中，单个设备确定在哪里和/或怎样将该位置映射到磁盘上的实际位置。例如，如果设备0带有4个物理硬盘，每个硬盘带有100块的存储容量，那么设备0将允许从位置0到位置399的存储。下面是可被用于确定该位置如何映射到磁盘上的块的指南的一组示例：
磁盘号＝(位置/每片磁盘的块数)的基数(floor)
磁盘上的块＝位置MOD每片磁盘的块数。
注意，MOD是模数操作符，其取的是除运算的余数。应该理解，上述指南仅仅是可用于将位置映射到磁盘和磁盘块的指南的一个示例，也可以使用许多其他的指导方针或方案。例如，一个实施例可使用代表每个磁盘的块范围的链接列表并引导列表的横移。链接列表具有允许多种尺寸的磁盘的优势。
由于数据存储和奇偶校验信息的灵活性，在新的智能存储单元被添加时，新的数据可移被存储在新的智能存储单元并且/或者现有的数据可被移动到新的智能存储单元(例如，通过在删除现有单元上的数据之前制造拷贝)而不破坏系统。另外，响应于高的请求量、磁盘故障、冗余或奇偶校验参数中的变化等等，数据块或全部文件可被实时地移动或复制。
VII.智能分布式文件系统的处理过程
A.检索数据
图10示出了用于检索数据(“检索数据过程”)的流程图的一个实施例。可检索多种数据类型，例如，目录元数据、文件元数据、内容数据等等。
在起始状态开始，检索数据过程接收数据被存储的位置(块1010)。在一个实施例中，该位置可由智能存储单元ID以及偏移或块地址指明。在其他的实施例中，可使用存储设备ID，然而在其他的实施例中，也可使用表以将这些ID映射到其他ID之上，等等。
接着，检索数据过程确定数据是否是本地存储的(块1020)。如果数据是本地存储的，则检索数据过程从本地存储器中检索数据(块1030)。在一个实施例中，检索数据过程可首先检查高速缓存，如果数据不在那里，则检查存储设备。在其他的实施例，检索数据过程可以只检查存储设备。
如果数据不是存储在本地，那么检索数据过程将把对数据的请求发送到数据所存储的智能存储单元(块1040)。在一个实施例中，请求经图1所示的交换部件125发送。接收数据过程随后接收被请求的数据(块1050)。
检索数据过程收集被请求的数据并返回该数据(块1060)。在一些实施例中，数据在全部数据被收集之后返回。在其他的实施例中，在数据在本地存储器中检索或从其他的智能存储单元接收时，返回数据组或数据的一部分。该部分可根据文件位置表按照顺序返回或在被检索或接收时返回。在数据被返回之后，检索数据过程进入结束状态。
应该意识到，图10示出了检索数据过程的一个实施例，也可使用其他的实施例。在另一个例子中，可以同时使用一个以上的检索数据过程，从而利用诸如并行处理、管道技术或异步I/O的技术或这些技术的组合以通过多个检索数据过程对数据进行并行检索。
B.处理名称查找
图11示出了用于名称查找过程(“名称查找过程”)的一个实施例。在开始状态开始之后，名称查找过程接收文件名(块1110)，检索根目录的元数据，将根元数据的位置设置为当前位置CURRENT(块1120)。在一个实施例中，根目录的数据可存储在数据结构中，例如图5所示的数据结构，但应该意识到，也可使用多种数据结构来存储根目录的元数据。此外，在一些实施例中，根目录的元数据可存储在各个智能存储单元114上，这样每个智能存储单元114都带有相同或相似的根目录元数据的拷贝。在其他的实施例中，根目录的元数据可被存储在智能分布式文件系统110中的其他位置上，或与文件请求一起被发送给智能存储单元114。应该意识到，可以使用公知的用于保证多个拷贝的完整性的技术，例如，经mutexes(多用户终端执行程序)和/或semaphores(信号装置)进行锁定，等等。
名称查找过程可以随后检索下一个令牌，该令牌为文件名称的一部分(块1130)。名称查找过程随后请求从存储用于当前位置(CURRENT)的数据的智能存储单元114获取该令牌的元数据的位置地址(块1140)。该请求可以是本地的或远程的。名称查找过程可以随后将返回的地址设置为当前地址(块1150)并确定是否有另外的令牌(块1160)，其中所述令牌表示目录分层结构中的一个单一的层次。如果有另外的令牌，名称查找过程将返回块1130。如果没有更多的令牌，则名称查找过程返回当前位置的(块1170)值或参考并进入结束状态。
应该意识到，也可以使用名称查找过程的其它实施方式。例如，名称查找过程可以检索文件的元数据数据。另外，一旦找到了被请求数据的位置，名称查找过程可以确定数据是存储在本地或存储在其他的智能存储单元上。如果数据存储在本地，名称查找过程可以发送读请求到智能存储单元114的本地块管理器模块335；如果数据存储在另外的智能存储单元上，则名称查找过程可以发送读请求到远程智能存储单元的114的远程块管理器模块337。
C.处理文件请求
图12示出了用于处理文件请求(“文件请求过程”)的流程图的一个实施例。在开始状态开始后，文件请求过程接收检索文件的请求(块1210)。在一个实施例中，用文件的全路径名称，包括位置和文件名，来指定文件。在其他的实施例中，路径可以是相对路径和/或其他的数据结构，例如，可被用于存储关于文件的地址信息的表。下一步，文件请求过程执行名称查找过程，如图11所示出的(块1220)那样，以确定文件的元数据数据结构的位置。
虽然可以使用其他的检索文件过程，但文件请求过程可以随后用如图10所示的和上面讨论的检索文件过程来检索文件的元数据(块1230)。在一个实施例中，文件的元数据可包括数据位置表，其提供对整个智能分布式文件系统的位置的访问，文件中的每个数据块存储在这些位置中。
然后，对(For)文件中的每个数据块(块1240，1270)，通过在文件的元数据中进行查找，文件请求过程获得数据块的位置(块1250)，并用例如如图10所示的和讨论上面的检索文件过程来检索数据块(块1260)，也可使用其他的检索文件过程。
文件请求过程随后返回文件的数据(块1280)并进入结束状态。在一些实施例中，在全部数据被收集之后返回文件。在其他的实施例中，随着数据的检索而返回一个或更多的数据块。这些部分可依照文件位置表按顺序返回，或在检索或接收时被返回。在一个实施例中，文件请求过程可将数据块按顺序放置，并且/或者其他模块(例如流服务器)可对数据块进行排序。在数据被返回之后，检索数据过程进入结束状态。
应该意识到，虽然图12示出了文件请求过程的一个实施例，但也可使用其他的实施例。例如，文件请求过程可以使用与图11所示的不同的名称查找过程来确定文件的位置。在另外的例子中，可以同时使用一个一个以上的检索数据过程来检索数据块，从而利用诸如并行处理、管道技术或异步I/O的技术或这些技术的组合以通过多个检索数据过程对数据进行并行检索。
D.奇偶校验产生过程
图13示出了用于生成奇偶校验信息(“奇偶校验产生过程”)的一个实施例的流程图。在开始状态开始之后，奇偶校验产生过程接收与一组数据相关的奇偶校验方案信息(块1310)。这组数据可代表文件数据、文件元数据、目录元数据、文件数据的子集，等等。奇偶校验产生过程接收与这组数据相关的数据位置信息(块1320)。下一步，对每组奇偶校验数据(块1330，1370)，奇偶校验产生过程检索一组数据(块1340)。例如，如果奇偶校验是3+1，奇偶校验产生过程使用如图10所示的数据检索过程检索数据的前三块。下一步，奇偶校验产生过程生成用于该组数据的奇偶校验数据(块1350)，例如，执行基于逐位(bit-by-bit)、逐字节(byte-by-byte)或逐块(block-by-block)的XOR数据操作。奇偶校验产生过程可随后在缓冲器中存储数据并返回到块1330，直到用于该组数据的奇偶校验信息被生成为止。奇偶校验信息生成之后，奇偶校验产生过程确定在哪里存储奇偶校验数据(块1380)。奇偶校验产生过程可能使用轮转(rotating)奇偶校验方案，其中用于文件数据的每个连续带区的每个奇偶校验块被轮流地存储在下一个设备上。奇偶校验产生过程在与保留有用于当前带区的数据的任何设备不同的设备上分配奇偶校验块，以保证如果发生设备故障，奇偶校验信息不会与数据信息一样丢失。奇偶校验产生过程还可考虑其他的因素，例如存储容量、CPU利用率和网络利用率，以将一些设备排除在用于奇偶校验存储的考虑之外。奇偶校验产生过程随后在分配空间内存储缓冲的数据(块1390)，将奇偶校验数据的位置记录在奇偶校验映射中(块1395)，并返回到结束状态。
应该意识到，虽然图13示出了奇偶校验产生过程的一个实施例，但也可使用其他的实施例。例如，奇偶校验产生可并行地检索数据块并且并行地生成奇偶校验信息，或使公知的管道技术或异步I/O技术。进一步，奇偶校验产生过程可存储奇偶校验信息和奇偶校验信息的位置而不必写到临时的缓冲器中，或者奇偶校验产生过程可返回奇偶校验数据或奇偶校验数据的指针。
E.数据恢复过程
图14示出了用于恢复丢失的或损坏的数据(“数据恢复过程”)的流程图的一个实施例。在开始状态开始之后，数据恢复过程接收关于所使用的奇偶校验方案的信息(块1410)。数据恢复过程随后接收关于故障或损坏的磁盘或数据信息(块1420)。下一步，数据恢复过程接收用于奇偶校验块组的地址信息，故障或损坏的数据被分配在这些组中(块1430)。数据恢复过程随后从可用的智能存储单元中检索出数据块(块1440)。数据可以利用如图10所示的检索数据过程被检索。数据恢复过程进行纠错(块1450)，例如，根据奇偶校验方案对块执行XOR，并将结果存储在缓冲器中(块1460)。缓冲器中的数据代表丢失的数据。数据恢复过程可以随后返回缓冲器中的数据(块1470)并进入结束状态。
应该意识到，虽然图14示出了数据恢复过程的一个实施例，但也可使用其他的实施例。例如，数据恢复过程可返回恢复的数据而不存储它。
VIII.结论
虽然已经描述了本发明的特定实施例。但这些实施例只是一些示例而已，其意图并不是对本发明范围的限制。因此，本发明的宽度和范围应该根据权利要求及其等价物来定义。

Claims (22)

1.一种分布式文件系统，包括：
多个智能存储设备，被配置成在所述多个智能存储设备中的至少两个中存储用于至少一个文件的内容数据块，以及被配置成在所述多个智能存储设备中的至少两个中存储用于所述至少一个文件的元数据的拷贝，所述元数据包括存储在所述多个智能存储设备中的元数据数据块、内容数据块和奇偶校验数据块的位置，所述智能存储设备进一步包括：
远程块管理模块，被配置成管理所述多个智能存储设备中与其他智能存储设备的通信，其中，所述远程块管理模块利用报文通信系统进行通信；
其中，所述分布式文件系统被配置为能够存储和管理所述元数据。
2.根据权利要求1所述的分布式文件系统，被进一步配置成能够在所述分布式文件系统内提供不同级别的用于文件的复制和冗余，其中，用于特定文件的复制信息和冗余信息与所述特定文件的相应元数据保存在一起。
3.根据权利要求2所述的分布式文件系统，其中，所述冗余信息包括奇偶校验信息。
4.根据权利要求3所述的分布式文件系统，其中，所述奇偶校验信息包括奇偶校验数据块和奇偶校验数据块的位置。
5.根据权利要求1所述的分布式文件系统，被进一步配置成能够改变文件的冗余参数，其中所述文件的相应元数据被更新以存储与所述冗余参数的位置有关的信息。
6.根据权利要求5所述的分布式文件系统，被进一步配置成能够遍及多个智能存储设备的子集而实时地存储文件的拷贝，并能够在文件的 相应元数据中存储所述文件的拷贝的位置。
7.根据权利要求1所述的分布式文件系统，被进一步配置成能够实时地移动数据，其中被移动的数据的位置与所述被移动的数据的相应元数据保存在一起。
8.根据权利要求1所述的分布式文件系统，被进一步配置成能够实时地复制数据，其中被复制的数据的位置与所述被复制的数据的相应元数据保存在一起。
9.根据权利要求8所述的分布式文件系统，被进一步配置成能够响应高容量的数据请求而复制数据。
10.根据权利要求8所述的分布式文件系统，被进一步配置成能够响应存储数据的硬件的高利用率而复制数据。
11.根据权利要求8所述的分布式文件系统，被进一步配置成能够处理比写请求更多的读请求。
12.根据权利要求8所述的分布式文件系统，被进一步配置能够处理块业务。
13.一种在分布式文件系统内分布文件的方法，包括：
在多个智能存储设备中的至少两个中存储用于至少一个文件的内容数据块；
在所述多个智能存储设备中的至少两个中存储用于所述至少一个文件的元数据的拷贝，所述元数据包括存储在所述多个智能存储设备中的元数据数据块、内容数据块和奇偶校验数据块的位置；以及
利用远程块管理器来管理所述元数据的存储，所述远程块管理器被配置成管理所述多个智能存储设备中与其他智能存储设备的通信，其中， 所述远程块管理器利用报文通信系统进行通信。
14.根据权利要求13所述的方法，进一步包括在所述分布式文件系统内提供不同级别的用于文件的复制和冗余，其中用于特定文件的复制信息和冗余信息与所述特定文件的相应元数据保存在一起。
15.根据权利要求14所述的方法，其中，所述冗余信息包括奇偶校验信息。
16.根据权利要求15所述的方法，其中，所述奇偶校验信息包括奇偶校验数据块和奇偶校验数据块的位置。
17.根据权利要求13所述的方法，进一步包括改变文件的冗余参数，其中所述文件的相应元数据被更新以存储与所述冗余参数的位置有关的信息。
18.根据权利要求17所述的方法，进一步包括遍及多个智能存储设备的子集而实时地存储文件的拷贝，以及在文件的相应元数据中存储所述文件的拷贝的位置。
19.根据权利要求13所述的方法，进一步包括实时地移动数据，其中被移动的数据的位置与所述被移动的数据的相应元数据保存在一起。
20.根据权利要求13所述的方法，进一步包括实时地复制数据，其中被复制的数据的位置与所述被复制的数据的相应元数据保存在一起。
21.根据权利要求20所述的方法，进一步包括响应于高容量的数据请求而复制数据。
22.根据权利要求20所述的方法，进一步包括响应于存储数据的硬 件的高利用率而复制数据。 
CN200810173557XA 2001-08-03 2002-08-02 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 Expired - Lifetime CN101515273B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US30980301P 2001-08-03 2001-08-03
US60/309,803 2001-08-03
US10/007,003 2001-11-09
US10/007,003 US7685126B2 (en) 2001-08-03 2001-11-09 System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB028166655A Division CN100437559C (zh) 2001-08-03 2002-08-02 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法

Publications (2)

Publication Number Publication Date
CN101515273A CN101515273A (zh) 2009-08-26
CN101515273B true CN101515273B (zh) 2011-05-11

Family

ID=26676344

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB028166655A Expired - Lifetime CN100437559C (zh) 2001-08-03 2002-08-02 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法
CN200810173557XA Expired - Lifetime CN101515273B (zh) 2001-08-03 2002-08-02 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB028166655A Expired - Lifetime CN100437559C (zh) 2001-08-03 2002-08-02 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法

Country Status (5)

Country Link
US (4) US7685126B2 (zh)
EP (2) EP1421520A4 (zh)
JP (1) JP4504677B2 (zh)
CN (2) CN100437559C (zh)
WO (1) WO2003012699A1 (zh)

Families Citing this family (520)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418478B1 (en) * 1997-10-30 2002-07-09 Commvault Systems, Inc. Pipelined high speed data transfer mechanism
US7581077B2 (en) * 1997-10-30 2009-08-25 Commvault Systems, Inc. Method and system for transferring data in a storage operation
US7035880B1 (en) 1999-07-14 2006-04-25 Commvault Systems, Inc. Modular backup and retrieval system used in conjunction with a storage area network
US7389311B1 (en) * 1999-07-15 2008-06-17 Commvault Systems, Inc. Modular backup and retrieval system
US7395282B1 (en) 1999-07-15 2008-07-01 Commvault Systems, Inc. Hierarchical backup and retrieval system
US7003641B2 (en) 2000-01-31 2006-02-21 Commvault Systems, Inc. Logical view with granular access to exchange data managed by a modular data and storage management system
US6658436B2 (en) 2000-01-31 2003-12-02 Commvault Systems, Inc. Logical view and access to data managed by a modular data and storage management system
US7155481B2 (en) 2000-01-31 2006-12-26 Commvault Systems, Inc. Email attachment management in a computer system
US20040236798A1 (en) * 2001-09-11 2004-11-25 Sudhir Srinivasan Migration of control in a distributed segmented file system
US7836017B1 (en) 2000-09-12 2010-11-16 Hewlett-Packard Development Company, L.P. File replication in a distributed segmented file system
US7406484B1 (en) 2000-09-12 2008-07-29 Tbrix, Inc. Storage allocation in a distributed segmented file system
US20060288080A1 (en) * 2000-09-12 2006-12-21 Ibrix, Inc. Balanced computer architecture
US8935307B1 (en) 2000-09-12 2015-01-13 Hewlett-Packard Development Company, L.P. Independent data access in a segmented file system
US6782389B1 (en) * 2000-09-12 2004-08-24 Ibrix, Inc. Distributing files across multiple, permissibly heterogeneous, storage devices
US8239354B2 (en) * 2005-03-03 2012-08-07 F5 Networks, Inc. System and method for managing small-size files in an aggregated file system
US7512673B2 (en) 2001-01-11 2009-03-31 Attune Systems, Inc. Rule based aggregation of files and transactions in a switched file system
EP1368736A2 (en) * 2001-01-11 2003-12-10 Z-Force Communications, Inc. File switch and switched file system
US8195760B2 (en) * 2001-01-11 2012-06-05 F5 Networks, Inc. File aggregation in a switched file system
US7383288B2 (en) 2001-01-11 2008-06-03 Attune Systems, Inc. Metadata based file switch and switched file system
US7788335B2 (en) * 2001-01-11 2010-08-31 F5 Networks, Inc. Aggregated opportunistic lock and aggregated implicit lock management for locking aggregated files in a switched file system
US7509322B2 (en) 2001-01-11 2009-03-24 F5 Networks, Inc. Aggregated lock management for locking aggregated files in a switched file system
US20040133606A1 (en) * 2003-01-02 2004-07-08 Z-Force Communications, Inc. Directory aggregation for files distributed over a plurality of servers in a switched file system
US7146524B2 (en) 2001-08-03 2006-12-05 Isilon Systems, Inc. Systems and methods for providing a distributed file system incorporating a virtual hot spare
US7685126B2 (en) 2001-08-03 2010-03-23 Isilon Systems, Inc. System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system
US20030079016A1 (en) * 2001-10-23 2003-04-24 Sheng (Ted) Tai Tsao Using NAS appliance to build a non-conventional distributed video server
JP2003162439A (ja) * 2001-11-22 2003-06-06 Hitachi Ltd ストレージシステム及びその制御方法
JP4250914B2 (ja) * 2002-06-03 2009-04-08 株式会社日立製作所 記憶装置システム
JP2004013367A (ja) * 2002-06-05 2004-01-15 Hitachi Ltd データ記憶サブシステム
US7620956B2 (en) * 2003-06-11 2009-11-17 Symantec Corporation Portable memory storage devices with application layers
US7047321B1 (en) * 2002-08-26 2006-05-16 Network Appliance, Inc. Unblocking an operating system thread for managing input/output requests to hardware devices
AU2003270482A1 (en) 2002-09-09 2004-03-29 Commvault Systems, Inc. Dynamic storage device pooling in a computer system
US8370542B2 (en) * 2002-09-16 2013-02-05 Commvault Systems, Inc. Combined stream auxiliary copy system and method
JP4464279B2 (ja) * 2002-11-14 2010-05-19 アイシロン・システムズ・インコーポレーテッド 分散ファイルシステムにおけるファイルの再ストライピングのためのシステム及び方法
US7877511B1 (en) 2003-01-13 2011-01-25 F5 Networks, Inc. Method and apparatus for adaptive services networking
US8626820B1 (en) 2003-01-21 2014-01-07 Peer Fusion, Inc. Peer to peer code generator and decoder for digital systems
US9372870B1 (en) * 2003-01-21 2016-06-21 Peer Fusion, Inc. Peer to peer code generator and decoder for digital systems and cluster storage system
US20040210724A1 (en) * 2003-01-21 2004-10-21 Equallogic Inc. Block data migration
US8499086B2 (en) * 2003-01-21 2013-07-30 Dell Products L.P. Client load distribution
US8037264B2 (en) 2003-01-21 2011-10-11 Dell Products, L.P. Distributed snapshot process
MXPA05010591A (es) 2003-04-03 2005-11-23 Commvault Systems Inc Sistema y metodo para desempenar dinamicamente operaciones de almacenamiento en una red de computadora.
US7454569B2 (en) 2003-06-25 2008-11-18 Commvault Systems, Inc. Hierarchical system and method for performing storage operations in a computer network
EP1639502B1 (en) 2003-06-30 2013-11-20 International Business Machines Corporation Retrieving a replica of an electronic document in a computer network
US7146461B1 (en) 2003-07-01 2006-12-05 Veritas Operating Corporation Automated recovery from data corruption of data volumes in parity RAID storage systems
US7181647B2 (en) 2003-10-15 2007-02-20 International Business Machines Corporation Error tracking method and system
CA2543746C (en) * 2003-10-27 2018-01-16 Archivas, Inc. Policy-based management of a redundant array of independent nodes
GB2425198B (en) * 2003-11-13 2008-04-09 Commvault Systems Inc System and method for performing a snapshot
US7546324B2 (en) 2003-11-13 2009-06-09 Commvault Systems, Inc. Systems and methods for performing storage operations using network attached storage
WO2005065084A2 (en) * 2003-11-13 2005-07-21 Commvault Systems, Inc. System and method for providing encryption in pipelined storage operations in a storage network
US7917711B2 (en) * 2003-11-14 2011-03-29 International Business Machines Corporation System, apparatus, and method for automatic copy function selection
US6994572B2 (en) * 2003-11-26 2006-02-07 International Business Machines Corporation Apparatus, system, and method for component deactivated interlock
US7302520B2 (en) * 2003-12-02 2007-11-27 Spinnaker Networks, Llc Method and apparatus for data storage using striping
US20050138011A1 (en) * 2003-12-23 2005-06-23 Royer Robert J.Jr. Meta-data storage and access techniques
JP4701618B2 (ja) * 2004-02-23 2011-06-15 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
US7392261B2 (en) * 2004-05-20 2008-06-24 International Business Machines Corporation Method, system, and program for maintaining a namespace of filesets accessible to clients over a network
US20050273486A1 (en) * 2004-06-03 2005-12-08 Keith Robert O Jr Virtual distributed file system
US7685128B2 (en) * 2004-06-10 2010-03-23 International Business Machines Corporation Remote access agent for caching in a SAN file system
US7096157B2 (en) * 2004-07-29 2006-08-22 Lenovo (Singapore) Pte. Ltd. Method and structure for diagnostically testing files in a computer
CA2584525C (en) 2004-10-25 2012-09-25 Rick L. Orsini Secure data parser method and system
US8055711B2 (en) 2004-10-29 2011-11-08 Emc Corporation Non-blocking commit protocol systems and methods
US8238350B2 (en) * 2004-10-29 2012-08-07 Emc Corporation Message batching with checkpoints systems and methods
US8051425B2 (en) * 2004-10-29 2011-11-01 Emc Corporation Distributed system with asynchronous execution systems and methods
CA2587055A1 (en) * 2004-11-05 2006-05-18 Commvault Systems, Inc. Method and system of pooling storage devices
US7536291B1 (en) 2004-11-08 2009-05-19 Commvault Systems, Inc. System and method to support simulated storage operations
US8140786B2 (en) * 2006-12-04 2012-03-20 Commvault Systems, Inc. Systems and methods for creating copies of data, such as archive copies
US7680801B2 (en) * 2004-11-17 2010-03-16 Iron Mountain, Incorporated Systems and methods for storing meta-data separate from a digital asset
US7496565B2 (en) * 2004-11-30 2009-02-24 Microsoft Corporation Method and system for maintaining namespace consistency with a file system
US7610307B2 (en) * 2004-11-30 2009-10-27 Microsoft Corporation Method and system of detecting file system namespace changes and restoring consistency
GB2421095A (en) * 2004-12-10 2006-06-14 Hewlett Packard Development Co Facilitating access to an electronic datum in a file system
US7885970B2 (en) 2005-01-20 2011-02-08 F5 Networks, Inc. Scalable system for partitioning and accessing metadata over multiple servers
US20060167838A1 (en) * 2005-01-21 2006-07-27 Z-Force Communications, Inc. File-based hybrid file storage scheme supporting multiple file switches
US7958347B1 (en) 2005-02-04 2011-06-07 F5 Networks, Inc. Methods and apparatus for implementing authentication
US7809691B1 (en) 2005-02-22 2010-10-05 Symantec Operating Corporation System and method of applying incremental changes prior to initialization of a point-in-time copy
US8010498B2 (en) * 2005-04-08 2011-08-30 Microsoft Corporation Virtually infinite reliable storage across multiple storage devices and storage services
US7895651B2 (en) * 2005-07-29 2011-02-22 Bit 9, Inc. Content tracking in a network security system
US8984636B2 (en) * 2005-07-29 2015-03-17 Bit9, Inc. Content extractor and analysis system
US20070028291A1 (en) * 2005-07-29 2007-02-01 Bit 9, Inc. Parametric content control in a network security system
US8272058B2 (en) * 2005-07-29 2012-09-18 Bit 9, Inc. Centralized timed analysis in a network security system
US7346720B2 (en) * 2005-10-21 2008-03-18 Isilon Systems, Inc. Systems and methods for managing concurrent access requests to a shared resource
US7788303B2 (en) 2005-10-21 2010-08-31 Isilon Systems, Inc. Systems and methods for distributed system scanning
US7797283B2 (en) 2005-10-21 2010-09-14 Isilon Systems, Inc. Systems and methods for maintaining distributed data
US7551572B2 (en) * 2005-10-21 2009-06-23 Isilon Systems, Inc. Systems and methods for providing variable protection
US7386675B2 (en) * 2005-10-21 2008-06-10 Isilon Systems, Inc. Systems and methods for using excitement values to predict future access to resources
US7917474B2 (en) 2005-10-21 2011-03-29 Isilon Systems, Inc. Systems and methods for accessing and updating distributed data
CA2629015A1 (en) 2005-11-18 2008-05-08 Rick L. Orsini Secure data parser method and system
US7653668B1 (en) * 2005-11-23 2010-01-26 Symantec Operating Corporation Fault tolerant multi-stage data replication with relaxed coherency guarantees
US20070260609A1 (en) * 2005-11-28 2007-11-08 Akhil Tulyani System and method for high throughput with remote storage servers
US7661028B2 (en) 2005-12-19 2010-02-09 Commvault Systems, Inc. Rolling cache configuration for a data replication system
US7617262B2 (en) 2005-12-19 2009-11-10 Commvault Systems, Inc. Systems and methods for monitoring application data in a data replication system
US7606844B2 (en) 2005-12-19 2009-10-20 Commvault Systems, Inc. System and method for performing replication copy storage operations
US8661216B2 (en) 2005-12-19 2014-02-25 Commvault Systems, Inc. Systems and methods for migrating components in a hierarchical storage network
US7651593B2 (en) 2005-12-19 2010-01-26 Commvault Systems, Inc. Systems and methods for performing data replication
US7636743B2 (en) * 2005-12-19 2009-12-22 Commvault Systems, Inc. Pathname translation in a data replication system
US7962709B2 (en) * 2005-12-19 2011-06-14 Commvault Systems, Inc. Network redirector systems and methods for performing data replication
US7848261B2 (en) * 2006-02-17 2010-12-07 Isilon Systems, Inc. Systems and methods for providing a quiescing protocol
US20070214105A1 (en) * 2006-03-08 2007-09-13 Omneon Video Networks Network topology for a scalable data storage system
US20070226224A1 (en) * 2006-03-08 2007-09-27 Omneon Video Networks Data storage system
US20070214183A1 (en) * 2006-03-08 2007-09-13 Omneon Video Networks Methods for dynamic partitioning of a redundant data fabric
US7756898B2 (en) * 2006-03-31 2010-07-13 Isilon Systems, Inc. Systems and methods for notifying listeners of events
US8417746B1 (en) 2006-04-03 2013-04-09 F5 Networks, Inc. File system management with enhanced searchability
US8825508B2 (en) * 2006-05-02 2014-09-02 Ascom Tateco Ab Method and apparatus for automated staff assignment
US8726242B2 (en) 2006-07-27 2014-05-13 Commvault Systems, Inc. Systems and methods for continuous data replication
US8539056B2 (en) 2006-08-02 2013-09-17 Emc Corporation Systems and methods for configuring multiple network interfaces
US7882071B2 (en) 2006-08-18 2011-02-01 Isilon Systems, Inc. Systems and methods for a snapshot of data
US7676691B2 (en) 2006-08-18 2010-03-09 Isilon Systems, Inc. Systems and methods for providing nonlinear journaling
US7953704B2 (en) 2006-08-18 2011-05-31 Emc Corporation Systems and methods for a snapshot of data
US7899800B2 (en) * 2006-08-18 2011-03-01 Isilon Systems, Inc. Systems and methods for providing nonlinear journaling
US7680836B2 (en) * 2006-08-18 2010-03-16 Isilon Systems, Inc. Systems and methods for a snapshot of data
US7822932B2 (en) 2006-08-18 2010-10-26 Isilon Systems, Inc. Systems and methods for providing nonlinear journaling
US7680842B2 (en) 2006-08-18 2010-03-16 Isilon Systems, Inc. Systems and methods for a snapshot of data
US7590652B2 (en) * 2006-08-18 2009-09-15 Isilon Systems, Inc. Systems and methods of reverse lookup
US7752402B2 (en) 2006-08-18 2010-07-06 Isilon Systems, Inc. Systems and methods for allowing incremental journaling
US8930379B2 (en) 2006-11-28 2015-01-06 International Business Machines Corporation Merging distributed mail into a unified folder view
US8286029B2 (en) * 2006-12-21 2012-10-09 Emc Corporation Systems and methods for managing unavailable storage devices
US8312323B2 (en) * 2006-12-22 2012-11-13 Commvault Systems, Inc. Systems and methods for remote monitoring in a computer network and reporting a failed migration operation without accessing the data being moved
US8719809B2 (en) * 2006-12-22 2014-05-06 Commvault Systems, Inc. Point in time rollback and un-installation of software
US7593938B2 (en) * 2006-12-22 2009-09-22 Isilon Systems, Inc. Systems and methods of directory entry encodings
US7840537B2 (en) 2006-12-22 2010-11-23 Commvault Systems, Inc. System and method for storing redundant information
US7509448B2 (en) 2007-01-05 2009-03-24 Isilon Systems, Inc. Systems and methods for managing semantic locks
KR20090000228A (ko) * 2007-02-05 2009-01-07 삼성전자주식회사 무결성 검증이 가능한 컨텐츠 제공 방법 및 컨텐츠 이용방법과 그 장치
JP2008219431A (ja) * 2007-03-02 2008-09-18 Brother Ind Ltd データ配信システム及び端末装置及び情報処理方法及びプログラム。
US8290808B2 (en) * 2007-03-09 2012-10-16 Commvault Systems, Inc. System and method for automating customer-validated statement of work for a data storage environment
US9350701B2 (en) * 2007-03-29 2016-05-24 Bomgar Corporation Method and apparatus for extending remote network visibility of the push functionality
US7991746B2 (en) * 2007-04-09 2011-08-02 Hewlett-Packard Development Company, L.P. Storage system and method
US7779048B2 (en) 2007-04-13 2010-08-17 Isilon Systems, Inc. Systems and methods of providing possible value ranges
US8966080B2 (en) * 2007-04-13 2015-02-24 Emc Corporation Systems and methods of managing resource utilization on a threaded computer system
US7900015B2 (en) * 2007-04-13 2011-03-01 Isilon Systems, Inc. Systems and methods of quota accounting
WO2008130983A1 (en) * 2007-04-16 2008-10-30 Attune Systems, Inc. File aggregation in a switched file system
US7853669B2 (en) 2007-05-04 2010-12-14 Microsoft Corporation Mesh-managing data across a distributed set of devices
WO2008147973A2 (en) * 2007-05-25 2008-12-04 Attune Systems, Inc. Remote file virtualization in a switched file system
US7882068B2 (en) * 2007-08-21 2011-02-01 Isilon Systems, Inc. Systems and methods for adaptive copy on write
US7949692B2 (en) 2007-08-21 2011-05-24 Emc Corporation Systems and methods for portals into snapshot data
US7966289B2 (en) * 2007-08-21 2011-06-21 Emc Corporation Systems and methods for reading objects in a file system
US8180747B2 (en) 2007-11-12 2012-05-15 F5 Networks, Inc. Load sharing cluster file systems
US20090204705A1 (en) * 2007-11-12 2009-08-13 Attune Systems, Inc. On Demand File Virtualization for Server Configuration Management with Limited Interruption
US8117244B2 (en) 2007-11-12 2012-02-14 F5 Networks, Inc. Non-disruptive file migration
US8548953B2 (en) * 2007-11-12 2013-10-01 F5 Networks, Inc. File deduplication using storage tiers
US20090204650A1 (en) * 2007-11-15 2009-08-13 Attune Systems, Inc. File Deduplication using Copy-on-Write Storage Tiers
US8352785B1 (en) 2007-12-13 2013-01-08 F5 Networks, Inc. Methods for generating a unified virtual snapshot and systems thereof
KR100977159B1 (ko) * 2007-12-14 2010-08-20 한국전자통신연구원 데이터 서버 주소의 변경과 디스크 이동에 투명한 파일메타데이터 관리 방법 및 시스템
US8108837B2 (en) * 2007-12-28 2012-01-31 International Business Machines Corporation Accomodating different resolutions of references to components in composite applications
JP4549396B2 (ja) * 2008-01-18 2010-09-22 日立オートモティブシステムズ株式会社 車両制御装置
US8806037B1 (en) * 2008-02-29 2014-08-12 Netapp, Inc. Remote support automation for a storage server
US8572033B2 (en) 2008-03-20 2013-10-29 Microsoft Corporation Computing environment configuration
US9753712B2 (en) * 2008-03-20 2017-09-05 Microsoft Technology Licensing, Llc Application management within deployable object hierarchy
US8484174B2 (en) 2008-03-20 2013-07-09 Microsoft Corporation Computing environment representation
US9298747B2 (en) * 2008-03-20 2016-03-29 Microsoft Technology Licensing, Llc Deployable, consistent, and extensible computing environment platform
US7870345B2 (en) 2008-03-27 2011-01-11 Isilon Systems, Inc. Systems and methods for managing stalled storage devices
US7949636B2 (en) * 2008-03-27 2011-05-24 Emc Corporation Systems and methods for a read only mode for a portion of a storage system
US7953709B2 (en) * 2008-03-27 2011-05-31 Emc Corporation Systems and methods for a read only mode for a portion of a storage system
US7984324B2 (en) 2008-03-27 2011-07-19 Emc Corporation Systems and methods for managing stalled storage devices
CN101552800A (zh) * 2008-04-01 2009-10-07 华为技术有限公司 提供媒体内容的方法、装置和系统
US7999959B2 (en) * 2008-04-01 2011-08-16 Kabushiki Kaisha Toshiba System and method for user-specific discovery and initiation of a default document processing device
US8103628B2 (en) 2008-04-09 2012-01-24 Harmonic Inc. Directed placement of data in a redundant data storage system
TWI476610B (zh) * 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
CN101577864B (zh) * 2008-05-08 2013-04-17 华为技术有限公司 数据传输的方法、系统及基站子系统和移动交换中心
US8577845B2 (en) * 2008-06-13 2013-11-05 Symantec Operating Corporation Remote, granular restore from full virtual machine backup
US8219524B2 (en) * 2008-06-24 2012-07-10 Commvault Systems, Inc. Application-aware and remote single instance data management
US9098495B2 (en) 2008-06-24 2015-08-04 Commvault Systems, Inc. Application-aware and remote single instance data management
US8484162B2 (en) 2008-06-24 2013-07-09 Commvault Systems, Inc. De-duplication systems and methods for application-specific data
US8166263B2 (en) 2008-07-03 2012-04-24 Commvault Systems, Inc. Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices
US8549582B1 (en) 2008-07-11 2013-10-01 F5 Networks, Inc. Methods for handling a multi-protocol content name and systems thereof
US8630987B2 (en) * 2008-07-16 2014-01-14 Cleversafe, Inc. System and method for accessing a data object stored in a distributed storage network
US8819011B2 (en) * 2008-07-16 2014-08-26 Cleversafe, Inc. Command line interpreter for accessing a data object stored in a distributed storage network
US8315995B1 (en) * 2008-09-09 2012-11-20 Peer Fusion, Inc. Hybrid storage system
US9015181B2 (en) * 2008-09-26 2015-04-21 Commvault Systems, Inc. Systems and methods for managing single instancing data
CA2729078C (en) 2008-09-26 2016-05-24 Commvault Systems, Inc. Systems and methods for managing single instancing data
US8086909B1 (en) 2008-11-05 2011-12-27 Network Appliance, Inc. Automatic core file upload
US8412677B2 (en) 2008-11-26 2013-04-02 Commvault Systems, Inc. Systems and methods for byte-level or quasi byte-level single instancing
US8204859B2 (en) 2008-12-10 2012-06-19 Commvault Systems, Inc. Systems and methods for managing replicated database data
US9495382B2 (en) * 2008-12-10 2016-11-15 Commvault Systems, Inc. Systems and methods for performing discrete data replication
US8205060B2 (en) * 2008-12-16 2012-06-19 Sandisk Il Ltd. Discardable files
US9104686B2 (en) 2008-12-16 2015-08-11 Sandisk Technologies Inc. System and method for host management of discardable objects
US20100153474A1 (en) * 2008-12-16 2010-06-17 Sandisk Il Ltd. Discardable files
US8375192B2 (en) * 2008-12-16 2013-02-12 Sandisk Il Ltd. Discardable files
US9015209B2 (en) 2008-12-16 2015-04-21 Sandisk Il Ltd. Download management of discardable files
US9020993B2 (en) 2008-12-16 2015-04-28 Sandisk Il Ltd. Download management of discardable files
US8849856B2 (en) * 2008-12-16 2014-09-30 Sandisk Il Ltd. Discardable files
CN101465758B (zh) * 2009-01-14 2012-02-01 华为技术有限公司 设备管理的方法、系统及网管服务器
US9066141B2 (en) * 2009-01-21 2015-06-23 Juniper Networks, Inc. Resource allocation and modification using statistical analysis
CN101488104B (zh) * 2009-02-26 2011-05-04 北京云快线软件服务有限公司 一种实现高效安全存储的系统和方法
US20100235329A1 (en) * 2009-03-10 2010-09-16 Sandisk Il Ltd. System and method of embedding second content in first content
CA2754953A1 (en) * 2009-03-10 2010-09-16 Karen Swenson Systems and methods for address intelligence
US20100241726A1 (en) * 2009-03-23 2010-09-23 Riverbed Technology, Inc. Virtualized Data Storage Over Wide-Area Networks
US8401996B2 (en) * 2009-03-30 2013-03-19 Commvault Systems, Inc. Storing a variable number of instances of data objects
US8769055B2 (en) * 2009-04-24 2014-07-01 Microsoft Corporation Distributed backup and versioning
US9087066B2 (en) * 2009-04-24 2015-07-21 Swish Data Corporation Virtual disk from network shares and file servers
US9239840B1 (en) 2009-04-24 2016-01-19 Swish Data Corporation Backup media conversion via intelligent virtual appliance adapter
US8769049B2 (en) * 2009-04-24 2014-07-01 Microsoft Corporation Intelligent tiers of backup data
US8281227B2 (en) * 2009-05-18 2012-10-02 Fusion-10, Inc. Apparatus, system, and method to increase data integrity in a redundant storage system
US8578120B2 (en) 2009-05-22 2013-11-05 Commvault Systems, Inc. Block-level single instancing
US8370302B2 (en) * 2009-06-02 2013-02-05 Hitachi, Ltd. Method and apparatus for block based volume backup
US8635184B2 (en) * 2009-06-25 2014-01-21 Emc Corporation System and method for providing long-term storage for data
US8280895B2 (en) * 2009-07-03 2012-10-02 Barracuda Networks Inc Multi-streamed method for optimizing data transfer through parallelized interlacing of data based upon sorted characteristics to minimize latencies inherent in the system
CN101621405B (zh) * 2009-07-07 2012-02-29 中兴通讯股份有限公司 分布式管理监控系统及其监控方法、创建方法
US8930306B1 (en) 2009-07-08 2015-01-06 Commvault Systems, Inc. Synchronized data deduplication
US8489654B2 (en) 2009-08-28 2013-07-16 Beijing Innovation Works Technology Company Limited Method and system for forming a virtual file system at a computing device
FI126228B (fi) * 2009-09-16 2016-08-31 Varaani Works Oy Menetelmä ja tallennuspalvelin tiedon varmentamiseen
US9135133B2 (en) * 2009-09-28 2015-09-15 Softlayer Technologies, Inc. Metric object tracking system
US8924387B2 (en) * 2009-09-29 2014-12-30 Cleversafe, Inc. Social networking utilizing a dispersed storage network
US8769035B2 (en) * 2009-10-30 2014-07-01 Cleversafe, Inc. Distributed storage network for storing a data object based on storage requirements
US9900150B2 (en) * 2009-10-30 2018-02-20 International Business Machines Corporation Dispersed storage camera device and method of operation
US10721269B1 (en) 2009-11-06 2020-07-21 F5 Networks, Inc. Methods and system for returning requests with javascript for clients before passing a request to a server
US8909916B2 (en) 2009-11-30 2014-12-09 Red Hat, Inc. Using a PKCS module for opening multiple databases
US8266262B2 (en) * 2009-11-30 2012-09-11 Red Hat, Inc. Providing network security services for multiple requesters
US9922063B2 (en) * 2009-12-29 2018-03-20 International Business Machines Corporation Secure storage of secret data in a dispersed storage network
CN102111425B (zh) * 2009-12-29 2016-03-02 北京四达时代软件技术股份有限公司 一种业务数据下发方法、装置及系统
CN102130759A (zh) * 2010-01-13 2011-07-20 中国移动通信集团公司 一种数据采集方法、数据采集机集群及数据采集机
ES2543553T3 (es) * 2010-02-01 2015-08-20 Orange Gestión del sitio de almacenamiento de datos en un sistema de almacenamiento distribuido
US8862617B2 (en) * 2010-02-09 2014-10-14 Google Inc. System and method for replicating objects in a distributed storage system
US8874523B2 (en) * 2010-02-09 2014-10-28 Google Inc. Method and system for providing efficient access to a tape storage system
US8615485B2 (en) 2010-02-09 2013-12-24 Google, Inc. Method and system for managing weakly mutable data in a distributed storage system
US9305069B2 (en) 2010-02-09 2016-04-05 Google Inc. Method and system for uploading data into a distributed storage system
US8204860B1 (en) 2010-02-09 2012-06-19 F5 Networks, Inc. Methods and systems for snapshot reconstitution
US20110196900A1 (en) * 2010-02-09 2011-08-11 Alexandre Drobychev Storage of Data In A Distributed Storage System
US8380659B2 (en) 2010-02-09 2013-02-19 Google Inc. Method and system for efficiently replicating data in non-relational databases
US8560292B2 (en) 2010-02-09 2013-10-15 Google Inc. Location assignment daemon (LAD) simulation system and method
US9195500B1 (en) 2010-02-09 2015-11-24 F5 Networks, Inc. Methods for seamless storage importing and devices thereof
US8504670B2 (en) * 2010-03-23 2013-08-06 Riverbed Technology, Inc. Virtualized data storage applications and optimizations
US8504517B2 (en) * 2010-03-29 2013-08-06 Commvault Systems, Inc. Systems and methods for selective data replication
US8504515B2 (en) 2010-03-30 2013-08-06 Commvault Systems, Inc. Stubbing systems and methods in a data replication environment
US8352422B2 (en) 2010-03-30 2013-01-08 Commvault Systems, Inc. Data restore systems and methods in a replication environment
US8725698B2 (en) 2010-03-30 2014-05-13 Commvault Systems, Inc. Stub file prioritization in a data replication system
WO2011133144A1 (en) 2010-04-20 2011-10-27 Hewlett-Packard Development Company, L.P. A self-arranging, luminescence-enhancement device for surface-enhanced luminescence
US8572038B2 (en) 2010-05-28 2013-10-29 Commvault Systems, Inc. Systems and methods for performing data replication
US20110302224A1 (en) * 2010-06-08 2011-12-08 Rahav Yairi Data storage device with preloaded content
US8996803B2 (en) 2010-07-02 2015-03-31 Futurewei Technologies, Inc. Method and apparatus for providing highly-scalable network storage for well-gridded objects
US8347100B1 (en) 2010-07-14 2013-01-01 F5 Networks, Inc. Methods for DNSSEC proxying and deployment amelioration and systems thereof
US8433685B2 (en) * 2010-08-18 2013-04-30 Hewlett-Packard Development Company, L.P. Method and system for parity-page distribution among nodes of a multi-node data-storage system
US8549229B2 (en) 2010-08-19 2013-10-01 Sandisk Il Ltd. Systems and methods for managing an upload of files in a shared cache storage system
US8463802B2 (en) 2010-08-19 2013-06-11 Sandisk Il Ltd. Card-based management of discardable files
WO2012045023A2 (en) 2010-09-30 2012-04-05 Commvault Systems, Inc. Archiving data objects using secondary copies
US8577851B2 (en) 2010-09-30 2013-11-05 Commvault Systems, Inc. Content aligned block-based deduplication
US8578109B2 (en) 2010-09-30 2013-11-05 Commvault Systems, Inc. Systems and methods for retaining and using data block signatures in data protection operations
US9286298B1 (en) 2010-10-14 2016-03-15 F5 Networks, Inc. Methods for enhancing management of backup data sets and devices thereof
WO2012054027A1 (en) 2010-10-20 2012-04-26 Hewlett-Packard Development Company, L.P. Chemical-analysis device integrated with metallic-nanofinger device for chemical sensing
WO2012054024A1 (en) 2010-10-20 2012-04-26 Hewlett-Packard Development Company, L.P. Metallic-nanofinger device for chemical sensing
JP5822452B2 (ja) * 2010-10-22 2015-11-24 株式会社インテック ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム
US8495108B2 (en) 2010-11-30 2013-07-23 International Business Machines Corporation Virtual node subpool management
US20120150818A1 (en) 2010-12-14 2012-06-14 Commvault Systems, Inc. Client-side repository in a networked deduplicated storage system
US9020900B2 (en) 2010-12-14 2015-04-28 Commvault Systems, Inc. Distributed deduplicated storage system
US20130132672A1 (en) * 2011-01-12 2013-05-23 Panasonic Corporation Optical disk array device
US8745329B2 (en) * 2011-01-20 2014-06-03 Google Inc. Storing data across a plurality of storage nodes
US9021198B1 (en) 2011-01-20 2015-04-28 Commvault Systems, Inc. System and method for sharing SAN storage
US8788849B2 (en) 2011-02-28 2014-07-22 Sandisk Technologies Inc. Method and apparatus for protecting cached streams
US9563681B1 (en) 2012-08-08 2017-02-07 Amazon Technologies, Inc. Archival data flow management
US9251097B1 (en) 2011-03-22 2016-02-02 Amazon Technologies, Inc. Redundant key management
US9213709B2 (en) * 2012-08-08 2015-12-15 Amazon Technologies, Inc. Archival data identification
US9767098B2 (en) 2012-08-08 2017-09-19 Amazon Technologies, Inc. Archival data storage system
US20120254118A1 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Recovery of tenant data across tenant moves
US8849880B2 (en) * 2011-05-18 2014-09-30 Hewlett-Packard Development Company, L.P. Providing a shadow directory and virtual files to store metadata
US8938638B2 (en) * 2011-06-06 2015-01-20 Microsoft Corporation Recovery service location for a service
US10585766B2 (en) 2011-06-06 2020-03-10 Microsoft Technology Licensing, Llc Automatic configuration of a recovery service
US8396836B1 (en) 2011-06-30 2013-03-12 F5 Networks, Inc. System for mitigating file virtualization storage import latency
US8954448B1 (en) 2011-08-31 2015-02-10 Amazon Technologies, Inc. Presenting content related to current media consumption
US9098399B2 (en) 2011-08-31 2015-08-04 SMART Storage Systems, Inc. Electronic system with storage management mechanism and method of operation thereof
US9021319B2 (en) 2011-09-02 2015-04-28 SMART Storage Systems, Inc. Non-volatile memory management system with load leveling and method of operation thereof
US9063844B2 (en) 2011-09-02 2015-06-23 SMART Storage Systems, Inc. Non-volatile memory management system with time measure mechanism and method of operation thereof
US9021231B2 (en) 2011-09-02 2015-04-28 SMART Storage Systems, Inc. Storage control system with write amplification control mechanism and method of operation thereof
CN102291466B (zh) * 2011-09-05 2014-02-26 浪潮电子信息产业股份有限公司 一种优化集群存储网络资源配置的方法
US8463850B1 (en) 2011-10-26 2013-06-11 F5 Networks, Inc. System and method of algorithmically generating a server side transaction identifier
KR101907067B1 (ko) * 2011-11-02 2018-10-11 삼성전자 주식회사 요청 패턴을 고려한 분산 스토리지 시스템, 분산 스토리지 관리 장치 및 방법
US9239781B2 (en) 2012-02-07 2016-01-19 SMART Storage Systems, Inc. Storage control system with erase block mechanism and method of operation thereof
US9330107B1 (en) * 2012-02-08 2016-05-03 Google Inc. System and method for storing metadata for a file in a distributed storage system
US9020912B1 (en) 2012-02-20 2015-04-28 F5 Networks, Inc. Methods for accessing data in a compressed file system and devices thereof
US20130232215A1 (en) * 2012-03-05 2013-09-05 Riverbed Technology, Inc. Virtualized data storage system architecture using prefetching agent
US9298715B2 (en) 2012-03-07 2016-03-29 Commvault Systems, Inc. Data storage system utilizing proxy device for storage operations
US9471578B2 (en) 2012-03-07 2016-10-18 Commvault Systems, Inc. Data storage system utilizing proxy device for storage operations
US8554963B1 (en) 2012-03-23 2013-10-08 DSSD, Inc. Storage system with multicast DMA and unified address space
US8370567B1 (en) * 2012-03-23 2013-02-05 DSSD, Inc. Storage system with self describing data
US9020890B2 (en) 2012-03-30 2015-04-28 Commvault Systems, Inc. Smart archiving and data previewing for mobile devices
US9342537B2 (en) 2012-04-23 2016-05-17 Commvault Systems, Inc. Integrated snapshot interface for a data storage system
US9043274B1 (en) 2012-05-22 2015-05-26 Shoretel, Inc. Updating local database and central database
US9218375B2 (en) 2012-06-13 2015-12-22 Commvault Systems, Inc. Dedicated client-side signature generator in a networked storage system
US10528262B1 (en) * 2012-07-26 2020-01-07 EMC IP Holding Company LLC Replication-based federation of scalable data across multiple sites
US9354683B2 (en) 2012-08-08 2016-05-31 Amazon Technologies, Inc. Data storage power management
US9092441B1 (en) 2012-08-08 2015-07-28 Amazon Technologies, Inc. Archival data organization and management
US9779035B1 (en) 2012-08-08 2017-10-03 Amazon Technologies, Inc. Log-based data storage on sequentially written media
US9904788B2 (en) 2012-08-08 2018-02-27 Amazon Technologies, Inc. Redundant key management
US9652487B1 (en) 2012-08-08 2017-05-16 Amazon Technologies, Inc. Programmable checksum calculations on data storage devices
CA2881567C (en) * 2012-08-08 2023-10-17 Amazon Technologies, Inc. Archival data storage system and method
US9250811B1 (en) 2012-08-08 2016-02-02 Amazon Technologies, Inc. Data write caching for sequentially written media
US10120579B1 (en) 2012-08-08 2018-11-06 Amazon Technologies, Inc. Data storage management for sequentially written media
US9225675B2 (en) 2012-08-08 2015-12-29 Amazon Technologies, Inc. Data storage application programming interface
US8805793B2 (en) 2012-08-08 2014-08-12 Amazon Technologies, Inc. Data storage integrity validation
US9830111B1 (en) 2012-08-08 2017-11-28 Amazon Technologies, Inc. Data storage space management
US8959067B1 (en) 2012-08-08 2015-02-17 Amazon Technologies, Inc. Data storage inventory indexing
US8856484B2 (en) * 2012-08-14 2014-10-07 Infinidat Ltd. Mass storage system and methods of controlling resources thereof
US8903876B2 (en) 2012-08-15 2014-12-02 Facebook, Inc. File storage system based on coordinated exhaustible and non-exhaustible storage
CN104583965B (zh) * 2012-08-16 2017-08-11 英派尔科技开发有限公司 将编码数据文件存储在多个文件服务器上
US8392428B1 (en) 2012-09-12 2013-03-05 DSSD, Inc. Method and system for hash fragment representation
US9519501B1 (en) 2012-09-30 2016-12-13 F5 Networks, Inc. Hardware assisted flow acceleration and L2 SMAC management in a heterogeneous distributed multi-tenant virtualized clustered system
US10057726B2 (en) 2012-10-02 2018-08-21 Razer (Asia-Pacific) Pte. Ltd. Managing user data on an electronic device
US9106721B2 (en) 2012-10-02 2015-08-11 Nextbit Systems Application state synchronization across multiple devices
CN102937967B (zh) * 2012-10-11 2018-02-27 南京中兴新软件有限责任公司 数据冗余实现方法及装置
CN102882983B (zh) * 2012-10-22 2015-06-10 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
US9229657B1 (en) 2012-11-01 2016-01-05 Quantcast Corporation Redistributing data in a distributed storage system based on attributes of the data
US9671962B2 (en) * 2012-11-30 2017-06-06 Sandisk Technologies Llc Storage control system with data management mechanism of parity and method of operation thereof
CN103002045A (zh) * 2012-12-18 2013-03-27 江苏乐买到网络科技有限公司 一种web服务系统
US10379988B2 (en) 2012-12-21 2019-08-13 Commvault Systems, Inc. Systems and methods for performance monitoring
WO2014101000A1 (zh) * 2012-12-26 2014-07-03 华为技术有限公司 元数据管理方法及系统
US9633022B2 (en) 2012-12-28 2017-04-25 Commvault Systems, Inc. Backup and restoration for a deduplicated file system
US9727268B2 (en) 2013-01-08 2017-08-08 Lyve Minds, Inc. Management of storage in a storage network
US9665591B2 (en) 2013-01-11 2017-05-30 Commvault Systems, Inc. High availability distributed deduplicated storage system
US9886346B2 (en) 2013-01-11 2018-02-06 Commvault Systems, Inc. Single snapshot for multiple agents
US9336226B2 (en) 2013-01-11 2016-05-10 Commvault Systems, Inc. Criteria-based data synchronization management
US9123445B2 (en) 2013-01-22 2015-09-01 SMART Storage Systems, Inc. Storage control system with data management mechanism and method of operation thereof
US9323768B2 (en) 2013-01-30 2016-04-26 Hewlett Packard Enterprise Development Lp Anticipatorily retrieving information in response to a query of a directory
US9645950B2 (en) * 2013-01-31 2017-05-09 Vmware, Inc. Low-cost backup and edge caching using unused disk blocks
US9792295B1 (en) 2013-02-06 2017-10-17 Quantcast Corporation Distributing data of multiple logically independent file systems in distributed storage systems including physically partitioned disks
US9811529B1 (en) * 2013-02-06 2017-11-07 Quantcast Corporation Automatically redistributing data of multiple file systems in a distributed storage system
US9881177B2 (en) 2013-02-13 2018-01-30 Security First Corp. Systems and methods for a cryptographic file system layer
US10375155B1 (en) 2013-02-19 2019-08-06 F5 Networks, Inc. System and method for achieving hardware acceleration for asymmetric flow connections
US10558581B1 (en) 2013-02-19 2020-02-11 Amazon Technologies, Inc. Systems and techniques for data recovery in a keymapless data storage system
US9329928B2 (en) 2013-02-20 2016-05-03 Sandisk Enterprise IP LLC. Bandwidth optimization in a non-volatile memory system
US9214965B2 (en) 2013-02-20 2015-12-15 Sandisk Enterprise Ip Llc Method and system for improving data integrity in non-volatile storage
US9183137B2 (en) 2013-02-27 2015-11-10 SMART Storage Systems, Inc. Storage control system with data management mechanism and method of operation thereof
US9554418B1 (en) 2013-02-28 2017-01-24 F5 Networks, Inc. Device for topology hiding of a visited network
US9043780B2 (en) 2013-03-27 2015-05-26 SMART Storage Systems, Inc. Electronic system with system modification control mechanism and method of operation thereof
US10049037B2 (en) 2013-04-05 2018-08-14 Sandisk Enterprise Ip Llc Data management in a storage system
US9170941B2 (en) 2013-04-05 2015-10-27 Sandisk Enterprises IP LLC Data hardening in a storage system
US9543025B2 (en) 2013-04-11 2017-01-10 Sandisk Technologies Llc Storage control system with power-off time estimation mechanism and method of operation thereof
US10546648B2 (en) 2013-04-12 2020-01-28 Sandisk Technologies Llc Storage control system with data management mechanism and method of operation thereof
US9104597B2 (en) 2013-04-16 2015-08-11 International Business Machines Corporation Destaging cache data using a distributed freezer
US9298398B2 (en) 2013-04-16 2016-03-29 International Business Machines Corporation Fine-grained control of data placement
US9619404B2 (en) 2013-04-16 2017-04-11 International Business Machines Corporation Backup cache with immediate availability
US9423981B2 (en) 2013-04-16 2016-08-23 International Business Machines Corporation Logical region allocation with immediate availability
US9329938B2 (en) 2013-04-16 2016-05-03 International Business Machines Corporation Essential metadata replication
US9104332B2 (en) 2013-04-16 2015-08-11 International Business Machines Corporation Managing metadata and data for a logical volume in a distributed and declustered system
US9298617B2 (en) 2013-04-16 2016-03-29 International Business Machines Corporation Parallel destaging with replicated cache pinning
US9898056B2 (en) 2013-06-19 2018-02-20 Sandisk Technologies Llc Electronic assembly with thermal channel and method of manufacture thereof
US9244519B1 (en) 2013-06-25 2016-01-26 Smart Storage Systems. Inc. Storage system with data transfer rate adjustment for power throttling
US9367353B1 (en) 2013-06-25 2016-06-14 Sandisk Technologies Inc. Storage control system with power throttling mechanism and method of operation thereof
US9146850B2 (en) 2013-08-01 2015-09-29 SMART Storage Systems, Inc. Data storage system with dynamic read threshold mechanism and method of operation thereof
US9448946B2 (en) 2013-08-07 2016-09-20 Sandisk Technologies Llc Data storage system with stale data mechanism and method of operation thereof
US9431113B2 (en) 2013-08-07 2016-08-30 Sandisk Technologies Llc Data storage system with dynamic erase block grouping mechanism and method of operation thereof
US9361222B2 (en) 2013-08-07 2016-06-07 SMART Storage Systems, Inc. Electronic system with storage drive life estimation mechanism and method of operation thereof
US9477679B2 (en) * 2013-09-20 2016-10-25 Google Inc. Programmatically choosing preferred storage parameters for files in large-scale distributed storage systems
JP2015069215A (ja) * 2013-09-26 2015-04-13 富士通株式会社 情報処理装置，情報処理システム，制御プログラム及び制御方法
US9767311B2 (en) * 2013-10-25 2017-09-19 Netapp, Inc. Stack isolation by a storage network switch
DE112014005007T5 (de) * 2013-10-31 2016-07-28 Honda Motor Co., Ltd. Informationsmeldevorrichtung, Informationsmeldesystem, Informationsmeldeverfahren und Informationsmeldeprogramm
US9152555B2 (en) 2013-11-15 2015-10-06 Sandisk Enterprise IP LLC. Data management with modular erase in a data storage system
US20150160864A1 (en) * 2013-12-09 2015-06-11 Netapp, Inc. Systems and methods for high availability in multi-node storage networks
US9348707B2 (en) 2013-12-18 2016-05-24 International Business Machines Corporation Dynamically adjusting the number of replicas of a file according to the probability that the file will be accessed within a distributed file system
US9678678B2 (en) * 2013-12-20 2017-06-13 Lyve Minds, Inc. Storage network data retrieval
CN103647850B (zh) * 2013-12-25 2017-01-25 北京京东尚科信息技术有限公司 一种分布式版本控制系统的数据处理方法、设备及系统
JP6106901B2 (ja) 2013-12-31 2017-04-05 ▲ホア▼▲ウェイ▼技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 分散ファイルストレージシステムにおけるデータ処理の方法およびデバイス
US10657113B2 (en) * 2014-01-14 2020-05-19 Baker Hughes, A Ge Company, Llc Loose coupling of metadata and actual data
US10242222B2 (en) 2014-01-14 2019-03-26 Baker Hughes, A Ge Company, Llc Compartment-based data security
US9495251B2 (en) 2014-01-24 2016-11-15 Commvault Systems, Inc. Snapshot readiness checking and reporting
US9753812B2 (en) 2014-01-24 2017-09-05 Commvault Systems, Inc. Generating mapping information for single snapshot for multiple applications
US9639426B2 (en) 2014-01-24 2017-05-02 Commvault Systems, Inc. Single snapshot for multiple applications
US9632874B2 (en) 2014-01-24 2017-04-25 Commvault Systems, Inc. Database application backup in single snapshot for multiple applications
US10324897B2 (en) 2014-01-27 2019-06-18 Commvault Systems, Inc. Techniques for serving archived electronic mail
US9542404B2 (en) * 2014-02-17 2017-01-10 Netapp, Inc. Subpartitioning of a namespace region
US9633056B2 (en) 2014-03-17 2017-04-25 Commvault Systems, Inc. Maintaining a deduplication database
US10380072B2 (en) 2014-03-17 2019-08-13 Commvault Systems, Inc. Managing deletions from a deduplication database
US9772787B2 (en) 2014-03-31 2017-09-26 Amazon Technologies, Inc. File storage using variable stripe sizes
US9294558B1 (en) 2014-03-31 2016-03-22 Amazon Technologies, Inc. Connection re-balancing in distributed storage systems
US9602424B1 (en) 2014-03-31 2017-03-21 Amazon Technologies, Inc. Connection balancing using attempt counts at distributed storage systems
US10372685B2 (en) 2014-03-31 2019-08-06 Amazon Technologies, Inc. Scalable file storage service
US9779015B1 (en) 2014-03-31 2017-10-03 Amazon Technologies, Inc. Oversubscribed storage extents with on-demand page allocation
US9519510B2 (en) 2014-03-31 2016-12-13 Amazon Technologies, Inc. Atomic writes for multiple-extent operations
US10264071B2 (en) 2014-03-31 2019-04-16 Amazon Technologies, Inc. Session management in distributed storage systems
US9274710B1 (en) 2014-03-31 2016-03-01 Amazon Technologies, Inc. Offset-based congestion control in storage systems
US9569459B1 (en) 2014-03-31 2017-02-14 Amazon Technologies, Inc. Conditional writes at distributed storage services
US9449008B1 (en) 2014-03-31 2016-09-20 Amazon Technologies, Inc. Consistent object renaming in distributed systems
US9495478B2 (en) 2014-03-31 2016-11-15 Amazon Technologies, Inc. Namespace management in distributed storage systems
US10105593B2 (en) 2014-04-08 2018-10-23 Razer (Asia-Pacific) Pte. Ltd. File prefetching for gaming applications accessed by electronic devices
US10459892B2 (en) 2014-04-23 2019-10-29 Qumulo, Inc. Filesystem hierarchical aggregate metrics
US9495293B1 (en) * 2014-05-05 2016-11-15 EMC IP Holding Company, LLC Zone consistency
US10523753B2 (en) 2014-05-06 2019-12-31 Western Digital Technologies, Inc. Broadcast data operations in distributed file systems
US9852138B2 (en) * 2014-06-30 2017-12-26 EMC IP Holding Company LLC Content fabric for a distributed file system
US10162836B1 (en) * 2014-06-30 2018-12-25 EMC IP Holding Company LLC Parallel file system with striped metadata
US11838851B1 (en) 2014-07-15 2023-12-05 F5, Inc. Methods for managing L7 traffic classification and devices thereof
US11249858B2 (en) 2014-08-06 2022-02-15 Commvault Systems, Inc. Point-in-time backups of a production application made accessible over fibre channel and/or ISCSI as data sources to a remote application by representing the backups as pseudo-disks operating apart from the production application and its host
US9852026B2 (en) 2014-08-06 2017-12-26 Commvault Systems, Inc. Efficient application recovery in an information management system based on a pseudo-storage-device driver
CN104166583B (zh) * 2014-08-11 2017-08-04 香港理工大学深圳研究院 一种基于移动设备虚拟化环境的数据存储方法及装置
US9378149B1 (en) 2014-08-29 2016-06-28 Emc Corporation Method and system for tracking modification times of data in a storage system
US10042716B2 (en) 2014-09-03 2018-08-07 Commvault Systems, Inc. Consolidated processing of storage-array commands using a forwarder media agent in conjunction with a snapshot-control media agent
US9774672B2 (en) 2014-09-03 2017-09-26 Commvault Systems, Inc. Consolidated processing of storage-array commands by a snapshot-control media agent
CN104317526A (zh) * 2014-09-25 2015-01-28 天津大学 一种基于磁盘存储系统的科学数据存储方法
US9575673B2 (en) 2014-10-29 2017-02-21 Commvault Systems, Inc. Accessing a file system using tiered deduplication
US9648105B2 (en) 2014-11-14 2017-05-09 Commvault Systems, Inc. Unified snapshot storage management, using an enhanced storage manager and enhanced media agents
US9448731B2 (en) 2014-11-14 2016-09-20 Commvault Systems, Inc. Unified snapshot storage management
US10182013B1 (en) 2014-12-01 2019-01-15 F5 Networks, Inc. Methods for managing progressive image delivery and devices thereof
US9471229B2 (en) 2014-12-15 2016-10-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Scaling performance for raid storage controllers by predictively caching data for host write requests
US9652471B1 (en) 2014-12-15 2017-05-16 Amazon Technologies, Inc. Intelligent file system with transparent storage tiering
CN104504349B (zh) * 2014-12-19 2017-06-20 武汉长江通信智联技术有限公司 一种录像数据安全存储装置及方法
US11132336B2 (en) 2015-01-12 2021-09-28 Qumulo, Inc. Filesystem hierarchical capacity quantity and aggregate metrics
US9836480B2 (en) 2015-01-12 2017-12-05 Qumulo, Inc. Filesystem capacity and performance metrics and visualizations
US9904481B2 (en) 2015-01-23 2018-02-27 Commvault Systems, Inc. Scalable auxiliary copy processing in a storage management system using media agent resources
US9898213B2 (en) 2015-01-23 2018-02-20 Commvault Systems, Inc. Scalable auxiliary copy processing using media agent resources
US10372692B2 (en) * 2015-01-25 2019-08-06 Iguazio Systems Ltd. Virtual data objects
US11895138B1 (en) 2015-02-02 2024-02-06 F5, Inc. Methods for improving web scanner accuracy and devices thereof
CN104573571B (zh) * 2015-02-04 2017-09-19 郑州信大捷安信息技术股份有限公司 一种智能卡安全文件系统的生成方法
US10108624B1 (en) * 2015-02-04 2018-10-23 Amazon Technologies, Inc. Concurrent directory move operations using ranking rules
US10127234B1 (en) 2015-03-27 2018-11-13 Amazon Technologies, Inc. Proactive optimizations at multi-tier file systems
US10834065B1 (en) 2015-03-31 2020-11-10 F5 Networks, Inc. Methods for SSL protected NTLM re-authentication and devices thereof
US10339106B2 (en) 2015-04-09 2019-07-02 Commvault Systems, Inc. Highly reusable deduplication database after disaster recovery
US10397233B2 (en) 2015-04-20 2019-08-27 Bomgar Corporation Method and apparatus for credential handling
US10229262B2 (en) 2015-04-20 2019-03-12 Bomgar Corporation Systems, methods, and apparatuses for credential handling
US9860317B1 (en) 2015-04-30 2018-01-02 Amazon Technologies, Inc. Throughput throttling for distributed file storage services with varying connection characteristics
US10346367B1 (en) 2015-04-30 2019-07-09 Amazon Technologies, Inc. Load shedding techniques for distributed services with persistent client connections to ensure quality of service
US20160335198A1 (en) * 2015-05-12 2016-11-17 Apple Inc. Methods and system for maintaining an indirection system for a mass storage device
US10324914B2 (en) 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
US20160350391A1 (en) 2015-05-26 2016-12-01 Commvault Systems, Inc. Replication using deduplicated secondary copy data
US10078553B2 (en) * 2015-06-18 2018-09-18 International Business Machines Corporation Point in time copy technique using a block level of granularity
US10705909B2 (en) * 2015-06-25 2020-07-07 International Business Machines Corporation File level defined de-clustered redundant array of independent storage devices solution
US9766825B2 (en) 2015-07-22 2017-09-19 Commvault Systems, Inc. Browse and restore for block-level backups
CN105005622B (zh) * 2015-07-24 2018-12-07 肖华 一种高速存储高真连帧查询数的方法和其图像输出方法
US11386060B1 (en) 2015-09-23 2022-07-12 Amazon Technologies, Inc. Techniques for verifiably processing data in distributed computing systems
US10459891B2 (en) * 2015-09-30 2019-10-29 Western Digital Technologies, Inc. Replicating data across data storage devices of a logical volume
CN108369588B (zh) * 2015-10-15 2023-01-20 甲骨文国际公司 数据库级别自动存储管理
US9665446B1 (en) 2015-12-29 2017-05-30 International Business Machines Corporation Fully distributed intelligent rebuild
US10255143B2 (en) 2015-12-30 2019-04-09 Commvault Systems, Inc. Deduplication replication in a distributed deduplication data storage system
KR102528557B1 (ko) 2016-01-12 2023-05-04 삼성전자주식회사 다중 연결 포트를 갖는 반도체 장치, 메모리 시스템의 동작 방법 및 스토리지 시스템의 통신 방법
US10404698B1 (en) 2016-01-15 2019-09-03 F5 Networks, Inc. Methods for adaptive organization of web application access points in webtops and devices thereof
US10797888B1 (en) 2016-01-20 2020-10-06 F5 Networks, Inc. Methods for secured SCEP enrollment for client devices and devices thereof
US10095506B2 (en) 2016-02-12 2018-10-09 Nutanix, Inc. Virtualized file server data sharing
US10296368B2 (en) 2016-03-09 2019-05-21 Commvault Systems, Inc. Hypervisor-independent block-level live browse for access to backed up virtual machine (VM) data and hypervisor-free file-level recovery (block-level pseudo-mount)
US10503753B2 (en) 2016-03-10 2019-12-10 Commvault Systems, Inc. Snapshot replication operations based on incremental block change tracking
US10545927B2 (en) 2016-03-25 2020-01-28 Amazon Technologies, Inc. File system mode switching in a distributed storage service
US10474636B2 (en) 2016-03-25 2019-11-12 Amazon Technologies, Inc. Block allocation for low latency file systems
US10140312B2 (en) 2016-03-25 2018-11-27 Amazon Technologies, Inc. Low latency distributed storage service
KR102610846B1 (ko) * 2016-05-13 2023-12-07 한국전자통신연구원 고속 분산 저장 장치 및 방법
CN107247714B (zh) * 2016-06-01 2018-02-27 国家电网公司 一种基于分布式存储技术的小文件存取系统的存取方法
US10719499B2 (en) * 2016-06-06 2020-07-21 INTERNATIONAL BUSINESS MACHINES CORPORATIOb Establishing distributed consensus via alternate voting strategies in a dispersed storage network
US10417094B1 (en) 2016-07-13 2019-09-17 Peer Fusion, Inc. Hyper storage cluster
FR3056052B1 (fr) * 2016-09-09 2019-11-01 Slat Commutateur reseau et systeme de gestion associe
AU2017342700A1 (en) * 2016-10-14 2019-05-02 Janusnet Pty Limited Architecture, method and apparatus for enforcing collection and display of computer file metadata
US10412198B1 (en) 2016-10-27 2019-09-10 F5 Networks, Inc. Methods for improved transmission control protocol (TCP) performance visibility and devices thereof
US10095729B2 (en) 2016-12-09 2018-10-09 Qumulo, Inc. Managing storage quotas in a shared storage system
US10346355B2 (en) * 2016-12-23 2019-07-09 Qumulo, Inc. Filesystem block sampling to identify user consumption of storage resources
US10078552B2 (en) 2016-12-29 2018-09-18 Western Digital Technologies, Inc. Hierarchic storage policy for distributed object storage systems
US11089100B2 (en) * 2017-01-12 2021-08-10 Vivint, Inc. Link-server caching
US10620860B2 (en) * 2017-02-13 2020-04-14 Oracle International Corporation System for storing data in tape volume containers
US10740193B2 (en) 2017-02-27 2020-08-11 Commvault Systems, Inc. Hypervisor-independent reference copies of virtual machine payload data based on block-level pseudo-mount
US11010261B2 (en) 2017-03-31 2021-05-18 Commvault Systems, Inc. Dynamically allocating streams during restoration of data
US10567492B1 (en) 2017-05-11 2020-02-18 F5 Networks, Inc. Methods for load balancing in a federated identity environment and devices thereof
CN106993057A (zh) * 2017-05-24 2017-07-28 郑州云海信息技术有限公司 一种管理文件资源共享的方法及装置
US10664352B2 (en) 2017-06-14 2020-05-26 Commvault Systems, Inc. Live browsing of backed up data residing on cloned disks
US10394634B2 (en) * 2017-06-30 2019-08-27 Intel Corporation Drive-based storage scrubbing
US10503587B2 (en) 2017-06-30 2019-12-10 Intel Corporation Scrubbing disaggregated storage
US11341103B2 (en) * 2017-08-04 2022-05-24 International Business Machines Corporation Replicating and migrating files to secondary storage sites
CN107766180B (zh) * 2017-09-22 2020-08-14 成都华为技术有限公司 存储介质的管理方法、装置及可读存储介质
US10394474B2 (en) 2017-11-10 2019-08-27 Smart IOPS, Inc. Devices, systems, and methods for reconfiguring storage devices with applications
US11354247B2 (en) 2017-11-10 2022-06-07 Smart IOPS, Inc. Devices, systems, and methods for configuring a storage device with cache
US10812590B2 (en) 2017-11-17 2020-10-20 Bank Of America Corporation System for generating distributed cloud data storage on disparate devices
US11223689B1 (en) 2018-01-05 2022-01-11 F5 Networks, Inc. Methods for multipath transmission control protocol (MPTCP) based session migration and devices thereof
US10732885B2 (en) 2018-02-14 2020-08-04 Commvault Systems, Inc. Block-level live browsing and private writable snapshots using an ISCSI server
US10833943B1 (en) 2018-03-01 2020-11-10 F5 Networks, Inc. Methods for service chaining and devices thereof
CN110413208B (zh) 2018-04-28 2023-05-30 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
CN108965378B (zh) * 2018-05-29 2021-08-10 郑州云海信息技术有限公司 一种io模式识别方法、系统、设备及计算机存储介质
US10671370B2 (en) * 2018-05-30 2020-06-02 Red Hat, Inc. Distributing file system states
US11360936B2 (en) 2018-06-08 2022-06-14 Qumulo, Inc. Managing per object snapshot coverage in filesystems
US11169961B2 (en) * 2018-06-29 2021-11-09 Weka.IO Ltd. Data migration in a distributive file system
CN109344012B (zh) * 2018-09-14 2022-04-12 新华三技术有限公司成都分公司 数据重构控制方法、装置和设备
US12086450B1 (en) 2018-09-26 2024-09-10 Amazon Technologies, Inc. Synchronous get copy for asynchronous storage
US12003422B1 (en) 2018-09-28 2024-06-04 F5, Inc. Methods for switching network packets based on packet data and devices
US11010258B2 (en) 2018-11-27 2021-05-18 Commvault Systems, Inc. Generating backup copies through interoperability between components of a data storage management system and appliances for data storage and deduplication
US11698727B2 (en) 2018-12-14 2023-07-11 Commvault Systems, Inc. Performing secondary copy operations based on deduplication performance
US10534758B1 (en) 2018-12-20 2020-01-14 Qumulo, Inc. File system cache tiers
US11151092B2 (en) 2019-01-30 2021-10-19 Qumulo, Inc. Data replication in distributed file systems
US10614033B1 (en) 2019-01-30 2020-04-07 Qumulo, Inc. Client aware pre-fetch policy scoring system
CN111506450B (zh) * 2019-01-31 2024-01-02 伊姆西Ip控股有限责任公司 用于数据处理的方法、设备和计算机程序产品
CN109756581B (zh) * 2019-03-06 2021-11-09 珠海金山网络游戏科技有限公司 一种文件传输系统及方法、一种计算设备及存储介质
US20200327017A1 (en) 2019-04-10 2020-10-15 Commvault Systems, Inc. Restore using deduplicated secondary copy data
US11463264B2 (en) 2019-05-08 2022-10-04 Commvault Systems, Inc. Use of data block signatures for monitoring in an information management system
CN110263061A (zh) * 2019-06-17 2019-09-20 郑州阿帕斯科技有限公司 一种数据查询方法及系统
US11042318B2 (en) 2019-07-29 2021-06-22 Commvault Systems, Inc. Block-level data replication
US11907114B2 (en) 2019-08-18 2024-02-20 Smart IOPS, Inc. Devices, systems, and methods for dynamically remapping memory addresses
US11580030B2 (en) 2019-08-18 2023-02-14 Smart IOPS, Inc. Devices, systems, and methods of logical-to-physical address mapping
US10725977B1 (en) 2019-10-21 2020-07-28 Qumulo, Inc. Managing file system state during replication jobs
US11599283B2 (en) 2019-10-29 2023-03-07 Western Digital Technologies, Inc. Power reduction in distributed storage systems
US10803026B1 (en) 2019-11-01 2020-10-13 Capital One Services, Llc Dynamic directory recommendation and management
US20210173811A1 (en) 2019-12-04 2021-06-10 Commvault Systems, Inc. Optimizing the restoration of deduplicated data stored in multi-node replicated file systems
CN112947847B (zh) * 2019-12-11 2023-12-29 伊姆西Ip控股有限责任公司 用于存储数据的方法、设备和计算机程序产品
CN111046014A (zh) * 2019-12-24 2020-04-21 广州众鑫达科技有限公司 文件分布式存储系统、方法、装置及电子设备
US20210224233A1 (en) * 2020-01-21 2021-07-22 Nutanix, Inc. Method using access information in a distributed file server virtual machine (fsvm) architecture, including web access
US10860372B1 (en) 2020-01-24 2020-12-08 Qumulo, Inc. Managing throughput fairness and quality of service in file systems
US10795796B1 (en) 2020-01-24 2020-10-06 Qumulo, Inc. Predictive performance analysis for file systems
US11151001B2 (en) 2020-01-28 2021-10-19 Qumulo, Inc. Recovery checkpoints for distributed file systems
US10860414B1 (en) 2020-01-31 2020-12-08 Qumulo, Inc. Change notification in distributed file systems
KR20220137632A (ko) * 2020-02-03 2022-10-12 삼성전자주식회사 데이터 관리 시스템 및 제어 방법
US10936538B1 (en) 2020-03-30 2021-03-02 Qumulo, Inc. Fair sampling of alternate data stream metrics for file systems
CN111444219A (zh) * 2020-03-30 2020-07-24 深圳天岳创新科技有限公司 一种基于分布式的数据处理方法、装置和电子设备
US10936551B1 (en) 2020-03-30 2021-03-02 Qumulo, Inc. Aggregating alternate data stream metrics for file systems
US11687424B2 (en) 2020-05-28 2023-06-27 Commvault Systems, Inc. Automated media agent state management
CN111796972B (zh) * 2020-06-30 2022-11-04 苏州三六零智能安全科技有限公司 文件热修复方法、装置、设备及存储介质
CN111767263B (zh) * 2020-07-04 2022-08-30 武汉空心科技有限公司 一种工作平台文件存储方法及系统
US11526612B2 (en) 2020-09-22 2022-12-13 International Business Machines Corporation Computer file metadata segmentation security system
US11775481B2 (en) 2020-09-30 2023-10-03 Qumulo, Inc. User interfaces for managing distributed file systems
US11755503B2 (en) 2020-10-29 2023-09-12 Storj Labs International Sezc Persisting directory onto remote storage nodes and smart downloader/uploader based on speed of peers
US11157458B1 (en) 2021-01-28 2021-10-26 Qumulo, Inc. Replicating files in distributed file systems using object-based data storage
US11461241B2 (en) 2021-03-03 2022-10-04 Qumulo, Inc. Storage tier management for file systems
US11567660B2 (en) 2021-03-16 2023-01-31 Qumulo, Inc. Managing cloud storage for distributed file systems
US11132126B1 (en) 2021-03-16 2021-09-28 Qumulo, Inc. Backup services for distributed file systems in cloud computing environments
US12131192B2 (en) 2021-03-18 2024-10-29 Nutanix, Inc. Scope-based distributed lock infrastructure for virtualized file server
US11892983B2 (en) 2021-04-29 2024-02-06 EMC IP Holding Company LLC Methods and systems for seamless tiering in a distributed storage system
US12093435B2 (en) 2021-04-29 2024-09-17 Dell Products, L.P. Methods and systems for securing data in a distributed storage system
US11669255B2 (en) 2021-06-30 2023-06-06 Qumulo, Inc. Distributed resource caching by reallocation of storage caching using tokens and agents with non-depleted cache allocations
US11593223B1 (en) 2021-09-02 2023-02-28 Commvault Systems, Inc. Using resource pool administrative entities in a data storage management system to provide shared infrastructure to tenants
US11294604B1 (en) 2021-10-22 2022-04-05 Qumulo, Inc. Serverless disk drives based on cloud storage
US11922071B2 (en) 2021-10-27 2024-03-05 EMC IP Holding Company LLC Methods and systems for storing data in a distributed system using offload components and a GPU module
US11677633B2 (en) 2021-10-27 2023-06-13 EMC IP Holding Company LLC Methods and systems for distributing topology information to client nodes
US12007942B2 (en) * 2021-10-27 2024-06-11 EMC IP Holding Company LLC Methods and systems for seamlessly provisioning client application nodes in a distributed system
US12131074B2 (en) 2021-10-27 2024-10-29 EMC IP Holding Company LLC Methods and systems for storing data in a distributed system using GPUS
US11762682B2 (en) 2021-10-27 2023-09-19 EMC IP Holding Company LLC Methods and systems for storing data in a distributed system using offload components with advanced data services
US11354273B1 (en) 2021-11-18 2022-06-07 Qumulo, Inc. Managing usable storage space in distributed file systems
US12095930B2 (en) 2022-01-03 2024-09-17 Bank Of America Corporation System and method for secure file-sharing via a distributed network
US11599508B1 (en) 2022-01-31 2023-03-07 Qumulo, Inc. Integrating distributed file systems with object stores
US11809285B2 (en) 2022-02-09 2023-11-07 Commvault Systems, Inc. Protecting a management database of a data storage management system to meet a recovery point objective (RPO)
US12056018B2 (en) 2022-06-17 2024-08-06 Commvault Systems, Inc. Systems and methods for enforcing a recovery point objective (RPO) for a production database without generating secondary copies of the production database
US11722150B1 (en) 2022-09-28 2023-08-08 Qumulo, Inc. Error resistant write-ahead log
US11729269B1 (en) 2022-10-26 2023-08-15 Qumulo, Inc. Bandwidth management in distributed file systems
US11966592B1 (en) 2022-11-29 2024-04-23 Qumulo, Inc. In-place erasure code transcoding for distributed file systems
US20240243906A1 (en) * 2023-01-12 2024-07-18 Bank Of America Corporation Systems, methods, and apparatuses for generating data strings and for managing encrypted data in data containers in an electronic network
CN116431596B (zh) * 2023-06-12 2023-09-01 青岛诺亚信息技术有限公司 一种面向案卷级的、跨平台的分布式文件系统及实现方法
US11921677B1 (en) 2023-11-07 2024-03-05 Qumulo, Inc. Sharing namespaces across file system clusters
US11934660B1 (en) 2023-11-07 2024-03-19 Qumulo, Inc. Tiered data storage with ephemeral and persistent tiers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6029168A (en) * 1998-01-23 2000-02-22 Tricord Systems, Inc. Decentralized file mapping in a striped network file system in a distributed computing environment
US6081883A (en) * 1997-12-05 2000-06-27 Auspex Systems, Incorporated Processing system with dynamically allocatable buffer memory
US6173374B1 (en) * 1998-02-11 2001-01-09 Lsi Logic Corporation System and method for peer-to-peer accelerated I/O shipping between host bus adapters in clustered computer network

Family Cites Families (344)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5163131A (en) * 1989-09-08 1992-11-10 Auspex Systems, Inc. Parallel i/o network file server architecture
US5181162A (en) 1989-12-06 1993-01-19 Eastman Kodak Company Document management and production system
JPH04211844A (ja) 1990-01-19 1992-08-03 Texas Instr Inc <Ti> ファイルシステムディフラグメント化装置及び方法
US5230047A (en) 1990-04-16 1993-07-20 International Business Machines Corporation Method for balancing of distributed tree file structures in parallel computing systems to enable recovery after a failure
DE69017198T2 (de) 1990-05-15 1995-08-17 International Business Machines Corp., Armonk, N.Y. Hybrides Vermittlungssystem für einen Kommunikationsknoten.
JPH0731582B2 (ja) * 1990-06-21 1995-04-10 インターナショナル・ビジネス・マシーンズ・コーポレイション パリティ保護データを回復するための方法および装置
US5212784A (en) 1990-10-22 1993-05-18 Delphi Data, A Division Of Sparks Industries, Inc. Automated concurrent data backup system
US5329626A (en) 1990-10-23 1994-07-12 Digital Equipment Corporation System for distributed computation processing includes dynamic assignment of predicates to define interdependencies
AU8683991A (en) * 1990-11-09 1992-05-14 Array Technology Corporation Logical partitioning of a redundant array storage system
US5734826A (en) * 1991-03-29 1998-03-31 International Business Machines Corporation Variable cyclic redundancy coding method and apparatus for use in a multistage network
US5258984A (en) * 1991-06-13 1993-11-02 International Business Machines Corporation Method and means for distributed sparing in DASD arrays
JP3160106B2 (ja) 1991-12-23 2001-04-23 ヒュンダイ エレクトロニクス アメリカ ディスクアレーの区分け方法
US5359594A (en) * 1992-05-15 1994-10-25 International Business Machines Corporation Power-saving full duplex nodal communications systems
US5469562A (en) * 1992-06-26 1995-11-21 Digital Equipment Corporation Durable atomic storage update manager
US5403639A (en) * 1992-09-02 1995-04-04 Storage Technology Corporation File server having snapshot application data groups
GB2270821A (en) * 1992-09-19 1994-03-23 Ibm Message transmission in a computer network
DE69322057T2 (de) 1992-10-24 1999-06-10 International Computers Ltd., Putney, London Verteiltes Datenverarbeitungssystem
US5423046A (en) 1992-12-17 1995-06-06 International Business Machines Corporation High capacity data storage system using disk array
US5649200A (en) 1993-01-08 1997-07-15 Atria Software, Inc. Dynamic rule-based version control system
US5548724A (en) * 1993-03-22 1996-08-20 Hitachi, Ltd. File server system and file access control method of the same
US5596744A (en) * 1993-05-20 1997-01-21 Hughes Aircraft Company Apparatus and method for providing users with transparent integrated access to heterogeneous database management systems
WO1994029796A1 (en) * 1993-06-03 1994-12-22 Network Appliance Corporation A method for allocating files in a file system integrated with a raid disk sub-system
US6138126A (en) 1995-05-31 2000-10-24 Network Appliance, Inc. Method for allocating files in a file system integrated with a raid disk sub-system
US5963962A (en) * 1995-05-31 1999-10-05 Network Appliance, Inc. Write anywhere file-system layout
US5548795A (en) 1994-03-28 1996-08-20 Quantum Corporation Method for determining command execution dependencies within command queue reordering process
US5434994A (en) * 1994-05-23 1995-07-18 International Business Machines Corporation System and method for maintaining replicated data coherency in a data processing system
EP0684716B1 (en) * 1994-05-25 2002-02-27 International Business Machines Corporation A data communication network and method for operating said network
US5657439A (en) * 1994-08-23 1997-08-12 International Business Machines Corporation Distributed subsystem sparing
US5694593A (en) * 1994-10-05 1997-12-02 Northeastern University Distributed computer database system and method
EP0709779B1 (en) * 1994-10-31 2001-05-30 International Business Machines Corporation Virtual shared disks with application-transparent recovery
US6108759A (en) 1995-02-23 2000-08-22 Powerquest Corporation Manipulation of partitions holding advanced file systems
JP3358687B2 (ja) 1995-03-13 2002-12-24 株式会社日立製作所 ディスクアレイ装置
US5696895A (en) * 1995-05-19 1997-12-09 Compaq Computer Corporation Fault tolerant multiple network servers
US5612865A (en) * 1995-06-01 1997-03-18 Ncr Corporation Dynamic hashing method for optimal distribution of locks within a clustered system
US5680621A (en) 1995-06-07 1997-10-21 International Business Machines Corporation System and method for domained incremental changes storage and retrieval
US5787267A (en) 1995-06-07 1998-07-28 Monolithic System Technology, Inc. Caching method and circuit for a memory system with circuit module architecture
JP3512910B2 (ja) 1995-07-06 2004-03-31 株式会社東芝 分散計算機システムにおける記憶空間管理方法、計算機及びデータ転送方法
US5875456A (en) 1995-08-17 1999-02-23 Nstor Corporation Storage device array and methods for striping and unstriping data and for adding and removing disks online to/from a raid storage array
US5870757A (en) * 1995-09-11 1999-02-09 Sun Microsystems, Inc. Single transaction technique for a journaling file system of a computer operating system
US5774643A (en) 1995-10-13 1998-06-30 Digital Equipment Corporation Enhanced raid write hole protection and recovery
US5778395A (en) 1995-10-23 1998-07-07 Stac, Inc. System for backing up files from disk volumes on multiple nodes of a computer network
US5862312A (en) * 1995-10-24 1999-01-19 Seachange Technology, Inc. Loosely coupled mass storage computer cluster
US6449730B2 (en) * 1995-10-24 2002-09-10 Seachange Technology, Inc. Loosely coupled mass storage computer cluster
US6567926B2 (en) * 1995-10-24 2003-05-20 Seachange International, Inc. Loosely coupled mass storage computer cluster
US5805578A (en) 1995-10-27 1998-09-08 International Business Machines Corporation Automatic reconfiguration of multipoint communication channels
US5799305A (en) * 1995-11-02 1998-08-25 Informix Software, Inc. Method of commitment in a distributed database transaction
JPH103421A (ja) * 1995-11-20 1998-01-06 Matsushita Electric Ind Co Ltd 仮想ファイル管理システム
US5761659A (en) * 1996-02-29 1998-06-02 Sun Microsystems, Inc. Method, product, and structure for flexible range locking of read and write requests using shared and exclusive locks, flags, sub-locks, and counters
GB9605473D0 (en) * 1996-03-15 1996-05-15 Int Computers Ltd Parallel searching technique
US6117181A (en) * 1996-03-22 2000-09-12 Sun Microsystems, Inc. Synchronization mechanism for distributed hardware simulation
US5884098A (en) * 1996-04-18 1999-03-16 Emc Corporation RAID controller system utilizing front end and back end caching systems including communication path connecting two caching systems and synchronizing allocation of blocks in caching systems
US5806065A (en) 1996-05-06 1998-09-08 Microsoft Corporation Data system with distributed tree indexes and method for maintaining the indexes
US5884324A (en) * 1996-07-23 1999-03-16 International Business Machines Corporation Agent for replicating data based on a client defined replication period
US5917998A (en) * 1996-07-26 1999-06-29 International Business Machines Corporation Method and apparatus for establishing and maintaining the status of membership sets used in mirrored read and write input/output without logging
US6044367A (en) 1996-08-02 2000-03-28 Hewlett-Packard Company Distributed I/O store
US5878410A (en) * 1996-09-13 1999-03-02 Microsoft Corporation File system sort order indexes
US5805900A (en) * 1996-09-26 1998-09-08 International Business Machines Corporation Method and apparatus for serializing resource access requests in a multisystem complex
US5884046A (en) * 1996-10-23 1999-03-16 Pluris, Inc. Apparatus and method for sharing data and routing messages between a plurality of workstations in a local area network
US6202085B1 (en) * 1996-12-06 2001-03-13 Microsoft Corportion System and method for incremental change synchronization between multiple copies of data
US5822790A (en) 1997-02-07 1998-10-13 Sun Microsystems, Inc. Voting data prefetch engine
US6070172A (en) 1997-03-06 2000-05-30 Oracle Corporation On-line free space defragmentation of a contiguous-file file system
US5890147A (en) * 1997-03-07 1999-03-30 Microsoft Corporation Scope testing of documents in a search engine using document to folder mapping
US5943690A (en) * 1997-04-07 1999-08-24 Sony Corporation Data storage apparatus and method allocating sets of data
US5878414A (en) 1997-06-06 1999-03-02 International Business Machines Corp. Constructing a transaction serialization order based on parallel or distributed database log files
US6393483B1 (en) 1997-06-30 2002-05-21 Adaptec, Inc. Method and apparatus for network interface card load balancing and port aggregation
US5963963A (en) * 1997-07-11 1999-10-05 International Business Machines Corporation Parallel file system and buffer management arbitration
US6032216A (en) * 1997-07-11 2000-02-29 International Business Machines Corporation Parallel file system with method using tokens for locking modes
US6209059B1 (en) * 1997-09-25 2001-03-27 Emc Corporation Method and apparatus for the on-line reconfiguration of the logical volumes of a data storage system
US5983232A (en) 1997-09-29 1999-11-09 Triada, Ltd. Virtual structured information system
US6014669A (en) * 1997-10-01 2000-01-11 Sun Microsystems, Inc. Highly-available distributed cluster configuration database
US5933834A (en) 1997-10-16 1999-08-03 International Business Machines Incorporated System and method for re-striping a set of objects onto an exploded array of storage units in a computer system
US6442533B1 (en) 1997-10-29 2002-08-27 William H. Hinkle Multi-processing financial transaction processing system
US6219693B1 (en) 1997-11-04 2001-04-17 Adaptec, Inc. File array storage architecture having file system distributed across a data processing platform
US6055543A (en) * 1997-11-21 2000-04-25 Verano File wrapper containing cataloging information for content searching across multiple platforms
US5966707A (en) 1997-12-02 1999-10-12 International Business Machines Corporation Method for managing a plurality of data processes residing in heterogeneous data repositories
JP3930138B2 (ja) * 1998-02-27 2007-06-13 株式会社東芝 情報解析方法および情報解析プログラムを記憶した媒体
US6226377B1 (en) 1998-03-06 2001-05-01 Avaya Technology Corp. Prioritized transaction server allocation
US6055564A (en) 1998-03-11 2000-04-25 Hewlett Packard Company Admission control where priority indicator is used to discriminate between messages
US6421781B1 (en) 1998-04-30 2002-07-16 Openwave Systems Inc. Method and apparatus for maintaining security in a push server
US6122754A (en) * 1998-05-22 2000-09-19 International Business Machines Corporation Method and system for data recovery using a distributed and scalable data structure
JP4234233B2 (ja) 1998-05-27 2009-03-04 富士通株式会社 情報記憶装置及びプログラムが記憶された記録媒体
US6247108B1 (en) 1998-06-03 2001-06-12 Lucent Technologies Inc. Memory management during processing of binary decision diagrams in a computer system
JP2000065718A (ja) * 1998-06-09 2000-03-03 Seiko Instruments Inc 走査型プロ―ブ顕微鏡（ｓｐｍ）プロ―ブ及びｓｐｍ装置
US6463442B1 (en) * 1998-06-30 2002-10-08 Microsoft Corporation Container independent data binding system
US6631411B1 (en) 1998-10-12 2003-10-07 Freshwater Software, Inc. Apparatus and method for monitoring a chain of electronic transactions
US6862635B1 (en) 1998-11-13 2005-03-01 Cray Inc. Synchronization techniques in a multithreaded environment
US6385626B1 (en) 1998-11-19 2002-05-07 Emc Corporation Method and apparatus for identifying changes to a logical object based on changes to the logical object at physical level
US6279007B1 (en) 1998-11-30 2001-08-21 Microsoft Corporation Architecture for managing query friendly hierarchical values
US6408313B1 (en) * 1998-12-16 2002-06-18 Microsoft Corporation Dynamic memory allocation based on free memory size
US6434574B1 (en) * 1998-12-17 2002-08-13 Apple Computer, Inc. System and method for storing and retrieving filenames and files in computer memory using multiple encodings
US6457139B1 (en) * 1998-12-30 2002-09-24 Emc Corporation Method and apparatus for providing a host computer with information relating to the mapping of logical volumes within an intelligent storage system
US6922708B1 (en) 1999-02-18 2005-07-26 Oracle International Corporation File system that supports transactions
US6334168B1 (en) 1999-02-19 2001-12-25 International Business Machines Corporation Method and system for updating data in a data storage system
US6321345B1 (en) * 1999-03-01 2001-11-20 Seachange Systems, Inc. Slow response in redundant arrays of inexpensive disks
TW418360B (en) * 1999-03-02 2001-01-11 Via Tech Inc Memory access controller
US6502174B1 (en) * 1999-03-03 2002-12-31 International Business Machines Corporation Method and system for managing meta data
US6725392B1 (en) 1999-03-03 2004-04-20 Adaptec, Inc. Controller fault recovery system for a distributed file system
US6353823B1 (en) * 1999-03-08 2002-03-05 Intel Corporation Method and system for using associative metadata
US6658554B1 (en) 1999-03-09 2003-12-02 Wisconsin Alumni Res Found Electronic processor providing direct data transfer between linked data consuming instructions
US6671704B1 (en) * 1999-03-11 2003-12-30 Hewlett-Packard Development Company, L.P. Method and apparatus for handling failures of resource managers in a clustered environment
US6523130B1 (en) * 1999-03-11 2003-02-18 Microsoft Corporation Storage system having error detection and recovery
WO2000057315A2 (en) * 1999-03-25 2000-09-28 Microsoft Corporation Extended file system
US6907011B1 (en) 1999-03-30 2005-06-14 International Business Machines Corporation Quiescent reconfiguration of a routing network
US6801949B1 (en) 1999-04-12 2004-10-05 Rainfinity, Inc. Distributed server cluster with graphical user interface
US6496842B1 (en) 1999-05-28 2002-12-17 Survol Interactive Technologies Navigating heirarchically organized information
US6405219B2 (en) 1999-06-22 2002-06-11 F5 Networks, Inc. Method and system for automatically updating the version of a set of files stored on content servers
US6453389B1 (en) * 1999-06-25 2002-09-17 Hewlett-Packard Company Optimizing computer performance by using data compression principles to minimize a loss function
US6415259B1 (en) 1999-07-15 2002-07-02 American Management Systems, Inc. Automatic work progress tracking and optimizing engine for a telecommunications customer care and billing system
US7206805B1 (en) 1999-09-09 2007-04-17 Oracle International Corporation Asynchronous transcription object management system
US7290056B1 (en) 1999-09-09 2007-10-30 Oracle International Corporation Monitoring latency of a network to manage termination of distributed transactions
US6895482B1 (en) 1999-09-10 2005-05-17 International Business Machines Corporation Reordering and flushing commands in a computer memory subsystem
US20020029200A1 (en) * 1999-09-10 2002-03-07 Charles Dulin System and method for providing certificate validation and other services
US6662184B1 (en) * 1999-09-23 2003-12-09 International Business Machines Corporation Lock-free wild card search data structure and method
US7069320B1 (en) 1999-10-04 2006-06-27 International Business Machines Corporation Reconfiguring a network by utilizing a predetermined length quiescent state
US6549513B1 (en) * 1999-10-12 2003-04-15 Alcatel Method and apparatus for fast distributed restoration of a communication network
US6571244B1 (en) 1999-10-28 2003-05-27 Microsoft Corporation Run formation in large scale sorting using batched replacement selection
AU1450901A (en) * 1999-11-01 2001-05-14 Mangosoft Corporation Internet-based shared file service with native pc client access and semantics
US6584581B1 (en) 1999-12-06 2003-06-24 Ab Initio Software Corporation Continuous flow checkpointing data processing
US6567894B1 (en) * 1999-12-08 2003-05-20 International Business Machines Corporation Method and apparatus to prefetch sequential pages in a multi-stream environment
US6546443B1 (en) * 1999-12-15 2003-04-08 Microsoft Corporation Concurrency-safe reader-writer lock with time out support
US6848029B2 (en) * 2000-01-03 2005-01-25 Dirk Coldewey Method and apparatus for prefetching recursive data structures
US6748429B1 (en) 2000-01-10 2004-06-08 Sun Microsystems, Inc. Method to dynamically change cluster or distributed system configuration
GB2358557B (en) * 2000-01-18 2002-05-08 Motorola Ltd Digital communications system
US7213063B2 (en) * 2000-01-18 2007-05-01 Lucent Technologies Inc. Method, apparatus and system for maintaining connections between computers using connection-oriented protocols
US6594660B1 (en) * 2000-01-24 2003-07-15 Microsoft Corporation Share latch clearing
US6526478B1 (en) * 2000-02-02 2003-02-25 Lsi Logic Corporation Raid LUN creation using proportional disk mapping
US20020031131A1 (en) 2000-02-02 2002-03-14 Yechiam Yemini Method and apparatus for the exchange of data between a dynamically addressed network and a foreign network
EP1133101A1 (en) * 2000-03-07 2001-09-12 BRITISH TELECOMMUNICATIONS public limited company Data distribution
US6917942B1 (en) * 2000-03-15 2005-07-12 International Business Machines Corporation System for dynamically evaluating locks in a distributed data storage system
US20020049778A1 (en) * 2000-03-31 2002-04-25 Bell Peter W. System and method of information outsourcing
CA2405526A1 (en) 2000-04-03 2001-10-11 Anthony V. Pugliese, Iii System and method for displaying and selling goods and services
US6598174B1 (en) * 2000-04-26 2003-07-22 Dell Products L.P. Method and apparatus for storage unit replacement in non-redundant array
US6735678B2 (en) 2000-05-24 2004-05-11 Seagate Technology Llc Method and apparatus for disc drive defragmentation
US6922696B1 (en) 2000-05-31 2005-07-26 Sri International Lattice-based security classification system and method
JP3230677B1 (ja) 2000-06-01 2001-11-19 日本インターシステムズ株式会社 自動集計方法、自動集計装置および記録媒体
US6742020B1 (en) 2000-06-08 2004-05-25 Hewlett-Packard Development Company, L.P. System and method for managing data flow and measuring service in a storage network
US6898607B2 (en) 2000-07-11 2005-05-24 Sony Corporation Proposed syntax for a synchronized commands execution
US6618798B1 (en) * 2000-07-11 2003-09-09 International Business Machines Corporation Method, system, program, and data structures for mapping logical units to a storage space comprises of at least one array of storage units
TW594563B (en) * 2000-07-19 2004-06-21 Micro Star Int Co Ltd Programming method and equipment of programmable apparatus for circuit board without power supplying
US7007097B1 (en) 2000-07-20 2006-02-28 Silicon Graphics, Inc. Method and system for covering multiple resourcces with a single credit in a computer system
US7216132B1 (en) 2000-08-16 2007-05-08 Sparta Systems, Inc. System and method for automated process control
US6977908B2 (en) * 2000-08-25 2005-12-20 Hewlett-Packard Development Company, L.P. Method and apparatus for discovering computer systems in a distributed multi-system cluster
US6732125B1 (en) * 2000-09-08 2004-05-04 Storage Technology Corporation Self archiving log structured volume with intrinsic data protection
US6671772B1 (en) * 2000-09-20 2003-12-30 Robert E. Cousins Hierarchical file system structure for enhancing disk transfer efficiency
JP2002108573A (ja) 2000-09-28 2002-04-12 Nec Corp ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体
US6970939B2 (en) 2000-10-26 2005-11-29 Intel Corporation Method and apparatus for large payload distribution in a network
US6687805B1 (en) * 2000-10-30 2004-02-03 Hewlett-Packard Development Company, L.P. Method and system for logical-object-to-physical-location translation and physical separation of logical objects
US7313614B2 (en) 2000-11-02 2007-12-25 Sun Microsystems, Inc. Switching system
US6671686B2 (en) 2000-11-02 2003-12-30 Guy Pardon Decentralized, distributed internet data management
US7200606B2 (en) 2000-11-07 2007-04-03 The Regents Of The University Of California Method and system for selecting documents by measuring document quality
US6499091B1 (en) * 2000-11-13 2002-12-24 Lsi Logic Corporation System and method for synchronizing data mirrored by storage subsystems
US6594744B1 (en) 2000-12-11 2003-07-15 Lsi Logic Corporation Managing a snapshot volume or one or more checkpoint volumes with multiple point-in-time images in a single repository
US6856591B1 (en) * 2000-12-15 2005-02-15 Cisco Technology, Inc. Method and system for high reliability cluster management
JP2002202936A (ja) 2000-12-18 2002-07-19 Kizna Corp 情報収集サーバ及び情報収集方法並びに記録媒体
US20020078161A1 (en) 2000-12-19 2002-06-20 Philips Electronics North America Corporation UPnP enabling device for heterogeneous networks of slave devices
US6785678B2 (en) * 2000-12-21 2004-08-31 Emc Corporation Method of improving the availability of a computer clustering system through the use of a network medium link state function
US6990611B2 (en) 2000-12-29 2006-01-24 Dot Hill Systems Corp. Recovering data from arrays of storage devices after certain failures
US20020087366A1 (en) * 2000-12-30 2002-07-04 Collier Timothy R. Tentative-hold-based protocol for distributed transaction processing
US6594655B2 (en) 2001-01-04 2003-07-15 Ezchip Technologies Ltd. Wildcards in radix- search tree structures
MY147018A (en) * 2001-01-04 2012-10-15 Thomson Licensing Sa A method and apparatus for acquiring media services available from content aggregators
US6907520B2 (en) 2001-01-11 2005-06-14 Sun Microsystems, Inc. Threshold-based load address prediction and new thread identification in a multithreaded microprocessor
US20020138559A1 (en) 2001-01-29 2002-09-26 Ulrich Thomas R. Dynamically distributed file system
US6990547B2 (en) 2001-01-29 2006-01-24 Adaptec, Inc. Replacing file system processors by hot swapping
US7054927B2 (en) 2001-01-29 2006-05-30 Adaptec, Inc. File system metadata describing server directory information
US6862692B2 (en) 2001-01-29 2005-03-01 Adaptec, Inc. Dynamic redistribution of parity groups
US20020124137A1 (en) 2001-01-29 2002-09-05 Ulrich Thomas R. Enhancing disk array performance via variable parity based load balancing
US20020169827A1 (en) 2001-01-29 2002-11-14 Ulrich Thomas R. Hot adding file system processors
US6990667B2 (en) 2001-01-29 2006-01-24 Adaptec, Inc. Server-independent object positioning for load balancing drives and servers
US20020191311A1 (en) 2001-01-29 2002-12-19 Ulrich Thomas R. Dynamically scalable disk array
US20020174295A1 (en) 2001-01-29 2002-11-21 Ulrich Thomas R. Enhanced file system failure tolerance
FR2820843B1 (fr) 2001-02-09 2003-05-30 Thomson Csf Systeme de protection contre la copie d'informations pour la creation d'un disque optique protege et procede de protection correspondant
WO2002071183A2 (en) 2001-02-28 2002-09-12 Wily Technology, Inc. Detecting a stalled routine
US6895534B2 (en) 2001-04-23 2005-05-17 Hewlett-Packard Development Company, L.P. Systems and methods for providing automated diagnostic services for a cluster computer system
US20020158900A1 (en) 2001-04-30 2002-10-31 Hsieh Vivian G. Graphical user interfaces for network management automated provisioning environment
US20030005159A1 (en) 2001-06-07 2003-01-02 International Business Machines Corporation Method and system for generating and serving multilingual web pages
US20040189682A1 (en) 2001-12-26 2004-09-30 Lidror Troyansky Method and a system for embedding textual forensic information
US7295755B2 (en) 2001-06-22 2007-11-13 Thomson Licensing Method and apparatus for simplifying the access of metadata
US7181746B2 (en) * 2001-06-29 2007-02-20 Intel Corporation Initialization, reconfiguration, and shut down of a module function
US6877107B2 (en) * 2001-07-05 2005-04-05 Softwired Ag Method for ensuring operation during node failures and network partitions in a clustered message passing server
US7546354B1 (en) 2001-07-06 2009-06-09 Emc Corporation Dynamic network based storage with high availability
US7685126B2 (en) 2001-08-03 2010-03-23 Isilon Systems, Inc. System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system
US7146524B2 (en) * 2001-08-03 2006-12-05 Isilon Systems, Inc. Systems and methods for providing a distributed file system incorporating a virtual hot spare
US6929013B2 (en) 2001-08-14 2005-08-16 R. J. Reynolds Tobacco Company Wrapping materials for smoking articles
US20030061491A1 (en) 2001-09-21 2003-03-27 Sun Microsystems, Inc. System and method for the allocation of network storage
US6920494B2 (en) 2001-10-05 2005-07-19 International Business Machines Corporation Storage area network methods and apparatus with virtual SAN recognition
US6954877B2 (en) 2001-11-29 2005-10-11 Agami Systems, Inc. Fault tolerance using logical checkpointing in computing systems
US7184421B1 (en) 2001-12-21 2007-02-27 Itt Manufacturing Enterprises, Inc. Method and apparatus for on demand multicast and unicast using controlled flood multicast communications
US7055058B2 (en) 2001-12-26 2006-05-30 Boon Storage Technologies, Inc. Self-healing log-structured RAID
US7433948B2 (en) * 2002-01-23 2008-10-07 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network
US6859696B2 (en) 2001-12-27 2005-02-22 Caterpillar Inc System and method for monitoring machine status
US7073115B2 (en) 2001-12-28 2006-07-04 Network Appliance, Inc. Correcting multiple block data loss in a storage array using a combination of a single diagonal parity group and multiple row parity groups
US6990604B2 (en) 2001-12-28 2006-01-24 Storage Technology Corporation Virtual storage status coalescing with a plurality of physical storage devices
US6898587B2 (en) 2002-01-18 2005-05-24 Bea Systems, Inc. System and method for performing commutative operations in data access systems
US7742504B2 (en) 2002-01-24 2010-06-22 University Of Southern California Continuous media system
US20030149750A1 (en) * 2002-02-07 2003-08-07 Franzenburg Alan M. Distributed storage array
US7113938B2 (en) 2002-02-14 2006-09-26 Gravic, Inc. Method of increasing system availability by splitting a system
US7216135B2 (en) 2002-02-15 2007-05-08 International Business Machines Corporation File system for providing access to a snapshot dataset where disk address in the inode is equal to a ditto address for indicating that the disk address is invalid disk address
US6829617B2 (en) 2002-02-15 2004-12-07 International Business Machines Corporation Providing a snapshot of a subset of a file system
US6940966B2 (en) * 2002-02-21 2005-09-06 Vtech Telecommunications, Ltd. Method and apparatus for detection of a telephone CPE alerting signal
WO2003073762A1 (en) 2002-02-27 2003-09-04 Opentv, Inc. A method and apparatus for providing a hierarchical security profile object
US7177295B1 (en) 2002-03-08 2007-02-13 Scientific Research Corporation Wireless routing protocol for ad-hoc networks
US7240235B2 (en) 2002-03-13 2007-07-03 Intel Corporation Journaling technique for write transactions to mass storage
US7143307B1 (en) * 2002-03-15 2006-11-28 Network Appliance, Inc. Remote disaster recovery and data migration using virtual appliance migration
US7010553B2 (en) 2002-03-19 2006-03-07 Network Appliance, Inc. System and method for redirecting access to a remote mirrored snapshot
US7043485B2 (en) 2002-03-19 2006-05-09 Network Appliance, Inc. System and method for storage of snapshot metadata in a remote file
US7225204B2 (en) 2002-03-19 2007-05-29 Network Appliance, Inc. System and method for asynchronous mirroring of snapshots at a destination using a purgatory directory and inode mapping
CN1286012C (zh) 2002-03-20 2006-11-22 联想(北京)有限公司 计算机硬盘内信息恢复和备份的实现方法
US6934878B2 (en) * 2002-03-22 2005-08-23 Intel Corporation Failure detection and failure handling in cluster controller networks
GB2387087A (en) 2002-03-25 2003-10-01 Sony Uk Ltd System
US7631066B1 (en) 2002-03-25 2009-12-08 Symantec Operating Corporation System and method for preventing data corruption in computer system clusters
JP3848198B2 (ja) 2002-03-29 2006-11-22 株式会社東芝 ネームサーバ、ネットワーク・システム、逆引き要求処理方法、正引き要求処理方法及び通信制御方法
US7058639B1 (en) 2002-04-08 2006-06-06 Oracle International Corporation Use of dynamic multi-level hash table for managing hierarchically structured information
US6904430B1 (en) 2002-04-26 2005-06-07 Microsoft Corporation Method and system for efficiently identifying differences between large files
US6954435B2 (en) * 2002-04-29 2005-10-11 Harris Corporation Determining quality of service (QoS) routing for mobile ad hoc networks
US7249118B2 (en) 2002-05-17 2007-07-24 Aleri, Inc. Database system and methods
US8447963B2 (en) 2002-06-12 2013-05-21 Bladelogic Inc. Method and system for simplifying distributed server management
US7043567B2 (en) 2002-07-22 2006-05-09 Seagate Technology Llc Method and apparatus for determining the order of execution of queued commands in a data storage system
US7047243B2 (en) * 2002-08-05 2006-05-16 Microsoft Corporation Coordinating transactional web services
US7051155B2 (en) 2002-08-05 2006-05-23 Sun Microsystems, Inc. Method and system for striping data to accommodate integrity metadata
US7370064B2 (en) 2002-08-06 2008-05-06 Yousefi Zadeh Homayoun Database remote replication for back-end tier of multi-tier computer systems
AU2003261924A1 (en) 2002-09-05 2004-03-29 Hiroyuki Yasoshima Method for managing file using network structure, operation object display limiting program, and recording medium
EP1546930B1 (en) 2002-09-18 2015-10-21 IBM International Group BV Programmable streaming data processor for database appliance having multiple processing unit groups
US7103597B2 (en) 2002-10-03 2006-09-05 Mcgoveran David O Adaptive transaction manager for complex transactions and business process
US7111305B2 (en) 2002-10-31 2006-09-19 Sun Microsystems, Inc. Facilitating event notification through use of an inverse mapping structure for subset determination
JP4464279B2 (ja) 2002-11-14 2010-05-19 アイシロン・システムズ・インコーポレーテッド 分散ファイルシステムにおけるファイルの再ストライピングのためのシステム及び方法
US7412433B2 (en) 2002-11-19 2008-08-12 International Business Machines Corporation Hierarchical storage management using dynamic tables of contents and sets of tables of contents
DE10393771T5 (de) 2002-11-20 2006-03-30 Filesx Ltd. Schnelle Datensicherungsspeicherung und schnelle Datenwiederherstellung (FBSRD)
AU2003284656A1 (en) 2002-11-25 2004-06-18 Matsushita Electric Industrial Co., Ltd. File management device, file management method, file management program, and recording medium
US7552445B2 (en) 2002-12-13 2009-06-23 Savvis Communications Corporation Systems and methods for monitoring events from multiple brokers
US7752226B1 (en) 2002-12-20 2010-07-06 Symantec Operating Corporation Reverse pathname lookup by inode identifier
US7007044B1 (en) 2002-12-26 2006-02-28 Storage Technology Corporation Storage backup system for backing up data written to a primary storage device to multiple virtual mirrors using a reconciliation process that reflects the changing state of the primary storage device over time
US8250202B2 (en) 2003-01-04 2012-08-21 International Business Machines Corporation Distributed notification and action mechanism for mirroring-related events
US7512701B2 (en) * 2003-01-16 2009-03-31 Hewlett-Packard Development Company, L.P. System and method for efficiently replicating a file among a plurality of recipients in a reliable manner
WO2004066650A1 (en) 2003-01-20 2004-08-05 Sk Telecom Co., Ltd Method for controlling a media message upload through a wireless communication network
JP4077329B2 (ja) 2003-01-31 2008-04-16 株式会社東芝 トランザクション処理システム、並行制御方法及びプログラム
WO2004072816A2 (en) 2003-02-07 2004-08-26 Lammina Systems Corporation Method and apparatus for online transaction processing
US7509378B2 (en) * 2003-03-11 2009-03-24 Bea Systems, Inc. System and method for message ordering in a message oriented network
US7337290B2 (en) * 2003-04-03 2008-02-26 Oracle International Corporation Deadlock resolution through lock requeing
US7496574B2 (en) 2003-05-01 2009-02-24 International Business Machines Corporation Managing locks and transactions
US7228299B1 (en) 2003-05-02 2007-06-05 Veritas Operating Corporation System and method for performing file lookups based on tags
JP3973597B2 (ja) 2003-05-14 2007-09-12 株式会社ソニー・コンピュータエンタテインメント プリフェッチ命令制御方法、プリフェッチ命令制御装置、キャッシュメモリ制御装置、オブジェクトコードの生成方法および装置
US7673307B2 (en) 2003-05-29 2010-03-02 International Business Machines Corporation Managing transactions in a messaging system
US7152182B2 (en) 2003-06-06 2006-12-19 Hewlett-Packard Development Company, L.P. Data redundancy system and method
US20050010592A1 (en) 2003-07-08 2005-01-13 John Guthrie Method and system for taking a data snapshot
US7831693B2 (en) * 2003-08-18 2010-11-09 Oracle America, Inc. Structured methodology and design patterns for web services
US7257257B2 (en) 2003-08-19 2007-08-14 Intel Corporation Method and apparatus for differential, bandwidth-efficient and storage-efficient backups
JP4460251B2 (ja) 2003-09-19 2010-05-12 株式会社エヌ・ティ・ティ・ドコモ 構造化文書署名装置、構造化文書適応化装置及び構造化文書検証装置。
US7409587B2 (en) 2004-08-24 2008-08-05 Symantec Operating Corporation Recovering from storage transaction failures using checkpoints
US7865485B2 (en) 2003-09-23 2011-01-04 Emc Corporation Multi-threaded write interface and methods for increasing the single file read and write throughput of a file server
US7269588B1 (en) 2003-09-24 2007-09-11 Oracle International Corporation Neighborhood locking technique for increasing concurrency among transactions
US7194487B1 (en) * 2003-10-16 2007-03-20 Veritas Operating Corporation System and method for recording the order of a change caused by restoring a primary volume during ongoing replication of the primary volume
US7225210B2 (en) * 2003-11-20 2007-05-29 Overland Storage, Inc. Block level data snapshot system and method
US7380073B2 (en) * 2003-11-26 2008-05-27 Sas Institute Inc. Computer-implemented system and method for lock handling
CA2452251C (en) 2003-12-04 2010-02-09 Timothy R. Jewell Data backup system and method
US20050125456A1 (en) 2003-12-09 2005-06-09 Junichi Hara File migration method based on access history
US8244903B2 (en) 2003-12-22 2012-08-14 Emc Corporation Data streaming and backup systems having multiple concurrent read threads for improved small file performance
US7181556B2 (en) 2003-12-23 2007-02-20 Arm Limited Transaction request servicing mechanism
US7287076B2 (en) 2003-12-29 2007-10-23 Microsoft Corporation Performing threshold based connection status responses
JP2005196467A (ja) 2004-01-07 2005-07-21 Hitachi Ltd ストレージシステム、ストレージシステムの制御方法、及びストレージ制御装置
US7265692B2 (en) 2004-01-29 2007-09-04 Hewlett-Packard Development Company, L.P. Data compression system based on tree models
US7383276B2 (en) 2004-01-30 2008-06-03 Microsoft Corporation Concurrency control for B-trees with node deletion
US7296139B1 (en) 2004-01-30 2007-11-13 Nvidia Corporation In-memory table structure for virtual address translation system with translation units of variable range size
US7440966B2 (en) 2004-02-12 2008-10-21 International Business Machines Corporation Method and apparatus for file system snapshot persistence
JP4489455B2 (ja) 2004-02-16 2010-06-23 株式会社日立製作所 ディスク制御装置及びディスク制御装置の制御方法
US20050193389A1 (en) 2004-02-26 2005-09-01 Murphy Robert J. System and method for a user-configurable, removable media-based, multi-package installer
US7318134B1 (en) 2004-03-16 2008-01-08 Emc Corporation Continuous data backup using distributed journaling
US7428539B2 (en) * 2004-06-21 2008-09-23 Microsoft Corporation Method, system, and apparatus for managing access to a data object
US7707195B2 (en) 2004-06-29 2010-04-27 Microsoft Corporation Allocation locks and their use
US7472129B2 (en) * 2004-06-29 2008-12-30 Microsoft Corporation Lossless recovery for computer systems with map assisted state transfer
US20060047713A1 (en) * 2004-08-03 2006-03-02 Wisdomforce Technologies, Inc. System and method for database replication by interception of in memory transactional change records
US7404192B2 (en) 2004-08-03 2008-07-22 International Business Machines Corporation Apparatus, system, and method for isolating a storage application from a network interface driver
US7404179B2 (en) 2004-09-16 2008-07-22 International Business Machines Corporation Fast source file to line number table association
US7716262B2 (en) 2004-09-30 2010-05-11 Emc Corporation Index processing
JP2006107151A (ja) 2004-10-06 2006-04-20 Hitachi Ltd ストレージシステム及びストレージシステムの通信パス制御方法
US8059562B2 (en) 2004-10-18 2011-11-15 Nokia Corporation Listener mechanism in a distributed network system
US8238350B2 (en) * 2004-10-29 2012-08-07 Emc Corporation Message batching with checkpoints systems and methods
US8051425B2 (en) * 2004-10-29 2011-11-01 Emc Corporation Distributed system with asynchronous execution systems and methods
US8055711B2 (en) * 2004-10-29 2011-11-08 Emc Corporation Non-blocking commit protocol systems and methods
US7921076B2 (en) 2004-12-15 2011-04-05 Oracle International Corporation Performing an action in response to a file system event
US7770150B2 (en) 2004-12-15 2010-08-03 International Business Machines Corporation Apparatus, system, and method for sharing and accessing data by scopes
US7877466B2 (en) 2005-01-11 2011-01-25 Cisco Technology, Inc. Network topology based storage allocation for virtualization
US7603502B2 (en) * 2005-04-12 2009-10-13 Microsoft Corporation Resource accessing with locking
US7562188B2 (en) 2005-06-17 2009-07-14 Intel Corporation RAID power safe apparatus, systems, and methods
US7540027B2 (en) 2005-06-23 2009-05-26 International Business Machines Corporation Method/system to speed up antivirus scans using a journal file system
US7577258B2 (en) 2005-06-30 2009-08-18 Intel Corporation Apparatus and method for group session key and establishment using a certified migration key
US7716171B2 (en) 2005-08-18 2010-05-11 Emc Corporation Snapshot indexing
US7533298B2 (en) 2005-09-07 2009-05-12 Lsi Corporation Write journaling using battery backed cache
US7707193B2 (en) 2005-09-22 2010-04-27 Netapp, Inc. System and method for verifying and restoring the consistency of inode to pathname mappings in a filesystem
US7917474B2 (en) * 2005-10-21 2011-03-29 Isilon Systems, Inc. Systems and methods for accessing and updating distributed data
US7788303B2 (en) * 2005-10-21 2010-08-31 Isilon Systems, Inc. Systems and methods for distributed system scanning
US7551572B2 (en) * 2005-10-21 2009-06-23 Isilon Systems, Inc. Systems and methods for providing variable protection
US7386675B2 (en) * 2005-10-21 2008-06-10 Isilon Systems, Inc. Systems and methods for using excitement values to predict future access to resources
US7797283B2 (en) * 2005-10-21 2010-09-14 Isilon Systems, Inc. Systems and methods for maintaining distributed data
US7346720B2 (en) * 2005-10-21 2008-03-18 Isilon Systems, Inc. Systems and methods for managing concurrent access requests to a shared resource
US7356643B2 (en) 2005-10-26 2008-04-08 International Business Machines Corporation System, method and program for managing storage
US7665123B1 (en) * 2005-12-01 2010-02-16 Symantec Corporation Method and apparatus for detecting hidden rootkits
US7546412B2 (en) 2005-12-02 2009-06-09 International Business Machines Corporation Apparatus, system, and method for global metadata copy repair
US7606844B2 (en) * 2005-12-19 2009-10-20 Commvault Systems, Inc. System and method for performing replication copy storage operations
US7734603B1 (en) 2006-01-26 2010-06-08 Netapp, Inc. Content addressable storage array element
JP4800046B2 (ja) 2006-01-31 2011-10-26 株式会社日立製作所 ストレージシステム
US7848261B2 (en) * 2006-02-17 2010-12-07 Isilon Systems, Inc. Systems and methods for providing a quiescing protocol
US7684126B2 (en) * 2006-02-24 2010-03-23 3M Innovative Properties Company Fresnel field lens
US7756898B2 (en) 2006-03-31 2010-07-13 Isilon Systems, Inc. Systems and methods for notifying listeners of events
US20070244877A1 (en) 2006-04-12 2007-10-18 Battelle Memorial Institute Tracking methods for computer-readable files
US8548947B2 (en) 2006-04-28 2013-10-01 Hewlett-Packard Development Company, L.P. Systems and methods for file maintenance
US7689597B1 (en) * 2006-05-02 2010-03-30 Emc Corporation Mirrored storage architecture using continuous data protection techniques
US7565575B2 (en) 2006-05-30 2009-07-21 Oracle International Corporation Selecting optimal repair strategy for mirrored files
US8271452B2 (en) 2006-06-12 2012-09-18 Rainstor Limited Method, system, and database archive for enhancing database archiving
GB2439578B (en) 2006-06-30 2011-11-09 Data Equation Ltd Data processing
US8539056B2 (en) 2006-08-02 2013-09-17 Emc Corporation Systems and methods for configuring multiple network interfaces
US8015162B2 (en) 2006-08-04 2011-09-06 Google Inc. Detecting duplicate and near-duplicate files
US20080034004A1 (en) 2006-08-04 2008-02-07 Pavel Cisler System for electronic backup
US7680842B2 (en) 2006-08-18 2010-03-16 Isilon Systems, Inc. Systems and methods for a snapshot of data
US7899800B2 (en) 2006-08-18 2011-03-01 Isilon Systems, Inc. Systems and methods for providing nonlinear journaling
US7680836B2 (en) 2006-08-18 2010-03-16 Isilon Systems, Inc. Systems and methods for a snapshot of data
US7953704B2 (en) 2006-08-18 2011-05-31 Emc Corporation Systems and methods for a snapshot of data
US7590652B2 (en) 2006-08-18 2009-09-15 Isilon Systems, Inc. Systems and methods of reverse lookup
US7676691B2 (en) 2006-08-18 2010-03-09 Isilon Systems, Inc. Systems and methods for providing nonlinear journaling
US7822932B2 (en) 2006-08-18 2010-10-26 Isilon Systems, Inc. Systems and methods for providing nonlinear journaling
US7882071B2 (en) 2006-08-18 2011-02-01 Isilon Systems, Inc. Systems and methods for a snapshot of data
US7752402B2 (en) 2006-08-18 2010-07-06 Isilon Systems, Inc. Systems and methods for allowing incremental journaling
JP4890160B2 (ja) * 2006-09-06 2012-03-07 株式会社日立製作所 ストレージシステム及びバックアップ／リカバリ方法
US7797323B1 (en) 2006-10-11 2010-09-14 Hewlett-Packard Development Company, L.P. Producing representative hashes for segments of a file
JP5260540B2 (ja) * 2006-11-22 2013-08-14 ビーエーエスエフ ソシエタス・ヨーロピア 液体水性農芸化学製剤
US8296337B2 (en) 2006-12-06 2012-10-23 Fusion-Io, Inc. Apparatus, system, and method for managing data from a requesting device with an empty data token directive
US20080155191A1 (en) 2006-12-21 2008-06-26 Anderson Robert J Systems and methods for providing heterogeneous storage systems
US8286029B2 (en) 2006-12-21 2012-10-09 Emc Corporation Systems and methods for managing unavailable storage devices
US7593938B2 (en) 2006-12-22 2009-09-22 Isilon Systems, Inc. Systems and methods of directory entry encodings
US7509448B2 (en) 2007-01-05 2009-03-24 Isilon Systems, Inc. Systems and methods for managing semantic locks
US20080168209A1 (en) 2007-01-09 2008-07-10 Ibm Corporation Data protection via software configuration of multiple disk drives
US7900015B2 (en) 2007-04-13 2011-03-01 Isilon Systems, Inc. Systems and methods of quota accounting
US8966080B2 (en) 2007-04-13 2015-02-24 Emc Corporation Systems and methods of managing resource utilization on a threaded computer system
US7779048B2 (en) 2007-04-13 2010-08-17 Isilon Systems, Inc. Systems and methods of providing possible value ranges
US7882068B2 (en) 2007-08-21 2011-02-01 Isilon Systems, Inc. Systems and methods for adaptive copy on write
US7949692B2 (en) 2007-08-21 2011-05-24 Emc Corporation Systems and methods for portals into snapshot data
US7966289B2 (en) 2007-08-21 2011-06-21 Emc Corporation Systems and methods for reading objects in a file system
US7783666B1 (en) 2007-09-26 2010-08-24 Netapp, Inc. Controlling access to storage resources by using access pattern based quotas
US7783601B2 (en) 2007-11-08 2010-08-24 Oracle International Corporation Replicating and sharing data between heterogeneous data systems
US7840536B1 (en) 2007-12-26 2010-11-23 Emc (Benelux) B.V., S.A.R.L. Methods and apparatus for dynamic journal expansion
US7949636B2 (en) 2008-03-27 2011-05-24 Emc Corporation Systems and methods for a read only mode for a portion of a storage system
US7984324B2 (en) 2008-03-27 2011-07-19 Emc Corporation Systems and methods for managing stalled storage devices
US7953709B2 (en) 2008-03-27 2011-05-31 Emc Corporation Systems and methods for a read only mode for a portion of a storage system
US7870345B2 (en) * 2008-03-27 2011-01-11 Isilon Systems, Inc. Systems and methods for managing stalled storage devices
US8527726B2 (en) 2008-11-13 2013-09-03 International Business Machines Corporation Tiled storage array with systolic move-to-front reorganization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081883A (en) * 1997-12-05 2000-06-27 Auspex Systems, Incorporated Processing system with dynamically allocatable buffer memory
US6029168A (en) * 1998-01-23 2000-02-22 Tricord Systems, Inc. Decentralized file mapping in a striped network file system in a distributed computing environment
US6173374B1 (en) * 1998-02-11 2001-01-09 Lsi Logic Corporation System and method for peer-to-peer accelerated I/O shipping between host bus adapters in clustered computer network

Also Published As

Publication number Publication date
US20080021907A1 (en) 2008-01-24
EP1421520A4 (en) 2008-11-12
CN100437559C (zh) 2008-11-26
US8706755B2 (en) 2014-04-22
US7743033B2 (en) 2010-06-22
WO2003012699A1 (en) 2003-02-13
US8112395B2 (en) 2012-02-07
EP2330518A2 (en) 2011-06-08
JP2004537813A (ja) 2004-12-16
EP1421520A1 (en) 2004-05-26
US7685126B2 (en) 2010-03-23
WO2003012699A8 (en) 2003-08-14
CN1547714A (zh) 2004-11-17
US20100235413A1 (en) 2010-09-16
US20030033308A1 (en) 2003-02-13
EP2330518A3 (en) 2012-10-31
CN101515273A (zh) 2009-08-26
JP4504677B2 (ja) 2010-07-14
US20100257219A1 (en) 2010-10-07

Similar Documents

Publication Publication Date Title
CN101515273B (zh) 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法
CN1692356B (zh) 用于对现存文件重新条带化的方法
US7962779B2 (en) Systems and methods for a distributed file system with data recovery
US8214334B2 (en) Systems and methods for distributed system scanning
JP5411250B2 (ja) 冗長データ記憶システムへの指示に従ってのデータ配置
US6385706B1 (en) Apparatus and methods for copying a logical object to a primary storage device using a map of storage locations
US7107395B1 (en) Apparatus and methods for operating a computer storage system
US6397308B1 (en) Apparatus and method for differential backup and restoration of data in a computer storage system
US6487561B1 (en) Apparatus and methods for copying, backing up, and restoring data using a backup segment size larger than the storage block size
CN104813321B (zh) 在分布式对象存储生态系统中的去耦合的内容以及元数据
US20050204108A1 (en) Apparatus and method for copying, backing up and restoring logical objects in a computer storage system by transferring blocks out of order or in parallel backing up and restoring
KR101078287B1 (ko) 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법
CN104541251A (zh) 在存储群集中的擦除编码和复制
CN101939737A (zh) 可扩展的重复数据删除机构
US10803012B1 (en) Variable data replication for storage systems implementing quorum-based durability schemes
KR101254179B1 (ko) 분산 파일 시스템에서 효율적인 자료 복구 방법
Pandey et al. A review on google file system
CN112380182A (zh) 一种基于磁盘管理模式的分布式存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20110511