[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102012912A - 一种基于云计算环境的非结构化数据的管理方法 - Google Patents

一种基于云计算环境的非结构化数据的管理方法 Download PDF

Info

Publication number
CN102012912A
CN102012912A CN 201010554537 CN201010554537A CN102012912A CN 102012912 A CN102012912 A CN 102012912A CN 201010554537 CN201010554537 CN 201010554537 CN 201010554537 A CN201010554537 A CN 201010554537A CN 102012912 A CN102012912 A CN 102012912A
Authority
CN
China
Prior art keywords
data
characteristic
address
processing module
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010554537
Other languages
English (en)
Other versions
CN102012912B (zh
Inventor
王建民
丁贵广
朱妤晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2010105545374A priority Critical patent/CN102012912B/zh
Publication of CN102012912A publication Critical patent/CN102012912A/zh
Application granted granted Critical
Publication of CN102012912B publication Critical patent/CN102012912B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于云计算环境的非结构化数据的管理方法，属于计算机数据管理技术领域。本方法支持基于多个云计算存储系统的非结构化数据管理，采用了松散耦合非结构化源数据云存储系统、非文本类非结构化数据的特征数据云存储系统和文本类非结构化数据的特征数据云系统等子存储系统的体系结构，通过可多重部署的独立查询处理模块对底层子存储系统和多类型特征提取子模块的调度，关联非结构化数据的源数据和特征数据，以统一的模式实现面向源数据和特征数据的对多种非结构化数据的存储、获取、查询等管理功能。本方法在形成的系统体系结构和管理的内容等方面都具有高可扩展性的优点。

Description

一种基于云计算环境的非结构化数据的管理方法
技术领域
本发明涉及一种基于云计算环境的非结构化数据的管理方法，属于计算机数据管理技术领域。
背景技术
随着Web等新兴应用的日益丰富以及企业信息化建设的不断发展，出现了大量的非结构化数据。Web环境中出现的海量的HTML与XML等格式的数据，多媒体数据如声音、影片、图形等，企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等，都是没有明确结构约束的非结构化数据。据研究报告显示，非结构化数据占全部数据总量的80％以上。非结构化数据在政府、企业决策中的重大应用需求中日趋重要。
非结构化数据管理为传统信息领域的理论与方法研究提出了挑战并成为重要的新的研究方向。由于非结构化数据数据类型丰富，结构复杂，没有明确的、统一定义的数据结构约束，加之其海量的数据规模，高度动态的数据特性，多样的应用场景，统一的联合访问需求，使得非结构化数据管理面临巨大挑战。国内外科研机构纷纷展开研究，取得了一些有意义的进展，但目前尚无成熟的非结构化数据管理理论和关键技术方法。
由于非结构化数据种类彼此不同，每种数据类型带有特有的数据操作，通过扩展对象数据模型，支持不同非结构化数据的有效操作。基于上述考虑，各大公司围绕不同类型的非结构化数据类型，定义并实现特有操作，并结合应用领域，实现了非结构化数据管理系统，例如：Oracle 9i支持SQL/XML、10g支持XQuery、11g支持二进制的XML存储和索引，Oracle Multimedia组件对部分多媒体数据的元数据管理提供了初步支持等；Sybase Search对非结构化数据的处理、分析、管理和查询等功能的支持；IBM的DB2对外部LOB文件及其对应的元数据的关联存储；EMC的Documentum基于一致的内容知识库(content repository)提供了企业级跨部门的各种类型、格式的信息的共享；UIMA(Unstructured Information Management Architecture)能够分析大量的非结构化数据得到最终用户所关心的信息等。
基于对象模型的非结构化数据管理的主要问题包括：目前系统缺乏对象方法的优化执行机制，海量环境中数据处理的效率很难得到保证；系统侧重处理特定对象的不同需求，在处理统一数据查询中存在一定困难；某些系统基于关系数据库实现，受限于关系数据库的框架，需要严格考虑并发控制等问题，进一步降低非结构化数据处理的效率。
数据集成系统和数据空间也是面向非结构化数据管理提出的解决方案。数据集成系统可以将分散的、异构的数据源中的数据进行集成，实现对数据源数据的透明访问，为用户提供全局的数据视图和统一的查询服务。典型系统包括：Stanford大学所开发的TSIMMIS系统、AT&T公司的Information Manifold系统以及Google提出的数据集成系统Paygo系统。也数据仓库可以看做采用物化虚拟视图集成方式的集成系统。数据空间的代表性系统包括Washington大学Dong等人开发的Semex系统和瑞士苏黎世理工大学的Dittrich教授等人开发的iMemex系统。Semex系统基于关系模型，支持关键字查询，能够利用结构优化关键字检索结果的Top-K排序。iMemex基于图模型，提出了一种统一资源视图的概念和形式化表示方法，实现对各种数据类型(如文档、目录、关系表、XML文档、数据流等)的统一表示。
数据集成相关技术侧重于异构数据的共享和查询，在非结构化数据管理系统中能够减少空间代价，提高查询结果质量。数据集成中的模式匹配、查询重写等使得系统构建代价和查询处理代价过高。数据空间克服了数据集成中的部分问题，但是数据空间内部的模型过于复杂，不支持海量的数据管理。同时，数据集成系统中没有讨论关键字查询方式和海量数据的分布式管理框架。
发明内容
本发明的目的是提出一种基于云计算环境的非结构化数据的管理方法，以数据特征的方式管理包含文本、音频、视频、图片等多种类型的非结构化数据，以满足用户对数据查询的各种要求。
本发明提出的基于云计算环境的非结构化数据的管理方法，包括以下步骤：
(1)查询处理模块对源数据云存储系统进行初始化，在源数据云存储系统中为每个用户建立相应的目录，查询处理模块对特征数据云存储系统进行初始化，在特征数据云存储系统中为系统处理的多类型非结构化数据分别建立默认表格，用以在默认表格中分别存储相应类型的非结构化数据的特征数据；
(2)查询处理模块打开指定网络端口，并对查询处理模块与网络外部客户端的连接状态进行监听；
(3)当查询处理模块接收到网络外部客户端的连接请求时，查询处理模块与网络外部客户端建立连接，查询处理模块中的控制线程从网络外部的客户端通过网络接收客户端的操作命令，查询处理模块中的数据线程从网络外部的客户端通过网络接收客户端的与该操作命令相应的非结构化数据，并缓存；
(4)当客户端的操作命令为存储命令时，查询处理模块中的控制线程根据操作命令将上述缓存的非结构化数据按照用户指定地址存入源数据云存储系统中，若操作命令中存在用户指定的源数据地址，则对地址进性合法性检查，若存在地址重名，则查询处理模块对地址增加一个编号信息，得到一个新源数据地址，并将缓存的非结构化数据存入新源数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的源数据地址，若用户没有指定源数据地址，则查询处理模块自动生成一个新源数据地址，使该新源数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新源数据地址中；
(5)对非文本类的非结构化数据，查询处理模块判断存储的非文本类的非结构化数据类型，根据判断结果，通知相应非文本类的非结构化数据类型所对应的特征提取模块提取非文本类的非结构化数据的特征数据，特定类型的非文本类的非结构化数据特征提取模块接到通知后，从源数据云存储系统中取出非文本类的非结构化源数据，并为获取的非文本类的非结构化源数据提取特征数据后，将提取的特征数据返回给查询处理模块，查询处理模块收到特征数据后将特征数据存入特征存储系统中，若操作命令中存在用户指定的特征数据地址，则对地址进性合法性检查，若存在特征数据地址重名，则查询处理模块对特征数据地址增加一个编号信息，得到一个新特征数据地址，并将特征数据存入新特征数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的特征数据地址，若用户没有指定特征数据地址，则查询处理模块自动生成一个新特征数据地址，使该新特征数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新特征数据地址中；
(6)对文本类的非结构化数据，查询处理模块的控制线程通知查询处理模块中的文本特征数据子云系统提取文本类非结构化数据的特征数据，文本特征数据子云系统接到通知后，从源数据云存储系统中获取文本非结构化数据，并为获取的文本非结构化数据提取文本特征和建立文本索引；
(7)当操作命令为查询命令时，若操作命令中存在用户指定的源数据地址，则查询处理模块从源数据云存储系统的相应地址中取出非结构化源数据，通过数据线程返回给用户；若操作命令中存在用户指定的特征数据地址，查询处理模块从特征数据云存储系统的相应地址中取出特征数据，并根据特征数据表格中存储的源数据地址，从源数据云存储系统的相应地址中取出非结构化源数据，通过数据线程返回给用户；
(8)当操作命令为查询命令时，若操作命令中存在用户指定的特征数据，则：若特征数据是文本特征数据，查询处理模块通知文本特征数据子云系统进行查询，文本特征数据子云系统将查询得到的包含非结构化数据地址列表的查询结果返回至查询处理模块，查询处理模块将查询结果返回给用户；若特征数据是非文本特征数据，则查询处理模块从特征数据云存储系统中读出所有特征数据，并将读出的特征数据与用户指定的特征数据进行比较，若操作命令指定的是近似匹配，则将用户指定的特征数据与读出的特征数据进行近似度计算，将所有近似度符合近似范围的特征数据的源数据地址返回给用户，若操作命令指定的是等价匹配，则将所有与用户指定的特征数据完全相等的特征数据的源数据地址返回给用户；
(9)当操作命令为查询命令时，若操作命令中不存在用户指定的源数据地址、特征数据地址和特征数据，则查询处理模块从源数据云存储系统中与用户对应的目录下，取出所有非结构化数据地址返回给用户。
本发明提出的基于云计算环境的非结构化数据的管理方法，其优点是：第一，基于多个现有云计算子存储系统，采用松散耦合的体系结构，使得非结构数据的存储和管理具有高可扩展性；第二，松散耦合的体系结构支持对子存储系统、特征提取模块的简易插接和扩展；第三，采用统一的管理方式管理多种已知非结构化数据，一体化支持不同类型非结构化数据的管理，实现信息共享；第四，统一的非结构化数据管理模式使得对非结构化数据管理的类型进行扩展变得容易；第五，统一的非结构化数据管理模块支持对非结构化数据基于相同类型特征的交叉查询；第六，非结构化数据的查询处理模块所涉及的数据都存储于云计算子存储系统，查询处理模块的数据同步在子存储系统中实现，因此支持多个相同的查询处理模块同进运行，以满足多并发用户的服务需求。
附图说明
图1是本发明方法的流程框图。
图2是基于本发明方法的非结构化数据管理系统体系结构示意图。
具体实施方式
本发明提出的基于云计算环境的非结构化数据的管理方法，其流程框图如图1所示，包括以下步骤：
(1)查询处理模块对源数据云存储系统Hadoop进行初始化，在源数据云存储系统Hadoop中为每个用户建立相应的目录，查询处理模块对特征数据云存储系统Cassandra进行初始化，在特征数据云存储系统Cassandra中为系统处理的多类型非结构化数据分别建立默认表格default_image、default_music和default_text，用以在默认表格中分别存储相应类型的非结构化数据的特征数据，如图2所示；
(2)查询处理模块打开指定网络端口，并对查询处理模块与网络外部客户端的连接状态进行监听；
(3)当查询处理模块接收到网络外部客户端的连接请求时，查询处理模块与网络外部客户端建立连接，查询处理模块中的控制线程从网络外部的客户端通过网络接收客户端的操作命令，查询处理模块中的数据线程从网络外部的客户端通过网络接收客户端的与该操作命令相应的非结构化数据，并缓存；
(4)当客户端的操作命令为存储命令时，查询处理模块中的控制线程根据操作命令将上述缓存的非结构化数据按照用户指定地址存入源数据云存储系统Hadoop中，若操作命令中存在用户指定的源数据地址，则对地址进性合法性检查，若存在地址重名，则查询处理模块对地址增加一个编号信息，得到一个新源数据地址，并将缓存的非结构化数据存入新源数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的源数据地址，若用户没有指定源数据地址，则查询处理模块自动生成一个新源数据地址，使该新源数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新源数据地址中；
(5)对非文本类的非结构化数据，查询处理模块判断存储的非文本类的非结构化数据类型，根据判断结果，通知相应非文本类的非结构化数据类型所对应的特征提取模块提取非文本类的非结构化数据的特征数据，特定类型的非文本类的非结构化数据特征提取模块接到通知后，从源数据云存储系统Hadoop中取出非文本类的非结构化源数据，并为获取的非文本类的非结构化源数据提取特征数据后，将提取的特征数据返回给查询处理模块，查询处理模块收到特征数据后将特征数据存入特征存储系统中，若操作命令中存在用户指定的特征数据地址，则对地址进性合法性检查，若存在特征数据地址重名，则查询处理模块对特征数据地址增加一个编号信息，得到一个新特征数据地址，并将特征数据存入新特征数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的特征数据地址，若用户没有指定特征数据地址，则查询处理模块自动生成一个新特征数据地址，使该新特征数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新特征数据地址中；
(6)对文本类的非结构化数据，查询处理模块的控制线程通知查询处理模块中的文本特征数据子云系统提取文本类非结构化数据的特征数据，文本特征数据子云系统接到通知后，从源数据云存储系统Hadoop中获取文本非结构化数据，并为获取的文本非结构化数据提取文本特征和建立文本索引；
(7)当操作命令为查询命令时，若操作命令中存在用户指定的源数据地址，则查询处理模块从源数据云存储系统Hadoop的相应地址中取出非结构化源数据，通过数据线程返回给用户；若操作命令中存在用户指定的特征数据地址，查询处理模块从特征数据云存储系统Cassandra的相应地址中取出特征数据，并根据特征数据表格中存储的源数据地址，从源数据云存储系统Hadoop的相应地址中取出非结构化源数据，通过数据线程返回给用户；
(8)当操作命令为查询命令时，若操作命令中存在用户指定的特征数据，则：若特征数据是文本特征数据，查询处理模块通知文本特征数据子云系统进行查询，文本特征数据子云系统将查询得到的包含非结构化数据地址列表的查询结果返回至查询处理模块，查询处理模块将查询结果返回给用户；若特征数据是非文本特征数据，则查询处理模块从特征数据云存储系统Cassandra中读出所有特征数据，并将读出的特征数据与用户指定的特征数据进行比较，若操作命令指定的是近似匹配，则将用户指定的特征数据与读出的特征数据进行近似度计算，将所有近似度符合近似范围的特征数据的源数据地址返回给用户，若操作命令指定的是等价匹配，则将所有与用户指定的特征数据完全相等的特征数据的源数据地址返回给用户；
(9)当操作命令为查询命令时，若操作命令中不存在用户指定的源数据地址、特征数据地址和特征数据，则查询处理模块从源数据云存储系统Hadoop中与用户对应的目录下，取出所有非结构化数据地址返回给用户。

Claims (1)

1.一种基于云计算环境的非结构化数据的管理方法，其特征在于该方法包括以下九个步骤：
(1)查询处理模块对源数据云存储系统进行初始化，在源数据云存储系统中为每个用户建立相应的目录，查询处理模块对特征数据云存储系统进行初始化，在特征数据云存储系统中为系统处理的多类型非结构化数据分别建立默认表格，用以在默认表格中分别存储相应类型的非结构化数据的特征数据；
(2)查询处理模块打开指定网络端口，并对查询处理模块与网络外部客户端的连接状态进行监听；
(3)当查询处理模块接收到网络外部客户端的连接请求时，查询处理模块与网络外部客户端建立连接，查询处理模块中的控制线程从网络外部的客户端通过网络接收客户端的操作命令，查询处理模块中的数据线程从网络外部的客户端通过网络接收客户端的与该操作命令相应的非结构化数据，并缓存；
(4)当客户端的操作命令为存储命令时，查询处理模块中的控制线程根据操作命令将上述缓存的非结构化数据按照用户指定地址存入源数据云存储系统中，若操作命令中存在用户指定的源数据地址，则对地址进性合法性检查，若存在地址重名，则查询处理模块对地址增加一个编号信息，得到一个新源数据地址，并将缓存的非结构化数据存入新源数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的源数据地址，若用户没有指定源数据地址，则查询处理模块自动生成一个新源数据地址，使该新源数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新源数据地址中；
(5)对非文本类的非结构化数据，查询处理模块判断存储的非文本类的非结构化数据类型，根据判断结果，通知相应非文本类的非结构化数据类型所对应的特征提取模块提取非文本类的非结构化数据的特征数据，特定类型的非文本类的非结构化数据特征提取模块接到通知后，从源数据云存储系统中取出非文本类的非结构化源数据，并为获取的非文本类的非结构化源数据提取特征数据后，将提取的特征数据返回给查询处理模块，查询处理模块收到特征数据后将特征数据存入特征存储系统中，若操作命令中存在用户指定的特征数据地址，则对地址进性合法性检查，若存在特征数据地址重名，则查询处理模块对特征数据地址增加一个编号信息，得到一个新特征数据地址，并将特征数据存入新特征数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的特征数据地址，若用户没有指定特征数据地址，则查询处理模块自动生成一个新特征数据地址，使该新特征数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新特征数据地址中；
(6)对文本类的非结构化数据，查询处理模块的控制线程通知查询处理模块中的文本特征数据子云系统提取文本类非结构化数据的特征数据，文本特征数据子云系统接到通知后，从源数据云存储系统中获取文本非结构化数据，并为获取的文本非结构化数据提取文本特征和建立文本索引；
(7)当操作命令为查询命令时，若操作命令中存在用户指定的源数据地址，则查询处理模块从源数据云存储系统的相应地址中取出非结构化源数据，通过数据线程返回给用户；若操作命令中存在用户指定的特征数据地址，查询处理模块从特征数据云存储系统的相应地址中取出特征数据，并根据特征数据表格中存储的源数据地址，从源数据云存储系统的相应地址中取出非结构化源数据，通过数据线程返回给用户；
(8)当操作命令为查询命令时，若操作命令中存在用户指定的特征数据，则：若特征数据是文本特征数据，查询处理模块通知文本特征数据子云系统进行查询，文本特征数据子云系统将查询得到的包含非结构化数据地址列表的查询结果返回至查询处理模块，查询处理模块将查询结果返回给用户；若特征数据是非文本特征数据，则查询处理模块从特征数据云存储系统中读出所有特征数据，并将读出的特征数据与用户指定的特征数据进行比较，若操作命令指定的是近似匹配，则将用户指定的特征数据与读出的特征数据进行近似度计算，将所有近似度符合近似范围的特征数据的源数据地址返回给用户，若操作命令指定的是等价匹配，则将所有与用户指定的特征数据完全相等的特征数据的源数据地址返回给用户；
(9)当操作命令为查询命令时，若操作命令中不存在用户指定的源数据地址、特征数据地址和特征数据，则查询处理模块从源数据云存储系统中与用户对应的目录下，取出所有非结构化数据地址返回给用户。
CN2010105545374A 2010-11-19 2010-11-19 一种基于云计算环境的非结构化数据的管理方法 Expired - Fee Related CN102012912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105545374A CN102012912B (zh) 2010-11-19 2010-11-19 一种基于云计算环境的非结构化数据的管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105545374A CN102012912B (zh) 2010-11-19 2010-11-19 一种基于云计算环境的非结构化数据的管理方法

Publications (2)

Publication Number Publication Date
CN102012912A true CN102012912A (zh) 2011-04-13
CN102012912B CN102012912B (zh) 2012-08-22

Family

ID=43843085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105545374A Expired - Fee Related CN102012912B (zh) 2010-11-19 2010-11-19 一种基于云计算环境的非结构化数据的管理方法

Country Status (1)

Country Link
CN (1) CN102012912B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254016A (zh) * 2011-07-22 2011-11-23 中国人民解放军国防科学技术大学 一种面向云计算环境的容错并行Skyline查询方法
CN102750355A (zh) * 2012-06-11 2012-10-24 清华大学 一种非结构化数据管理系统的可视化管理方法
CN102779186A (zh) * 2012-06-29 2012-11-14 浙江大学 一种非结构化数据管理的全过程建模方法
CN102902739A (zh) * 2012-09-13 2013-01-30 杭州电子科技大学 云计算环境下面向不确定数据源的工作流视图构造方法
CN103020103A (zh) * 2011-09-23 2013-04-03 波音公司 情报分析中的关联存储器技术及执行方法
CN103077070A (zh) * 2012-12-31 2013-05-01 无锡城市云计算中心有限公司 云计算管理系统以及云计算系统的管理方法
CN103198138A (zh) * 2013-04-16 2013-07-10 北京科技大学 一种基于云计算的大规模热连轧数据主题定制系统
CN104268172A (zh) * 2014-09-15 2015-01-07 北京京东尚科信息技术有限公司 提取数据的方法和装置
CN107247865A (zh) * 2017-04-24 2017-10-13 广东健凯医疗有限公司 结构化健康数据管理系统和方法
CN108268600A (zh) * 2017-12-20 2018-07-10 北京邮电大学 基于ai的非结构化数据管理方法及装置
CN109635172A (zh) * 2018-12-28 2019-04-16 天津字节跳动科技有限公司 在线文档检索方法、装置和电子设备
CN109639766A (zh) * 2018-11-19 2019-04-16 山东新海软件股份有限公司 一种基于云存储技术的存储箱
CN112506913A (zh) * 2021-02-02 2021-03-16 广东工业大学 一种面向制造业数据空间的大数据体系结构构建方法
CN113792111A (zh) * 2021-09-07 2021-12-14 曙光星云信息技术（北京）有限公司 一种基于分布式存储的非结构化数据管理系统及其方法
CN115131139A (zh) * 2022-09-02 2022-09-30 创新奇智(南京)科技有限公司 一种基于结构数据获取目标结果的方法、装置、介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424309A (zh) * 2013-09-05 2015-03-18 清控科创控股股份有限公司 一种基于科技媒体云计算非结构化数据处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100057831A1 (en) * 2008-08-28 2010-03-04 Eric Williamson Systems and methods for promotion of calculations to cloud-based computation resources
US20100198972A1 (en) * 2009-02-04 2010-08-05 Steven Michael Umbehocker Methods and Systems for Automated Management of Virtual Resources In A Cloud Computing Environment
CN101854392A (zh) * 2010-05-20 2010-10-06 清华大学 一种基于云计算环境的个人数据管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100057831A1 (en) * 2008-08-28 2010-03-04 Eric Williamson Systems and methods for promotion of calculations to cloud-based computation resources
US20100198972A1 (en) * 2009-02-04 2010-08-05 Steven Michael Umbehocker Methods and Systems for Automated Management of Virtual Resources In A Cloud Computing Environment
CN101854392A (zh) * 2010-05-20 2010-10-06 清华大学 一种基于云计算环境的个人数据管理方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254016A (zh) * 2011-07-22 2011-11-23 中国人民解放军国防科学技术大学 一种面向云计算环境的容错并行Skyline查询方法
CN103020103A (zh) * 2011-09-23 2013-04-03 波音公司 情报分析中的关联存储器技术及执行方法
CN103020103B (zh) * 2011-09-23 2018-07-13 波音公司 情报分析中的关联存储器技术及执行方法
CN102750355A (zh) * 2012-06-11 2012-10-24 清华大学 一种非结构化数据管理系统的可视化管理方法
CN102779186A (zh) * 2012-06-29 2012-11-14 浙江大学 一种非结构化数据管理的全过程建模方法
CN102779186B (zh) * 2012-06-29 2014-12-24 浙江大学 一种非结构化数据管理的全过程建模方法
CN102902739B (zh) * 2012-09-13 2015-09-02 杭州电子科技大学 云计算环境下面向不确定数据源的工作流视图构造方法
CN102902739A (zh) * 2012-09-13 2013-01-30 杭州电子科技大学 云计算环境下面向不确定数据源的工作流视图构造方法
CN103077070B (zh) * 2012-12-31 2017-04-26 无锡城市云计算中心有限公司 云计算管理系统以及云计算系统的管理方法
CN103077070A (zh) * 2012-12-31 2013-05-01 无锡城市云计算中心有限公司 云计算管理系统以及云计算系统的管理方法
CN103198138A (zh) * 2013-04-16 2013-07-10 北京科技大学 一种基于云计算的大规模热连轧数据主题定制系统
CN104268172B (zh) * 2014-09-15 2018-06-26 北京京东尚科信息技术有限公司 提取数据的方法和装置
CN104268172A (zh) * 2014-09-15 2015-01-07 北京京东尚科信息技术有限公司 提取数据的方法和装置
CN107247865A (zh) * 2017-04-24 2017-10-13 广东健凯医疗有限公司 结构化健康数据管理系统和方法
CN108268600B (zh) * 2017-12-20 2020-09-08 北京邮电大学 基于ai的非结构化数据管理方法及装置
CN108268600A (zh) * 2017-12-20 2018-07-10 北京邮电大学 基于ai的非结构化数据管理方法及装置
CN109639766A (zh) * 2018-11-19 2019-04-16 山东新海软件股份有限公司 一种基于云存储技术的存储箱
CN109635172A (zh) * 2018-12-28 2019-04-16 天津字节跳动科技有限公司 在线文档检索方法、装置和电子设备
CN109635172B (zh) * 2018-12-28 2020-06-19 北京字节跳动网络技术有限公司 在线文档检索方法、装置和电子设备
CN112506913A (zh) * 2021-02-02 2021-03-16 广东工业大学 一种面向制造业数据空间的大数据体系结构构建方法
CN113792111A (zh) * 2021-09-07 2021-12-14 曙光星云信息技术（北京）有限公司 一种基于分布式存储的非结构化数据管理系统及其方法
CN113792111B (zh) * 2021-09-07 2023-10-13 中科星云物连科技(北京)有限公司 一种基于分布式存储的非结构化数据管理系统及其方法
CN115131139A (zh) * 2022-09-02 2022-09-30 创新奇智(南京)科技有限公司 一种基于结构数据获取目标结果的方法、装置、介质

Also Published As

Publication number Publication date
CN102012912B (zh) 2012-08-22

Similar Documents

Publication Publication Date Title
CN102012912B (zh) 一种基于云计算环境的非结构化数据的管理方法
CN106611046B (zh) 一种基于大数据技术的空间数据存储处理中间件系统
Kune et al. The anatomy of big data computing
Cui et al. Big data: the driver for innovation in databases
Sharma et al. A brief review on leading big data models
CN104252536B (zh) 一种基于hbase的上网日志数据查询方法及装置
Mai et al. Cloud databases for internet-of-things data
CN106708993B (zh) 基于大数据技术的空间数据存储处理中间件框架实现方法
CN103312791A (zh) 物联网异构数据存储方法及系统
CN104850601A (zh) 基于图数据库的警务实时分析应用平台及其构建方法
CN101799827A (zh) 基于层次化结构的视频素材库管理方法
CN103226608A (zh) 一种基于目录级可伸缩的Bloom Filter位图表的并行文件搜索方法
Shakhovska et al. Big Data Model" Entity and Features"
Loganathan et al. A systematic approach to Big Data
Jowan et al. Traditional RDBMS to NoSQL database: new era of databases for big data
Lu et al. Hybrid storage architecture and efficient MapReduce processing for unstructured data
CN102521383A (zh) 一种分布式系统中的海量文件存储和访问方法
Suguna et al. Improvement of Hadoop ecosystem and their pros and cons in Big data
Fan et al. Literature review on Big Data and its application fields
Bhuvan et al. A technical insight on the new generation databases: NoSQL
Gupta et al. Big data implementation and visualization
Dutta Distributed computing technologies in big data analytics
Zeng et al. Software architecture evolution and technology research
Yan et al. A metadata management framework for marine information based on XML
Dai et al. The Data Platform for Large-Scale Video Surveillance Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120822

Termination date: 20211119

CF01 Termination of patent right due to non-payment of annual fee