CN112527876A - 基于多源异构数据分析的统一数据库访问系统 - Google Patents
基于多源异构数据分析的统一数据库访问系统 Download PDFInfo
- Publication number
- CN112527876A CN112527876A CN202011422498.2A CN202011422498A CN112527876A CN 112527876 A CN112527876 A CN 112527876A CN 202011422498 A CN202011422498 A CN 202011422498A CN 112527876 A CN112527876 A CN 112527876A
- Authority
- CN
- China
- Prior art keywords
- data
- group
- state
- state server
- notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000004083 survival effect Effects 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 16
- 230000004927 fusion Effects 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012098 association analyses Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多源异构数据分析的统一数据库访问系统，基于分布式消息组件，将采集器、状态服务器以及访问工具连接在一起，有几个关键的群组构成，包括：采集群组、选举群组和通知群组；通过建立逻辑数据库，将多种数据库汇聚在同一逻辑数据库中，提供标准JDBC驱动。与不同类型数据库建立连接，通过对逻辑数据库的操作实现物理上跨库的关联查询，从而实现多源异构数据库的统一访问，完成数据融合分析，为应用同时访问多种类型的数据库提供统一入口；实现统一元数据管理、SQL请求分析、SQL语句转换、分布式查询、多源联合查询和数据库连接代理。
Description
技术领域
本发明涉及数据访问技术领域，具体涉及一种基于多源异构数据分析的统一数据库访问系统。
背景技术
在我国，随着数据发掘、大数据分析等技术的发展。数据分析场景愈发复杂，往往需要对结构化数据、非结构化数据和测量数据等多源数据同时进行分析，面向的数据库囊括关系型和非关系型、集群式和分布式等不同架构。
多源头、异架构的分析场景给数据关联分析带来困难，需要运用多个数据库交互客户端获取数据，并且缺少有效、及时、可靠的数据同步融合分析技术，影响数据分析的实时性和准确性。
发明内容
本发明所要解决的技术问题是多源头、异架构的分析场景不利于数据关联分析的问题，目的在于提供基于多源异构数据分析的统一数据库访问系统，通过构建逻辑数据库，实现多源异构数据库配置接入同一逻辑数据库。
本发明通过下述技术方案实现：
基于多源异构数据分析的统一数据库访问系统，基于分布式消息组件，将采集器、状态服务器以及访问工具连接在一起，有几个关键的群组构成，包括：采集群组、选举群组和通知群组；
采集群组：完成数据采集操作，所述采集群组包括多个采集器和多个状态服务器，所述多个采集器和多个状态服务器在对应的群组进行交互；
选举群组：当有多个状态服务器时，需要选举一个主状态服务器完成工作，同时当选举的一个主状态服务器失效后，能够再选举另一个主状态服务器；
通知群组：完成应用认证操作和数据变更通知操作，包括多个统一数据访问组件SDK；当数据通知完成时，会在通知群组发送指令给客户端。
进一步，提供应用管理功能，在应用加载统一数据库访问时，会和统一元数据管理进行应用认证；所述应用认证操作过程包括：通过SDK对应分布式消息组件的配置，业务应用在启动加载SDK时通过分布式消息组件和状态服务器建立连接；SDK通过RPC通讯告知SDK自身的应用ID信息，在状态服务器进行认证；状态服务器完成认证后返回SDK自身应用自带的元数据；同时状态服务器完成认证后返回需要监听数据的通知群组；SDK根据返回的元数据构建自己的数据缓存，同时在分布式消息组件上根据通知群组信息加入到对应的群组中。
进一步，所述数据采集操作过程包括：
采集器运行的时候，利用分布式消息组件和状态服务器建立连接并加入到数据采集群组中；其中，状态服务器的应用在启动时也会自动创建并加入到数据采集群组中；
采集器定期收集采集器需要采集的数据：数据库的存活状态、查询引擎的存活信息，发送数据到采集群组中；
采集群组中的状态服务器收到数据，由选举群组选举产生的主状态服务器将数据持久化到群组数据Group Store中，避免数据丢失；其中，所有的状态服务器在启动时会自动创建并加入选举群组中。
进一步，所述数据变更通知操作过程包括：
所述状态服务器根据变化的数据查找出相关的通知群组，同时，状态服务器将变化的数据发送到相关的通知群组；属于该相关的通知群组的SDK会接收到数据通知，所述SDK完成的内部的缓存数据更新。
进一步，所述采集器采集数据源元数据、数据库状态数据和查询引擎状态数据；通过构建逻辑数据库的方法，实现多源异构数据库配置、接入至同一逻辑数据库中，具备灵活创建、修改和动态发布数据的逻辑视图，实现多源异构数据的跨库联合查询分析，隔离业务和数据库的直连关系，提高数据安全水平，数据库统一访问，解决跨专业数据融合分析和共享使用困难的问题。
本发明与现有技术相比，具有如下的优点和有益效果：
一种基于多源异构数据分析的统一数据库访问系统，实现了多源异构数据库配置、接入至同一逻辑数据库中，具备灵活创建、修改和动态发布数据的逻辑视图，实现多源异构数据的跨库联合查询分析，隔离业务和数据库的直连关系，提高数据安全水平，数据库统一访问，解决跨专业数据融合分析和共享使用困难的问题。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明统一数据库访问技术原理图。
图2为本发明应用认证示意图。
图3为本发明数据采集示意图。
图4为本发明数据变更通知示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
在本发明的描述中，需要理解的是，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
实施例
如图1所示，本发明基于多源异构数据分析的统一数据库访问系统，本发明旨在通过构建逻辑数据库的方法，实现多源异构数据库配置、接入至同一逻辑数据库中，具备灵活创建、修改和动态发布数据的逻辑视图，实现多源异构数据的跨库联合查询分析，隔离业务和数据库的直连关系，提高数据安全水平，数据库统一访问，解决跨专业数据融合分析和共享使用困难的问题。
通过建立逻辑数据库，将多种数据库汇聚在同一逻辑数据库中，提供标准JDBC驱动。与不同类型数据库建立连接，通过对逻辑数据库的操作实现物理上跨库的关联查询，从而实现多源异构数据库的统一访问，完成数据融合分析，为应用同时访问多种类型的数据库提供统一入口；实现统一元数据管理、SQL请求分析、SQL语句转换、分布式查询、多源联合查询和数据库连接代理。
(1)统一元数据管理
对数据源元数据(数据库对于的库、表、库表定义等)、数据库状态(存活信息)、查询引擎状态(硬件错误、网络错误、软件问题等原因引起的可用性状态)等进行采集；
实现统一的库表名字空间管理(实际的库、表到平台内部库表的映射，全局的统一命名空间)和表定义映射管理；管理库到实际物理节点的映射关系、数据库类型、存活状态、主从标识等信息。
(2)SQL请求分析
采用自有词法、语法分析，对SQL进行深度识别与解析，完成对SQL请求中的操作、对应库表、查询条件(特别是针对数据所在位置的特征)做标识，并生成执行计划树。
(3)SQL语句转换
库表映射技术灵活地将不同数据库的库表定义转换为平台结构，字段类型映射技术将不同数据类型(特别是复杂数据类型)进行转换定义实现。保障多种数据库能同时被进行访问(包括单库或者跨库来联合查询)。
(4)分布式查询
分布式查询技术是对一个查询请求进行预处理、任务调度、结果汇总等多个步骤处理，满足查询请求实时性。
预处理是根据执行计划树并结合实际数据源的特征(利用HDFS、MongoDB等分布式存储短路途特征)，生成任务的一系列过程。
任务调度是将任务分配到具体的执行者执行，任务会根据数据源的Native数据访问方式(比如HDFS直接访问数据块，而非经过HDFS API去访问数据)，快速加载数据并进行执行运算。
结果汇总是根据具体的每个子任务的结果，快速进行结果综合，以返回数据请求结果的过程。
(5)多源联合查询
利用数据库驱动和统一的数据Schema映射技术，屏蔽数据库差异；生成执行计划树，在不同节点上对不同的数据源分别做查询和处理，并返回综合结果，满足同一个请求在不同的数据库源上进行联合查询，。
(6)数据库连接代理
连接代理在应用和物理数据库间建立一个桥梁，连接代理对外提供统一接口服务，应用只需关注连接代理即可，不需关注实际执行的物理数据库。
连接代理根据应用执行的SQL请求，动态管理物理数据库的连接。一个连接代理可同时访问多个物理数据库，将根据SQL路由算法动态决定SQL执行的物理数据库。
基于分布式消息组件，将采集器、状态服务器以及访问工具连接在一起。有几个关键的群组构成：
(1)采集群组：即所有的采集器和状态服务器都会在对应的群组中。
(2)选举群组：当有多个状态服务器时，需要选举一个主状态服务器完成工作，同时当主失效后，能够快速的再选举一个主状态服务器。
(3)通知群组：当数据发生变化时，会在通知群组通知给相关者。
1.应用认证过程
提供应用管理功能，在应用加载统一数据库访问时，会和统一元数据管理进行应用认证。应用认证过程示意图如图2所示：
(1)通过SDK对应分布式消息组件的配置，业务应用在启动加载SDK时通过分布式消息组件和状态服务器建立连接。
(2)SDK通过RPC通讯，告知自己的应用ID等信息，在状态服务器进行认证。状态服务器完成认证后，并返回该应用应有的元数据——同时返回需要监听数据的通知群组。
(3)SDK根据返回的元数据构建自己的数据缓存，同时在分布式消息组件上根据通知群组信息加入到对应的群组中。
2.数据采集过程
数据采集示意图如图3所示：
(1)采集器运行的时候，先利用分布式消息组件和状态服务器建立连接，同时加入到数据采集群组中(状态服务器的应用在启动时也会自动创建并加入到该群组中)。
(2)采集器定期收集该采集器需要采集的数据：如数据库的存活状态、查询引擎的存活信息，发送数据到采集群组中。
(3)采集群组中的状态服务器都会收到该数据，由选举群组(所有的状态服务器在启动时会自动创建并加入到该群组中)选举产生的主状态服务器将数据持久化到群组数据(GroupStore)中，避免数据丢失。
3.数据变更通知
数据变更通知的主要流程如图4所示：
(1)由上述的主状态服务器根据变化的数据，查找出相关的通知群组。
(2)将变化的数据发送到到这些通知群组中。
(3)属于该通知群组的SDK会接收到该数据，SDK完成自己的缓存数据更新。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于多源异构数据分析的统一数据库访问系统，其特征在于，包括：采集群组、选举群组和通知群组；
采集群组：完成数据采集操作，所述采集群组包括多个采集器和多个状态服务器，所述多个采集器和多个状态服务器在对应的群组进行交互；
选举群组：当有多个状态服务器时，需要选举一个主状态服务器完成工作，同时当选举的一个主状态服务器失效后，能够再选举另一个主状态服务器；
通知群组：完成应用认证操作和数据变更通知操作，包括多个统一数据访问组件SDK；当数据通知完成时，会在通知群组发送指令给客户端。
2.根据权利要求1所述的基于多源异构数据分析的统一数据库访问系统，其特征在于，所述应用认证操作过程包括：通过SDK对应分布式消息组件的配置，业务应用在启动加载SDK时通过分布式消息组件和状态服务器建立连接；SDK通过RPC通讯告知SDK自身的应用ID信息，在状态服务器进行认证；状态服务器完成认证后返回SDK自身应用自带的元数据；同时状态服务器完成认证后返回需要监听数据的通知群组；SDK根据返回的元数据构建自己的数据缓存，同时在分布式消息组件上根据通知群组信息加入到对应的群组中。
3.根据权利要求1所述的基于多源异构数据分析的统一数据库访问系统，其特征在于，所述数据采集操作过程包括：
采集器运行的时候，利用分布式消息组件和状态服务器建立连接并加入到数据采集群组中；其中，状态服务器的应用在启动时也会自动创建并加入到数据采集群组中；
采集器定期收集采集器需要采集的数据：数据库的存活状态、查询引擎的存活信息，发送数据到采集群组中；
采集群组中的状态服务器收到数据，由选举群组选举产生的主状态服务器将数据持久化到群组数据Group Store中；其中，所有的状态服务器在启动时会自动创建并加入选举群组中。
4.根据权利要求1所述的基于多源异构数据分析的统一数据库访问系统，其特征在于，所述数据变更通知操作过程包括：
所述状态服务器根据变化的数据查找出相关的通知群组，同时，状态服务器将变化的数据发送到相关的通知群组；所述该相关的通知群组的SDK会接收到数据通知，所述SDK完成的内部的缓存数据更新。
5.根据权利要求2所述的基于多源异构数据分析的统一数据库访问系统，其特征在于，所述采集器采集数据源元数据、数据库状态数据和查询引擎状态数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011422498.2A CN112527876A (zh) | 2020-12-08 | 2020-12-08 | 基于多源异构数据分析的统一数据库访问系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011422498.2A CN112527876A (zh) | 2020-12-08 | 2020-12-08 | 基于多源异构数据分析的统一数据库访问系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112527876A true CN112527876A (zh) | 2021-03-19 |
Family
ID=74998169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011422498.2A Pending CN112527876A (zh) | 2020-12-08 | 2020-12-08 | 基于多源异构数据分析的统一数据库访问系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112527876A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113176876A (zh) * | 2021-04-23 | 2021-07-27 | 网易（杭州）网络有限公司 | 数据读写的方法、装置和电子设备 |
| CN113254519A (zh) * | 2021-05-28 | 2021-08-13 | 北京奇岱松科技有限公司 | 多源异构数据库的访问方法、装置、设备和存储介质 |
| CN114036184A (zh) * | 2022-01-11 | 2022-02-11 | 杭州涂鸦信息技术有限公司 | 联邦分布式查询方法、系统及计算机可读存储介质 |
| CN114756629A (zh) * | 2022-06-16 | 2022-07-15 | 之江实验室 | 基于sql的多源异构数据交互分析引擎及方法 |
| CN114756577A (zh) * | 2022-03-25 | 2022-07-15 | 北京友友天宇系统技术有限公司 | 多源异构数据的处理方法、计算机设备及存储介质 |
| CN115145992A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市明源云科技有限公司 | 多源数据处理方法、装置、电子设备及可读存储介质 |
| CN116303623A (zh) * | 2023-05-12 | 2023-06-23 | 国网信息通信产业集团有限公司 | 一种跨网络异构业务数据汇聚至移动门户的系统及方法 |
| WO2023151543A1 (zh) * | 2022-02-09 | 2023-08-17 | 杭州未名信科科技有限公司 | 基于结构化查询语言sql的查询方法和系统 |
| CN117688025A (zh) * | 2023-12-12 | 2024-03-12 | 金扁担(北京)数字科技有限公司 | 基于jdbc协议的sql动态组装方法及装置 |
| CN117874114A (zh) * | 2024-01-11 | 2024-04-12 | 智参软件科技(上海)有限公司 | 一种多类型数据库上位访问方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060265385A1 (en) * | 2005-05-17 | 2006-11-23 | International Business Machines Corporation | Common interface to access catalog information from heterogeneous databases |
| US20150081485A1 (en) * | 2013-09-13 | 2015-03-19 | Mace Engineering Group Pty Ltd. | Sales Order Data Collection And Management System |
| CN108809972A (zh) * | 2018-06-01 | 2018-11-13 | 南京邮电大学 | 一种基于开源生态系统的物联网综合实验及应用开发平台及架构 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN109445949A (zh) * | 2018-12-07 | 2019-03-08 | 武汉轻工大学 | 一种数据采集系统和数据采集方法 |
| CN111343286A (zh) * | 2020-04-17 | 2020-06-26 | 中移（杭州）信息技术有限公司 | 一种网络接入系统及网络接入方法 |
-
2020
- 2020-12-08 CN CN202011422498.2A patent/CN112527876A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060265385A1 (en) * | 2005-05-17 | 2006-11-23 | International Business Machines Corporation | Common interface to access catalog information from heterogeneous databases |
| US20150081485A1 (en) * | 2013-09-13 | 2015-03-19 | Mace Engineering Group Pty Ltd. | Sales Order Data Collection And Management System |
| CN108809972A (zh) * | 2018-06-01 | 2018-11-13 | 南京邮电大学 | 一种基于开源生态系统的物联网综合实验及应用开发平台及架构 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN109445949A (zh) * | 2018-12-07 | 2019-03-08 | 武汉轻工大学 | 一种数据采集系统和数据采集方法 |
| CN111343286A (zh) * | 2020-04-17 | 2020-06-26 | 中移（杭州）信息技术有限公司 | 一种网络接入系统及网络接入方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈越等: "数据库安全", 北京：国防工业出版社 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113176876B (zh) * | 2021-04-23 | 2023-08-11 | 网易（杭州）网络有限公司 | 数据读写的方法、装置和电子设备 |
| CN113176876A (zh) * | 2021-04-23 | 2021-07-27 | 网易（杭州）网络有限公司 | 数据读写的方法、装置和电子设备 |
| CN113254519A (zh) * | 2021-05-28 | 2021-08-13 | 北京奇岱松科技有限公司 | 多源异构数据库的访问方法、装置、设备和存储介质 |
| CN113254519B (zh) * | 2021-05-28 | 2021-10-08 | 北京奇岱松科技有限公司 | 多源异构数据库的访问方法、装置、设备和存储介质 |
| CN114036184A (zh) * | 2022-01-11 | 2022-02-11 | 杭州涂鸦信息技术有限公司 | 联邦分布式查询方法、系统及计算机可读存储介质 |
| WO2023151543A1 (zh) * | 2022-02-09 | 2023-08-17 | 杭州未名信科科技有限公司 | 基于结构化查询语言sql的查询方法和系统 |
| CN114756577A (zh) * | 2022-03-25 | 2022-07-15 | 北京友友天宇系统技术有限公司 | 多源异构数据的处理方法、计算机设备及存储介质 |
| CN114756577B (zh) * | 2022-03-25 | 2024-07-19 | 北京友友天宇系统技术有限公司 | 多源异构数据的处理方法、计算机设备及存储介质 |
| CN114756629A (zh) * | 2022-06-16 | 2022-07-15 | 之江实验室 | 基于sql的多源异构数据交互分析引擎及方法 |
| CN115145992A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市明源云科技有限公司 | 多源数据处理方法、装置、电子设备及可读存储介质 |
| CN115145992B (zh) * | 2022-09-05 | 2022-12-27 | 深圳市明源云科技有限公司 | 多源数据处理方法、装置、电子设备及可读存储介质 |
| CN116303623A (zh) * | 2023-05-12 | 2023-06-23 | 国网信息通信产业集团有限公司 | 一种跨网络异构业务数据汇聚至移动门户的系统及方法 |
| CN116303623B (zh) * | 2023-05-12 | 2023-10-13 | 国网信息通信产业集团有限公司 | 一种跨网络异构业务数据汇聚至移动门户的系统及方法 |
| CN117688025A (zh) * | 2023-12-12 | 2024-03-12 | 金扁担(北京)数字科技有限公司 | 基于jdbc协议的sql动态组装方法及装置 |
| CN117874114A (zh) * | 2024-01-11 | 2024-04-12 | 智参软件科技(上海)有限公司 | 一种多类型数据库上位访问方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112527876A (zh) | 基于多源异构数据分析的统一数据库访问系统 | |
| US11461356B2 (en) | Large scale unstructured database systems | |
| CN109492040B (zh) | 一种适用于数据中心海量短报文数据处理的系统 | |
| US11120022B2 (en) | Processing a database query using a shared metadata store | |
| Li et al. | A storage solution for massive IoT data based on NoSQL | |
| EP3058690B1 (en) | System and method for creating a distributed transaction manager supporting repeatable read isolation level in a mpp database | |
| US20200183932A1 (en) | Optimizing write operations in object schema-based application programming interfaces (apis) | |
| Motro et al. | Fusionplex: resolution of data inconsistencies in the integration of heterogeneous information sources | |
| US7970823B2 (en) | System for sharing data objects among applications | |
| Bent et al. | A dynamic distributed federated database | |
| US9348641B2 (en) | System and method for performing a transaction in a massively parallel processing database | |
| US20100115100A1 (en) | Federated configuration data management | |
| Wu et al. | Semstore: A semantic-preserving distributed rdf triple store | |
| CN104346377A (zh) | 一种基于唯一标识的数据集成和交换方法 | |
| US20220269730A1 (en) | Graph processing system | |
| CN104484472A (zh) | 一种混合多种异构数据源的数据库集群及实现方法 | |
| US20200341981A1 (en) | Methods For Substituting A Semi-Join Operator With Alternative Execution Strategies And Selection Methods To Choose The Most Efficient Solution Under Different Plans | |
| CN109710638A (zh) | 一种联邦型分布式rdf数据库上的多查询优化方法 | |
| Arputhamary et al. | A review on big data integration | |
| US20240273077A1 (en) | Fine-Grained Custom Sharding Of Databases | |
| Tang et al. | Hybrid-Cloud SQL Federation System at Twitter. | |
| Kim et al. | Federated database system for scientific data | |
| Ding et al. | RDB-KV: A cloud database framework for managing massive heterogeneous sensor stream data | |
| CN114154825A (zh) | 一种二维电网分布式缓存服务系统 | |
| Wang et al. | Parallel processing SPARQL theta join on large scale RDF Graphs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210319 |
|
| RJ01 | Rejection of invention patent application after publication |