CN110222072A - 数据查询平台、方法、设备和存储介质 - Google Patents
数据查询平台、方法、设备和存储介质 Download PDFInfo
- Publication number
- CN110222072A CN110222072A CN201910492537.7A CN201910492537A CN110222072A CN 110222072 A CN110222072 A CN 110222072A CN 201910492537 A CN201910492537 A CN 201910492537A CN 110222072 A CN110222072 A CN 110222072A
- Authority
- CN
- China
- Prior art keywords
- inquiry
- data
- executive plan
- query
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据查询平台、方法、设备和存储介质,其中,所述数据查询平台包括:执行计划获取模块,用于对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的资源预占用情况进行描述;查询引擎选择模块,用于根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;查询结果获取模块,用于获取所述目标执行引擎的查询结果。本发明实施例通过对查询语句的分析,确定查询请求的执行计划,依据执行计划将不同的查询请求路由到不同的执行引擎,保障查询效率及各引擎集群的稳定性。
Description
技术领域
本发明实施例涉及大数据技术领域,尤其涉及一种数据查询平台、方法、设备和存储介质。
背景技术
目前,大数据离线集群接入的业务方日益增多,这些业务方有在集群中离线查询数据的需求,而且,硬件资源及人力投入成本成增长态势。随着数据量的快速增长和对查询需求的增加,离线的数据查询平台每天计算的sql查询超过1万次,对平台的查询效率和稳定性等方面都提出了挑战。
现有技术中,查询平台主要使用的是Hue(一个开源的Apache Hadoop UI系统),该平台能用在普通的大数据查询场景,但是其对平台资源的利用率仍然不高,影响数据的查询效率。
发明内容
本发明实施例提供一种数据查询平台、方法、设备和存储介质,以提高数据查询效率。
第一方面,本发明实施例提供了一种数据查询平台,包括:
执行计划获取模块,用于对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的资源预占用情况进行描述;
查询引擎选择模块,用于根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;
查询结果获取模块,用于获取所述目标执行引擎的查询结果。
第二方面,本发明实施例还提供了一种数据查询方法,包括:
对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的预估资源占用情况进行描述;
根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;
指示所述目标执行引擎处理所述查询请求,并获取所述目标执行引擎的查询结果。
第三方面,本发明实施例还提供了一种计算机设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任一实施例所述的数据查询方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任一实施例所述的数据查询方法。
本发明实施例通过对查询请求对应的查询语句的分析,确定查询请求的执行计划,对查询请求的资源预占用情况进行预估,从而结合不同执行引擎的属性信息,从中选择目标执行引擎处理该查询请求,实现对消耗资源不同的查询请求进行分别处理,将查询资源路由到不同的执行引擎,进而保障查询效率及各引擎集群的稳定性。
附图说明
图1是本发明实施例一中的数据查询平台的结构示意图;
图2是本发明实施例二中的数据查询平台的结构示意图;
图3是本发明实施例三中的数据查询平台的结构示意图;
图4是本发明实施例四中的数据查询方法的流程图;
图5是本发明实施例五中的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的数据查询平台的结构示意图,本实施例可适用于利用数据查询平台查询离线数据的情况。如图1所示,该平台1具体包括执行计划获取模块10、查询引擎选择模块11和查询结果获取模块12,其中:
执行计划获取模块10,用于对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的资源预占用情况进行描述。
业务方根据需求向数据查询平台发出查询请求,并输入对应的查询语句,例如SQL查询语句,根据不同的需求,查询语句自然不同。查询语句中通常会涉及查询目标,也即要查询的数据项是什么,而一个数据项可能通过一个数据表即可获得,也可能是通过多个表按不同阶段获得,其中,所述数据表即为由技术人员根据需求在数据库中建立的基于大数据的多个数据表,业务方要查询的数据就是基于这些数据表获得。进一步的,根据数据表的不同,查询的数据量也不同,对实施查询的执行引擎的资源占用情况也就不同。因此,通过对查询语句进行分析,确定查询请求的执行计划,也即从不同维度对查询请求的资源预占用情况的描述信息,实现对查询请求可能会占用多少资源的预估,从而为接下来对查询请求的路由做数据准备。
优选的,执行计划获取模块10具体用于:
根据语法规则对查询语句中的字段进行分析,获取查询涉及的数据表;
根据所述查询涉及的数据表以及数据库中数据表的大小和关联关系,确定所述查询请求的执行计划;其中,所述执行计划至少包括查询的数据量、查询涉及的数据表之间的依赖关系和数据运算的并行度。
具体的,不同的查询语句其语法规则不同,根据相应的语法规则分析查询语句中的字段,即可获取查询涉及的数据表。数据库中各数据表的大小和他们之间的关联关系是已知的,因此,进一步可以根据查询涉及的数据表及数据库中数据表的大小和关联关系,确定出查询请求的执行计划,至少包括查询的数据量、查询涉及的数据表之间的依赖关系和数据运算的并行度。
其中,数据运算的并行度可以结合要查询的数据量和一些预设的规则来预估,同时也需要在并行的开销和执行效率之间做权衡。例如,对于查询数据量大的请求,如果开启多个线程并行执行可能查询的速度会快,但是考虑到开启多个线程需要一定的系统开销,如果开销过大,也会影响最终的查询速度,因此,合适的并行度,即能加快查询速度,同时又能避免过大的系统开销,是比较优选的。
查询引擎选择模块11,用于根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询。
其中,执行引擎例如可以包括impala、presto、spark或hive等数据查询工具,不同的工具其属性特点不同,执行的效率也不同,因此,需要结合执行计划和各自的属性特点,来选择最适合的目标执行引擎,以提高查询效率。例如,对数据量少、资源消耗少的查询,可以路由到impala快速查询,以及时响应用户,对于数据量大、资源消耗过大的查询,可以降级到hive查询,以保障数据的查询效率及系统的稳定性。具体实现时,可以预先对执行计划中包含的各维度设置阈值,并设定相应的规则,从而基于执行计划和所述规则选择目标执行引擎。
优选的,查询引擎选择模块11还用于:
根据所述执行计划和至少两个执行引擎的属性信息,对所述至少两个执行引擎的优先级进行排序;
按照优先级从高到低的顺序,对所述目标执行引擎进行选择,并在目标执行引擎执行失败时,选择优先级次之的执行引擎继续处理。
具体的,为了提高查询成功率,当故障发生时能够及时处理,可以对执行引擎采取降级策略。也即,先根据执行计划和至少两个执行引擎的属性信息,对至少两个执行引擎的优先级进行排序,选择第一优先级的执行引擎作为目标执行引擎,当目标执行引擎发生故障无法查询时,则可以选择并指示优先级次之的执行引擎继续处理,从而确保查询的成功率。
查询结果获取模块12,用于获取所述目标执行引擎的查询结果。
具体实现时,执行引擎可以向平台反馈其查询结果的存储地址或数据库的写入位置,由查询结果获取模块12依据该位置获取查询结果。之后还可以展示给用户或第三方平台。
此外,作为一种优选,所述数据查询平台1还可以包括查询语句检测模块(图中未示出),用于根据语法规则和预设的评分标准,对所述查询语句的质量进行打分,根据评分结果,可以对发起查询的业务方进行评价,或者向业务方提供改进意见等。
本发明实施例通过对查询请求对应的查询语句的分析,确定查询请求的执行计划,对查询请求的资源预占用情况进行预估,从而结合不同执行引擎的属性信息,从中选择目标执行引擎处理该查询请求,实现对消耗资源不同的查询请求进行分别处理,将查询资源路由到不同的执行引擎,进而保障查询效率及各引擎集群的稳定性。
实施例二
图2是本发明实施例二提供的数据查询平台的结构示意图,本实施例二在实施例一的基础上进行进一步地优化,如图2所示,本实施例二在实施例一描述的各模块基础上,增加了查询语句校验模块13、库表解析模块14、库表热度分析模块15和权限验证模块16,其中:
查询语句校验模块13,用于在执行计划获取模块10对查询语句进行分析之前,对所述查询语句的合法性进行校验。
具体的,可以通过检验查询语句的谓词等语法,来校验查询语句的合法性,对于合法的查询继续处理,对于非法的查询直接返回。
库表解析模块14,用于在执行计划获取模块10对查询语句进行分析之前,对所述查询语句进行库表解析,得到所述查询请求涉及的库和/或表。
库表热度分析模块15,用于基于库表解析模块14的解析结果,记录每个库和/或表的查询次数,并依据所述查询次数分析库和/或表的查询热度。
权限验证模块16,用于基于库表解析模块14的解析结果,判断所述查询请求是否有对其涉及到的库和/或表的查询权限,并在判断出有权限时,转由所述执行计划获取模块10处理。
具体的,业务方要查询什么样的数据,从哪里查询,涉及到哪些库和/或表,都会通过查询语句体现出来,因此库表解析模块14可以根据不同查询语言的语法规则从查询语句中解析出查询请求涉及的库和/或表。库表解析主要有两个目的,一个是进行库表热度分析,另一个是进行权限验证。
其中,库表热度分析模块15基于库表解析模块14的解析结果,记录每个库和/或表的查询次数,并依据所述查询次数分析库和/或表的查询热度。在同样长的一段时间内,查询次数多的库表其热度更高,反之,查询次数少的库表其热度就低。通过对库表的热度进行分析,可以及时对库或表进行调整,从而节约存储空间,提高利用率。
进一步的,解析出库表后,还可以由权限验证模块16基于该解析结果,校验用户是否有查询相关库表的权限,当判断出有权限时,才转由执行计划获取模块10处理,否则直接返回,从而确保数据的安全性,防止数据泄露。
本发明实施例在实现对不同查询请求路由的基础上,通过对查询语句的校验确保查询的成功率,通过库表解析可以实现库表热度分析和权限验证,为完善库表提供数据基础,还可以确保数据的安全性,防止数据泄露。
实施例三
图3是本发明实施例三提供的数据查询平台的结构示意图,本实施例三在上述任一实施例的基础上进行进一步地优化,如图3所示,本实施例三在上述任一实施例描述的各模块基础上,增加了查询管控模块17、日志分析模块18和结果展示模块19,其中:
查询管控模块17,用于获取执行引擎的执行状态信息,根据该执行状态信息对查询请求进行管控;其中,所述执行状态信息至少包括执行时间阈值、执行资源占用情况和执行队列资源剩余情况;所述管控至少包括停止查询或发出告警。
众所周知,大数据量的查询是大数据查询平台遇到的常见挑战,那么,通过及时跟踪、监控查询的资源消耗情况,对资源消耗过大的查询进行自动降级甚至取消,则可以保障整个集群的运行稳定。因此,在本发明实施例中,通过查询管控模块17,获取执行引擎的执行状态信息,实现对查询请求的管控,例如,在高峰时段,可以停止资源占用巨大的查询,或者将该类型的查询调整到其他时段进行。
日志分析模块18,用于获取执行引擎的查询日志,并基于配置从所述查询日志中提取多个字段,形成结构化日志。
结果展示模块19,用于获取执行引擎的查询结果和结构化日志,展示所述查询结果和结构化日志。
具体的,数据资源是企业重要的核心资产,数据泄露在企业时有发生,有些是无意有些是恶意泄露,通过对查询日志的统计分析,以便于后期的追踪审计。而执行引擎每天都会生成大量的查询日志,这些日志不便于查看,因此,需要进行结构化的分析和处理,以生成便于查看的结构化日志。例如,预先设定需要从日志中提取的多个字段,然后基于这些字段生成相应的数据表格等。
此外,还可以对实时监控的集群资源消耗情况,及各查询任务的资源消耗情况进行汇总展示。对历史执行的查询也可以进行分页展示,区分队列呈现给用户,例如展示分队列监控资源使用情况、执行时长以及用户的简明信息及详细信息等。
本发明实施例的数据查询平台提供了对大数据查询的统一入口,通过该查询平台,能校验、解析查询语句以及进行权限验证,并将不同的查询请求路由到不同的执行引擎进行查询,然后通过回调的方式,获取查询结果和查询日志。此外,还可以实时监控查询的资源消耗及集群的运行状态,对资源消耗过大的查询,在高峰期能支持手动或自动取消或停止,在保证查询效率的同时,保障集群的整体稳定。
实施例四
图4是本发明实施例四提供的数据查询方法的流程图。本实施例可适用于利用数据查询平台查询离线数据的情况,该方法可以由数据查询平台来执行,该平台可以采用软件和/或硬件的方式实现,并可集成在计算机设备上,或部署在由计算机设备组成的集群中。如图4所示,该方法包括:
对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的预估资源占用情况进行描述;
根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;
指示所述目标执行引擎处理所述查询请求,并获取所述目标执行引擎的查询结果。
可选的,所述对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,包括:
根据语法规则对查询语句中的字段进行分析,获取查询涉及的数据表;
根据所述查询涉及的数据表以及数据库中数据表的大小和关联关系,确定所述查询请求的执行计划;其中,所述执行计划至少包括查询的数据量、查询涉及的数据表之间的依赖关系和数据运算的并行度。
可选的,所述根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询,包括:
根据所述执行计划和至少两个执行引擎的属性信息,对所述至少两个执行引擎的优先级进行排序;
按照优先级从高到低的顺序,对所述目标执行引擎进行选择,并在目标执行引擎执行失败时,选择优先级次之的执行引擎继续处理。
可选的,在所述对查询请求对应的查询语句进行分析之前,所述方法还包括:
对所述查询语句的合法性进行校验。
可选的,在所述对查询请求对应的查询语句进行分析之前,所述方法还包括:
对所述查询语句进行库表解析,得到所述查询请求涉及的库和/或表。
可选的,所述方法还包括:
基于所述库表解析的解析结果,记录每个库和/或表的查询次数,并依据所述查询次数分析库和/或表的查询热度。
可选的,所述方法还包括:
基于所述库表解析的解析结果,判断所述查询请求是否有对其涉及到的库和/或表的查询权限,并在判断出有权限时,执行所述对查询请求对应的查询语句进行分析的操作。
可选的,所述方法还包括:
获取执行引擎的执行状态信息,根据该执行状态信息对查询请求进行管控;其中,所述执行状态信息至少包括执行时间阈值、执行资源占用情况和执行队列资源剩余情况;所述管控至少包括停止查询或发出告警。
可选的,所述方法还包括:
获取所述执行引擎的查询日志,并基于配置从所述查询日志中提取多个字段,形成结构化日志;
获取所述执行引擎的查询结果和结构化日志,展示所述查询结果和结构化日志。
可选的,所述方法还包括:
根据语法规则和预设的评分标准,对所述查询语句的质量进行打分。
本发明实施例通过对查询请求对应的查询语句的分析,确定查询请求的执行计划,对查询请求的资源预占用情况进行预估,从而结合不同执行引擎的属性信息,从中选择目标执行引擎处理该查询请求,实现对消耗资源不同的查询请求进行分别处理,将查询资源路由到不同的执行引擎,进而保障查询效率及各引擎集群的稳定性。
本发明实施例所提供的数据查询方法由本发明任意实施例所提供的数据查询平台执行,具备与数据查询平台及其各功能模块的有益效果。
实施例五
图5是本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据查询方法,包括:
对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的预估资源占用情况进行描述;
根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;
指示所述目标执行引擎处理所述查询请求,并获取所述目标执行引擎的查询结果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的数据查询方法,包括:
对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的预估资源占用情况进行描述;
根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;
指示所述目标执行引擎处理所述查询请求,并获取所述目标执行引擎的查询结果。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种数据查询平台,其特征在于,包括:
执行计划获取模块,用于对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的资源预占用情况进行描述;
查询引擎选择模块,用于根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;
查询结果获取模块,用于获取所述目标执行引擎的查询结果。
2.根据权利要求1所述的平台,其特征在于,所述执行计划获取模块具体用于:
根据语法规则对查询语句中的字段进行分析,获取查询涉及的数据表;
根据所述查询涉及的数据表以及数据库中数据表的大小和关联关系,确定所述查询请求的执行计划;其中,所述执行计划至少包括查询的数据量、查询涉及的数据表之间的依赖关系和数据运算的并行度。
3.根据权利要求2所述的平台,其特征在于,所述查询引擎选择模块还用于:
根据所述执行计划和至少两个执行引擎的属性信息,对所述至少两个执行引擎的优先级进行排序;
按照优先级从高到低的顺序,对所述目标执行引擎进行选择,并在目标执行引擎执行失败时,选择优先级次之的执行引擎继续处理。
4.根据权利要求1所述的平台,其特征在于,所述平台还包括:
查询语句校验模块,用于在执行计划获取模块对所述查询语句进行分析之前,对所述查询语句的合法性进行校验。
5.根据权利要求1所述的平台,其特征在于,所述平台还包括:
库表解析模块,用于在执行计划获取模块对所述查询语句进行分析之前,对所述查询语句进行库表解析,得到所述查询请求涉及的库和/或表。
6.根据权利要求5所述的平台,其特征在于,所述平台还包括:
库表热度分析模块,用于基于库表解析模块的解析结果,记录每个库和/或表的查询次数,并依据所述查询次数分析库和/或表的查询热度。
7.根据权利要求5所述的平台,其特征在于,所述平台还包括:
权限验证模块,用于基于库表解析模块的解析结果,判断所述查询请求是否有对其涉及到的库和/或表的查询权限,并在判断出有权限时,转由所述执行计划获取模块处理。
8.根据权利要求1所述的平台,其特征在于,所述平台还包括:
查询管控模块,用于获取执行引擎的执行状态信息,根据该执行状态信息对查询请求进行管控;其中,所述执行状态信息至少包括执行时间阈值、执行资源占用情况和执行队列资源剩余情况;所述管控至少包括停止查询或发出告警。
9.根据权利要求1所述的平台,其特征在于,所述平台还包括:
日志分析模块,用于获取所述执行引擎的查询日志,并基于配置从所述查询日志中提取多个字段,形成结构化日志;
结果展示模块,用于获取所述执行引擎的查询结果和结构化日志,展示所述查询结果和结构化日志。
10.根据权利要求1所述的平台,其特征在于,所述平台还包括:
查询语句检测模块,用于根据语法规则和预设的评分标准,对所述查询语句的质量进行打分。
11.一种数据查询方法,其特征在于,包括:
对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,其中,所述执行计划用于从不同维度对查询请求的预估资源占用情况进行描述;
根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询;
指示所述目标执行引擎处理所述查询请求,并获取所述目标执行引擎的查询结果。
12.根据权利要求11所述的方法,其特征在于,所述对查询请求对应的查询语句进行分析,确定所述查询请求的执行计划,包括:
根据语法规则对查询语句中的字段进行分析,获取查询涉及的数据表;
根据所述查询涉及的数据表以及数据库中数据表的大小和关联关系,确定所述查询请求的执行计划;其中,所述执行计划至少包括查询的数据量、查询涉及的数据表之间的依赖关系和数据运算的并行度。
13.根据权利要求12所述的方法,其特征在于,所述根据所述执行计划和至少两个执行引擎的属性信息,从所述至少两个执行引擎中选择目标执行引擎进行查询,包括:
根据所述执行计划和至少两个执行引擎的属性信息,对所述至少两个执行引擎的优先级进行排序;
按照优先级从高到低的顺序,对所述目标执行引擎进行选择,并在目标执行引擎执行失败时,选择优先级次之的执行引擎继续处理。
14.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求11-13中任一所述的数据查询方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求11-13中任一所述的数据查询方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910492537.7A CN110222072A (zh) | 2019-06-06 | 2019-06-06 | 数据查询平台、方法、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910492537.7A CN110222072A (zh) | 2019-06-06 | 2019-06-06 | 数据查询平台、方法、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110222072A true CN110222072A (zh) | 2019-09-10 |
Family
ID=67816019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910492537.7A Withdrawn CN110222072A (zh) | 2019-06-06 | 2019-06-06 | 数据查询平台、方法、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110222072A (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569266A (zh) * | 2019-09-11 | 2019-12-13 | 北京启迪区块链科技发展有限公司 | 一种数据查询的方法、装置、设备及存储介质 |
CN110825767A (zh) * | 2019-11-15 | 2020-02-21 | 江苏满运软件科技有限公司 | 数据查询方法、平台、设备及存储介质 |
CN111078670A (zh) * | 2019-12-19 | 2020-04-28 | 上海达梦数据库有限公司 | 数据库执行计划清除方法、装置、设备和存储介质 |
CN111104419A (zh) * | 2019-12-24 | 2020-05-05 | 上海众源网络有限公司 | 一种数据查询方法及装置 |
CN111159229A (zh) * | 2019-12-31 | 2020-05-15 | 北京奇艺世纪科技有限公司 | 一种数据查询方法及装置 |
CN111190932A (zh) * | 2019-12-16 | 2020-05-22 | 北京淇瑀信息科技有限公司 | 一种隐私集群查询方法、装置及电子设备 |
CN111723112A (zh) * | 2020-06-11 | 2020-09-29 | 咪咕文化科技有限公司 | 数据任务执行方法、装置、电子设备及存储介质 |
CN112115160A (zh) * | 2020-08-14 | 2020-12-22 | 苏宁云计算有限公司 | 一种查询请求的调度方法、装置及计算机系统 |
CN112286954A (zh) * | 2020-09-25 | 2021-01-29 | 北京邮电大学 | 基于混合引擎的多维数据分析方法和系统 |
CN112307061A (zh) * | 2019-10-31 | 2021-02-02 | 北京京东尚科信息技术有限公司 | 用于查询数据的方法和装置 |
CN112527830A (zh) * | 2020-12-24 | 2021-03-19 | 平安普惠企业管理有限公司 | 数据查询方法、装置、设备及存储介质 |
CN112579536A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 数据查询方法、装置、计算机设备以及存储介质 |
CN112711677A (zh) * | 2021-01-08 | 2021-04-27 | 北京仿真中心 | 一种面向Neo4j图数据库的可视化管理装置和方法 |
CN112948467A (zh) * | 2021-03-18 | 2021-06-11 | 北京中经惠众科技有限公司 | 数据处理方法及装置、计算机设备和存储介质 |
CN113204337A (zh) * | 2021-06-08 | 2021-08-03 | 中国银行股份有限公司 | 运行引擎的切换方法及装置 |
CN113568931A (zh) * | 2020-04-29 | 2021-10-29 | 盛趣信息技术(上海)有限公司 | 一种数据访问请求的路由解析系统及方法 |
CN113641487A (zh) * | 2021-07-06 | 2021-11-12 | 多点生活(成都)科技有限公司 | 一种大数据平台sql任务执行引擎智能自动切换的方法 |
CN113704286A (zh) * | 2020-05-20 | 2021-11-26 | 中国移动通信集团重庆有限公司 | 引擎选择方法、装置及计算设备 |
CN114442940A (zh) * | 2022-01-04 | 2022-05-06 | 网易(杭州)网络有限公司 | 一种数据处理方法、装置、介质和电子设备 |
CN114610588A (zh) * | 2022-03-01 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 一种数据库性能分析方法、装置、电子设备和存储介质 |
CN115309777A (zh) * | 2022-10-10 | 2022-11-08 | 北京奥星贝斯科技有限公司 | 数据查询的方法及装置 |
CN115599790A (zh) * | 2022-11-10 | 2023-01-13 | 星环信息科技(上海)股份有限公司(Cn) | 一种数据存储系统、数据处理方法、电子设备和存储介质 |
WO2023236776A1 (en) * | 2022-06-11 | 2023-12-14 | Huawei Cloud Computing Technologies Co., Ltd. | Method and apparatus for sub-optimal query identification and index optimizations post migration |
CN117909550A (zh) * | 2023-12-20 | 2024-04-19 | 曙光云计算集团股份有限公司 | 查询方法、装置、计算机设备和存储介质 |
-
2019
- 2019-06-06 CN CN201910492537.7A patent/CN110222072A/zh not_active Withdrawn
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569266A (zh) * | 2019-09-11 | 2019-12-13 | 北京启迪区块链科技发展有限公司 | 一种数据查询的方法、装置、设备及存储介质 |
CN112579536A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 数据查询方法、装置、计算机设备以及存储介质 |
CN112307061A (zh) * | 2019-10-31 | 2021-02-02 | 北京京东尚科信息技术有限公司 | 用于查询数据的方法和装置 |
CN110825767A (zh) * | 2019-11-15 | 2020-02-21 | 江苏满运软件科技有限公司 | 数据查询方法、平台、设备及存储介质 |
CN111190932A (zh) * | 2019-12-16 | 2020-05-22 | 北京淇瑀信息科技有限公司 | 一种隐私集群查询方法、装置及电子设备 |
CN111190932B (zh) * | 2019-12-16 | 2023-08-18 | 北京淇瑀信息科技有限公司 | 一种隐私集群查询方法、装置及电子设备 |
CN111078670A (zh) * | 2019-12-19 | 2020-04-28 | 上海达梦数据库有限公司 | 数据库执行计划清除方法、装置、设备和存储介质 |
CN111078670B (zh) * | 2019-12-19 | 2023-06-20 | 上海达梦数据库有限公司 | 数据库执行计划清除方法、装置、设备和存储介质 |
CN111104419A (zh) * | 2019-12-24 | 2020-05-05 | 上海众源网络有限公司 | 一种数据查询方法及装置 |
CN111159229A (zh) * | 2019-12-31 | 2020-05-15 | 北京奇艺世纪科技有限公司 | 一种数据查询方法及装置 |
CN111159229B (zh) * | 2019-12-31 | 2024-04-26 | 北京奇艺世纪科技有限公司 | 一种数据查询方法及装置 |
CN113568931A (zh) * | 2020-04-29 | 2021-10-29 | 盛趣信息技术(上海)有限公司 | 一种数据访问请求的路由解析系统及方法 |
CN113704286A (zh) * | 2020-05-20 | 2021-11-26 | 中国移动通信集团重庆有限公司 | 引擎选择方法、装置及计算设备 |
CN111723112A (zh) * | 2020-06-11 | 2020-09-29 | 咪咕文化科技有限公司 | 数据任务执行方法、装置、电子设备及存储介质 |
CN112115160A (zh) * | 2020-08-14 | 2020-12-22 | 苏宁云计算有限公司 | 一种查询请求的调度方法、装置及计算机系统 |
CN112286954A (zh) * | 2020-09-25 | 2021-01-29 | 北京邮电大学 | 基于混合引擎的多维数据分析方法和系统 |
CN112286954B (zh) * | 2020-09-25 | 2022-08-16 | 北京邮电大学 | 基于混合引擎的多维数据分析方法和系统 |
CN112527830A (zh) * | 2020-12-24 | 2021-03-19 | 平安普惠企业管理有限公司 | 数据查询方法、装置、设备及存储介质 |
CN112711677A (zh) * | 2021-01-08 | 2021-04-27 | 北京仿真中心 | 一种面向Neo4j图数据库的可视化管理装置和方法 |
CN112948467A (zh) * | 2021-03-18 | 2021-06-11 | 北京中经惠众科技有限公司 | 数据处理方法及装置、计算机设备和存储介质 |
CN112948467B (zh) * | 2021-03-18 | 2023-10-10 | 北京中经惠众科技有限公司 | 数据处理方法及装置、计算机设备和存储介质 |
CN113204337A (zh) * | 2021-06-08 | 2021-08-03 | 中国银行股份有限公司 | 运行引擎的切换方法及装置 |
CN113641487A (zh) * | 2021-07-06 | 2021-11-12 | 多点生活(成都)科技有限公司 | 一种大数据平台sql任务执行引擎智能自动切换的方法 |
CN114442940A (zh) * | 2022-01-04 | 2022-05-06 | 网易(杭州)网络有限公司 | 一种数据处理方法、装置、介质和电子设备 |
CN114610588A (zh) * | 2022-03-01 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 一种数据库性能分析方法、装置、电子设备和存储介质 |
WO2023236776A1 (en) * | 2022-06-11 | 2023-12-14 | Huawei Cloud Computing Technologies Co., Ltd. | Method and apparatus for sub-optimal query identification and index optimizations post migration |
CN115309777A (zh) * | 2022-10-10 | 2022-11-08 | 北京奥星贝斯科技有限公司 | 数据查询的方法及装置 |
CN115599790A (zh) * | 2022-11-10 | 2023-01-13 | 星环信息科技(上海)股份有限公司(Cn) | 一种数据存储系统、数据处理方法、电子设备和存储介质 |
CN115599790B (zh) * | 2022-11-10 | 2024-03-15 | 星环信息科技(上海)股份有限公司 | 一种数据存储系统、数据处理方法、电子设备和存储介质 |
CN117909550A (zh) * | 2023-12-20 | 2024-04-19 | 曙光云计算集团股份有限公司 | 查询方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222072A (zh) | 数据查询平台、方法、设备和存储介质 | |
US9158814B2 (en) | Obtaining partial results from a database query | |
US10983902B2 (en) | Collaborative computer aided test plan generation | |
US20150134637A1 (en) | System and Method for Sharding a Graph Database | |
US8498995B1 (en) | Optimizing data retrieval during event data query processing | |
CN105511957B (zh) | 用于生成作业告警的方法和系统 | |
CN109582717B (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
US9465790B2 (en) | SVO-based taxonomy-driven text analytics | |
CN108959564A (zh) | 数据仓库元数据管理方法、可读存储介质和计算机设备 | |
US20120221608A1 (en) | Multi-tenancy data storage and access method and apparatus | |
CN107632842A (zh) | 规则配置和发布方法、系统、设备及存储介质 | |
CN111813804B (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
US20070219947A1 (en) | Distributed data mining using analysis services servers | |
US20160352822A1 (en) | Command process load balancing system | |
US10031901B2 (en) | Narrative generation using pattern recognition | |
US11132358B2 (en) | Candidate name generation | |
KR101331452B1 (ko) | 데이터베이스 관리 방법 및 그를 위한 데이터베이스 관리 서버 | |
US20220103554A1 (en) | Isolated cell architecture for cloud computing platform | |
CN109376173A (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
CN107733894B (zh) | 逻辑接口报文的比对方法、系统、设备及存储介质 | |
CN111767269A (zh) | 数据库实例的健康检测方法、装置、设备及存储介质 | |
US9483510B2 (en) | Correlating database and storage performance views | |
EP4044031A1 (en) | Cloud orchestration system and method based on read-write separation and auto-scaling | |
CN108133143B (zh) | 一种面向云桌面应用环境的数据防泄漏方法及系统 | |
CN107609179B (zh) | 一种数据处理方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190910 |
|
WW01 | Invention patent application withdrawn after publication |