[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109063056A - 一种数据查询方法、系统及终端设备 - Google Patents

一种数据查询方法、系统及终端设备 Download PDF

Info

Publication number
CN109063056A
CN109063056A CN201810800997.7A CN201810800997A CN109063056A CN 109063056 A CN109063056 A CN 109063056A CN 201810800997 A CN201810800997 A CN 201810800997A CN 109063056 A CN109063056 A CN 109063056A
Authority
CN
China
Prior art keywords
dag
query
parameter
data
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810800997.7A
Other languages
English (en)
Inventor
黎洲
邓青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810800997.7A priority Critical patent/CN109063056A/zh
Publication of CN109063056A publication Critical patent/CN109063056A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种数据查询方法、系统及终端设备,该数据查询方法包括:响应于数据查询请求,获取数据查询参数;构建所述数据查询参数对应的DAG执行计划;以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;反馈执行结果。

Description

一种数据查询方法、系统及终端设备
技术领域
本说明书实施例涉及数据查询技术领域,尤其涉及一种数据查询方法、系统及终端设备。
背景技术
合约数据(如机构合约数据、商户合约数据、个人合约数据)作为支付宝的关键数据,一直被许多系统查询和消费。合约查询系统作为一个调用频率非常高的核心系统,需要给外围其他系统提供稳定的、准确的,高效的查询服务。
传统定制化的数据查询方法:需要为每一个查询场景定制化开发查询逻辑,有以下缺点:1、容易造成代码结构复杂,处理层次不够清晰;2、新增查询逻辑并未遵循原有规范,导致内部标准不统一;3、可扩展性不好,修改原有功能时容易出错;4、运维层面,可能出现日志埋点不完善,监控不完全,无法清晰掌控查询执行过程,不易发现性能瓶颈等问题。
基于抽象语法树(abstract syntax tree,AST)方式的数据查询方法:将查询过程用结构化查询语言(Structured Query Language,SQL)方式描述,SQL会首先解析成AST,通过对AST的遍历来完成查询。该方案有以下缺点:1、业务查询的逻辑非常复杂,许多场景下很难通过SQL将查询逻辑描述出来,即使描述出来,也存在大量自定义的统一光盘格式(Universal Disc Format,UDF),解析SQL和UDF的工作量很大;2、采用AST方式,查询底层的异构数据源将统一成通用的方式,就远程调用而言,会丢失掉原有对象的结构,对于很多自定义的弱结构对象,使用起来将变得非常麻烦。
综上可知,现有的数据查询方法缺乏规范性,查询逻辑较复杂,成本较高。
发明内容
本说明书实施例提供一种数据查询方法、系统及终端设备,以解决现有技术中数据查询方法缺乏规范性,查询逻辑较复杂,成本较高的问题。
本说明书实施例采用下述技术方案:
第一方面,提供了一种数据查询方法,包括:
响应于数据查询请求,获取数据查询参数;
构建所述数据查询参数对应的DAG执行计划;
以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈执行结果。
第二方面,提供了一种数据查询系统,包括:
获取模块,用于响应于数据查询请求,获取数据查询参数;
构建模块,用于构建所述数据查询参数对应的DAG执行计划;
执行模块,用于以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈模块,用于反馈执行结果。
第三方面,提供了一种终端设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如下步骤:
响应于数据查询请求,获取数据查询参数;
构建所述数据查询参数对应的DAG执行计划;
以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈执行结果。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
响应于数据查询请求,获取数据查询参数;
构建所述数据查询参数对应的DAG执行计划;
以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈执行结果。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本说明书实施例通过构建数据查询参数对应的DAG执行计划,以数据查询参数作为DAG查询框架的输入参数,通过DAG查询框架执行查询参数对应的DAG执行计划,以通过DAG查询框架将查询逻辑节点化,使得数据查询流程可以通过查询节点串联清晰的呈现出来,查询逻辑简单化;
基于本说明书实施例的方案,大多数查询场景中数据查询都可通过DAG查询框架统一来实现,具有规范性;
基于本说明书实施例的方案,通过DAG查询框架可以让用户自由地实现每个查询节点特有的查询逻辑,避免了解析耗时,成本较低。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书的一个实施例提供的数据查询方法的流程图;
图2为本说明书的一个实施例提供的数据查询方法的实际应用场景实现示意图之一;
图3为本说明书的一个实施例提供的数据查询方法的实际应用场景实现流程示意图之二;
图4为本说明书的一个实施例提供的数据查询方法的实际应用场景实现流程示意图之三;
图5为本说明书的一个实施例提供的数据查询系统的结构框图;
图6为本说明书的一个实施例提供的终端设备的结构框图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
为便于理解本说明书实施例的方案,在此引入几个相关的名称解释。
有向无环图(directed acyclic graph,DAG):在图论中,如果一个有向图无法从某个顶点出发经过若干条边回到该点,则这个图是一个DAG图。
抽象语法树(Abstract Syntax Tree,AST):是源代码的抽象语法结构的树状表现形式,树上的每个节点都表示源代码中的一种结构。之所以说语法是“抽象”的,是因为这里的语法并不会表示出真实语法中出现的每个细节。比如,嵌套括号被隐含在树的结构中,并没有以节点的形式呈现;而类似于if-condition-then这样的条件跳转语句,可以使用带有两个分支的节点来表示。
本说明书实施例提供一种数据查询方法、系统及终端设备,以解决现有技术中数据查询方法缺乏规范性,查询逻辑较复杂,成本较高的问题。本说明书实施例提供一种数据查询方法,该方法的执行主体,可以但不限于终端设备或能够被配置为执行本说明书实施例提供的该方法的装置或系统。
为便于描述,下文以该方法的执行主体为能够执行该方法的终端设备为例,对该方法的实施方式进行介绍。可以理解,该方法的执行主体为终端设备只是一种示例性的说明,并不应理解为对该方法的限定。
图1为本说明书实施例提供的数据查询方法的流程图,图1的方法可以由终端设备执行,如图1所示,该方法可以包括:
步骤110、响应于所述数据查询请求,获取数据查询参数。
该数据查询请求可以用于传递数据查询参数。
在执行步骤110之前,所述数据查询方法还可以包括接收数据查询请求。
该数据查询请求的发送对象可以为外围系统或者其他设备。
步骤120、构建所述数据查询参数对应的DAG执行计划。
该DAG执行计划为有向无环图执行计划。
该构建数据查询参数对应的DAG执行计划,具体可实现为:基于数据查询参数,构建数据查询参数对应的DAG执行计划。
示例性的,以数据查询场景1为例,该数据查询场景1具有查询节点A、查询节点B、查询节点C和查询节点D。
该构建数据查询参数对应的DAG执行计划,具体可实现为:基于查询节点A、查询节点B、查询节点C和查询节点D,构建有向无环图DAG;基于有向无环图DAG中各个查询节点之间的逻辑关系,构建DAG执行计划。
步骤130、以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划。
该DAG查询框架用于表征数据查询参数中查询节点的查询逻辑。
该以所述数据查询参数作为DAG查询框架的输入参数,具体可实现为:
首先,将数据查询参数转换成DAG查询框架的输入参数,如将数据查询参数的格式转化成与DAG查询框架的输入参数一致的格式。
然后,将转换后的数据查询参数作为DAG查询框架的输入参数。
这里需要说明的是,在进入DAG查询框架时,需要初始化DAG查询框架的上下文、各节点的上下文及部分节点的输入参数,例如,初始化DAG查询框架的开始执行时间等。
步骤140、反馈执行结果。
本说明书实施例通过构建数据查询参数对应的DAG执行计划,以数据查询参数作为DAG查询框架的输入参数,通过DAG查询框架执行查询参数对应的DAG执行计划,以通过DAG查询框架将查询逻辑节点化,使得数据查询流程可以通过查询节点串联清晰的呈现出来,查询逻辑简单化;而且,大多数查询场景中数据查询都可通过DAG查询框架统一来实现,具有规范性;DAG查询框架可以让用户自由地实现每个查询节点特有的查询逻辑,避免了解析耗时,成本较低。
可选的,作为一个实施例,在执行步骤120之后,本说明书实施例提供的数据查询方法还可以包括:
基于所述数据查询参数中多个查询节点的属性信息,将DAG拆分成多个子DAG;
基于所述多个子DAG,对所述DAG执行计划进行优化处理。
示例性的,如图2所示,以数据查询场景2为例,该数据查询场景2具有查询节点A(查询产品信息)、查询节点B(查询合约信息)和查询节点C(合并信息)。
其中,查询节点B(查询合约信息)可以细化为查询节点B1(查询合约基本信息)、查询节点B21(查询合约属性信息)和查询节点B3(合并合约信息),及查询节点B1(查询合约基本信息)、查询节点B22(查询合约文本信息)和查询节点B3(合并合约信息)。
因此,本说明书实施例中,可将基于查询节点A(查询产品信息)、查询节点B(查询合约信息)和查询节点C(合并信息),构建的DAG进行拆分,得到:基于查询节点A(查询产品信息)、查询节点B1(查询合约基本信息)、查询节点B21(查询合约属性信息)、查询节点B3(合并合约信息)和查询节点C(合并信息)构建的子DAG,及基于查询节点A(查询产品信息)、查询节点B1(查询合约基本信息)、查询节点B22(查询合约文本信息)、查询节点B3(合并合约信息)和查询节点C(合并信息)构建的子DAG。
本说明书实施例基于数据查询参数中多个查询节点的属性信息,将DAG拆分成多个子DAG,基于多个子DAG,对DAG执行计划进行优化处理,使得后续在进行数据查询时,可以获取详细的查询结果。
可选的,作为一个实施例,在执行步骤120之后,本说明书实施例提供的数据查询方法还可以包括:
基于所述数据查询参数中多个查询节点之间相邻查询节点的关联关系,合并关联的查询节点,并更新DAG;
基于更新后的DAG,对所述DAG执行计划进行优化处理。
示例性的,如图3所示,以数据查询场景3为例,该数据查询场景3具有查询节点A(前置处理)、查询节点B(根据用户id查询合约号)、查询节点C(根据合约号查询合约信息)和查询节点D(后置处理)。
其中,查询节点B(根据用户id查询合约号)和查询节点C(根据合约号查询合约信息)存在递进的关联关系,可将查询节点B和查询节点C合并为查询节点O(根据用户id直接查询合约信息)。
因此,本说明书实施例中,可将基于查询节点A(前置处理)、查询节点B(根据用户id查询合约号)、查询节点C(根据合约号查询合约信息)和查询节点D(后置处理),构建的DAG进行更新,得到:基于查询节点A(前置处理)、查询节点O(根据用户id直接查询合约信息)和查询节点D(后置处理)构建新的DAG。
本说明书实施例基于数据查询参数中多个查询节点之间相邻查询节点的关联关系,合并关联的查询节点,并更新DAG;基于更新后的DAG,对DAG执行计划进行优化处理,可以简化查询节点数量,使得后续在进行数据查询时,可以加速查询进程。
这里需要补充的是,可将进行优化处理后的DAG执行计划进行缓存,以便于后续再进行数据查询时可直接从缓存中读取DAG执行计划,减少数据查询时间的消耗,提高数据查询效率。
可选的,作为一个实施例,步骤130具体可实现为:
基于所述DAG查询框架对应的DAG中查询节点的入度值,确定所述查询节点的入度值为零的查询节点为待执行查询节点;
通过串行执行或并行执行的方式,执行所述待执行查询节点,并将所述DAG中与所述待执行查询节点有向连接的其他查询节点的入度值减一。
应理解为,该执行的过程是一个循环的过程。在执行阶段时,确定DAG中各查询节点的入度值;基于DAG中各查询节点的入度值,确定查询节点的入度值为零的查询节点为待执行查询节点;进入查询节点执行阶段时,所有待执行查询节点可以通过串行执行或并行执行的方式执行。其中,待执行查询节点的执行可以通过终端设备的系统开关进行控制,也可以由终端设备指定在特定的查询场景下采用特定的执行方式,以针对不同的查询场景进行优化。将与待执行查询节点有向连接的其他查询节点的入度值减一,直至减到零,就能被DAG查询框架加载并执行,并将执行后的查询节点的状态设置为完成,直到所有节点都执行完成。
可选的,作为一个实施例,步骤130具体实现可以包括:
在所述DAG中的至少一个查询节点的至少一侧配置接口;示例性的,在DAG中的至少一个查询节点的执行前端配置前置接口,和/或,在DAG中的至少一个查询节点的执行后端配置后置接口。
步骤130具体实现可以包括:
通过Java注解方式,将当前查询节点的输出参数映射到下一查询节点的输入参数。
应理解为,将当前查询节点的输出参数进行格式化处理,以统一当前查询节点和下一查询节点的格式;再将当前查询节点的输出参数作为下一查询节点的输入参数。
本发明实施例通过将在DAG中的至少一个查询节点的至少一侧配置接口,以为查询节点执行前后预留附加步骤的执行时间,从而提高扩展性;通过将当前查询节点的输出参数映射到下一查询节点的输入参数,以支持用户自定义的各种输入参数,提高灵活性。
可选的,作为一个实施例,在执行步骤130之后,本说明书实施例提供的数据查询方法还可以包括:
将所述DAG中各查询节点的执行时间,及所述DAG中所有查询节点的总执行时间记录在日志文件中。
应理解为,在整个DAG执行计划的执行过程中,DAG查询框架会将所有查询节点的总执行时间和每个查询节点的执行时间以标准格式记录到日志文件中。
本说明书实施例通过DAG查询框架将DAG中各查询节点的执行时间,及DAG中所有查询节点的总执行时间记录在日志文件中,可以通过对日志文件进行分析和统计,即可方便的掌握整个数据查询过程及数据查询效率,可以定位查询节点,不易发生性能瓶颈等问题。
可选的,作为一个实施例,步骤130具体实现还可以包括:
确定执行所述DAG执行计划的执行条件是否满足异常条件;
若是,则终止执行所述DAG执行计划。
该执行条件可以为查询时间和/或查询状况,相应的,该异常条件可以为超时或查询出现异常。
应理解为,在开始执行DAG执行计划进入查询循环时,需要确定执行DAG执行计划的执行时间是否超时,和/或,执行DAG执行计划出现异常;若是,则终止执行DAG执行计划。
需要补充的是,在终止执行DAG执行计划后,可以反馈事故原因。
本说明书实施例通过确定执行DAG执行计划的执行条件是否满足异常条件;若是,则终止执行所述DAG执行计划,有效的保护DAG执行计划的执行,保护措施完善。
可选的,作为一个实施例,在执行步骤110之后,本说明书实施例提供的数据查询方法还可以包括:
对所述数据查询参数进行正确性和/或非空性校验。
本发明实施例通过对数据查询参数进行正确性和/或非空性校验,使得数据查询参数更准确,提高了数据查询参数的准确性、正确性和规范性。
下面将结合具体的实施例,对本发明实施例的方法做进一步的描述。
图4示出了本发明实施例提供的数据查询方法在实际应用场景下的流程图;
具体地说,如图4所示:
在400,接收数据查询请求,并响应于所述数据查询请求,获取数据查询参数。
在410,对所述数据查询参数进行正确性和/或非空性校验。
在420,构建所述数据查询参数对应的DAG执行计划。
在430,将数据查询参数转化成与DAG查询框架的输入参数格式一致的参数。
在440,以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划。
本步骤具体实现可以为:基于所述DAG查询框架对应的DAG中查询节点的入度值,确定所述查询节点的入度值为零的查询节点为待执行查询节点;通过串行执行或并行执行的方式,执行所述待执行查询节点,并将所述DAG中与待执行查询节点有向连接的其他查询节点的入度值减一。
本步骤具体实现可以包括:确定执行所述DAG执行计划的执行条件是否满足异常条件;若是,则终止执行所述DAG执行计划。
其中,该执行条件可以为查询时间和/或查询状况,相应的,该异常条件可以为超时或查询出现异常。
本步骤具体实现可以包括:在所述DAG中的至少一个查询节点的前侧配置前置接口。
本步骤具体实现可以包括:通过Java注解方式,将当前查询节点的输出参数映射到下一查询节点的输入参数。
本步骤具体实现可以包括:在所述DAG中的至少一个查询节点的后侧配置后置接口。
在450,反馈执行结果。
本说明书实施例通过构建数据查询参数对应的DAG执行计划,以数据查询参数作为DAG查询框架的输入参数,通过DAG查询框架执行查询参数对应的DAG执行计划,以通过DAG查询框架将查询逻辑节点化,使得数据查询流程可以通过查询节点串联清晰的呈现出来,查询逻辑简单化;而且,大多数查询场景中数据查询都可通过DAG查询框架统一来实现,具有规范性;DAG查询框架可以让用户自由地实现每个查询节点特有的查询逻辑,避免了解析耗时,成本较低。
以上,结合图1至图4详细说明了本说明书实施例的数据查询方法,下面,结合图5,详细说明本说明书实施例的数据查询系统。
图5示出了本说明书实施例提供的数据查询系统的结构示意图,如图5所示,该数据查询系统500可以包括:
获取模块510,用于响应于数据查询请求,获取数据查询参数;
构建模块520,用于构建所述数据查询参数对应的DAG执行计划;
执行模块530,用于以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈模块540,用于反馈执行结果。
在一实施例中,所述数据查询系统500还可以包括:
拆分模块,用于基于所述数据查询参数中多个查询节点的属性信息,将DAG拆分成多个子DAG;
第一处理模块,用于基于所述多个子DAG,对所述DAG执行计划进行优化处理。
在一实施例中,所述数据查询系统500还可以包括:
合并模块,用于基于所述数据查询参数中多个查询节点之间相邻查询节点的关联关系,合并关联的查询节点,并更新DAG;
第二处理模块,用于基于更新后的DAG,对所述DAG执行计划进行优化处理。
在一实施例中,所述执行模块530包括:
第一确定单元,用于基于所述DAG查询框架对应的DAG中查询节点的入度值,确定所述查询节点的入度值为零的查询节点为待执行查询节点;
执行单元,用于通过串行执行或并行执行的方式,执行所述待执行查询节点,并将所述DAG中与所述待执行查询节点有向连接的其他查询节点的入度值减一。
在一实施例中,所述执行模块530还可以包括:
配置单元,用于在所述DAG中的至少一个查询节点的至少一侧配置接口;
所述执行模块530可以包括:
映射单元,用于通过Java注解方式,将当前查询节点的输出参数映射到下一查询节点的输入参数。
在一实施例中,所述数据查询系统500还可以包括:
记录模块,用于将所述DAG中各查询节点的执行时间,及所述DAG中所有查询节点的总执行时间记录在日志文件中。
在一实施例中,所述执行模块530还可以包括:
第二确定单元,用于确定执行所述DAG执行计划的执行条件是否满足异常条件;
终止执行单元,用于若所述DAG执行计划的执行条件满足异常条件,则终止执行所述DAG执行计划。
在一实施例中,所述数据查询系统500还可以包括:
检验模块,用于对所述数据查询参数进行正确性和/或非空性校验。
本说明书实施例通过构建数据查询参数对应的DAG执行计划,以数据查询参数作为DAG查询框架的输入参数,通过DAG查询框架执行查询参数对应的DAG执行计划,以通过DAG查询框架将查询逻辑节点化,使得数据查询流程可以通过查询节点串联清晰的呈现出来,查询逻辑简单化;而且,大多数查询场景中数据查询都可通过DAG查询框架统一来实现,具有规范性;DAG查询框架可以让用户自由地实现每个查询节点特有的查询逻辑,避免了解析耗时,成本较低。
图6是本说明书的一个实施例提供的终端设备的结构示意图。请参考图6,在硬件层面,该终端设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该终端设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成资源增值对象与资源对象的关联装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
响应于数据查询请求,获取数据查询参数;
构建所述数据查询参数对应的DAG执行计划;
以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈执行结果。
本说明书实施例通过构建数据查询参数对应的DAG执行计划,以数据查询参数作为DAG查询框架的输入参数,通过DAG查询框架执行查询参数对应的DAG执行计划,以通过DAG查询框架将查询逻辑节点化,使得数据查询流程可以通过查询节点串联清晰的呈现出来,查询逻辑简单化;而且,大多数查询场景中数据查询都可通过DAG查询框架统一来实现,具有规范性;DAG查询框架可以让用户自由地实现每个查询节点特有的查询逻辑,避免了解析耗时,成本较低。
上述如本说明书图1所示实施例揭示的数据查询方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该终端设备还可执行图5的数据查询系统所执行图1的数据查询方法,本说明书在此不再赘述。
当然,除了软件实现方式之外,本说明书的终端设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于多个逻辑单元,也可以是硬件或逻辑器件。
本说明书实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述多个方法实施例的多个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品,该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
上述对说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (11)

1.一种数据查询方法,包括:
响应于数据查询请求,获取数据查询参数;
构建所述数据查询参数对应的有向无环图DAG执行计划;
以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈执行结果。
2.如权利要求1所述的方法,在构建所述数据查询参数对应的DAG执行计划之后,还包括:
基于所述数据查询参数中多个查询节点的属性信息,将DAG拆分成多个子DAG;
基于所述多个子DAG,对所述DAG执行计划进行优化处理。
3.如权利要求1所述的方法,在构建所述数据查询参数对应的DAG执行计划之后,还包括:
基于所述数据查询参数中多个查询节点之间相邻查询节点的关联关系,合并关联的查询节点,并更新DAG;
基于更新后的DAG,对所述DAG执行计划进行优化处理。
4.如权利要求1所述的方法,所述通过所述DAG查询框架执行所述查询参数对应的DAG执行计划,包括:
基于所述DAG查询框架对应的DAG中查询节点的入度值,确定所述查询节点的入度值为零的查询节点为待执行查询节点;
通过串行执行或并行执行的方式,执行所述待执行查询节点,并将所述DAG中与所述待执行查询节点有向连接的其他查询节点的入度值减一。
5.如权利要求1所述的方法,所述通过所述DAG查询框架执行所述查询参数对应的DAG执行计划,包括:
在所述DAG中的至少一个查询节点的至少一侧配置接口;
以所述数据查询参数作为DAG查询框架的输入参数,包括:
通过Java注解方式,将当前查询节点的输出参数映射到下一查询节点的输入参数。
6.如权利要求1所述的方法,在通过所述DAG查询框架执行所述查询参数对应的DAG执行计划之后,还包括:
将所述DAG中各查询节点的执行时间,及所述DAG中所有查询节点的总执行时间记录在日志文件中。
7.如权利要求1所述的方法,所述通过所述DAG查询框架执行所述查询参数对应的DAG执行计划,包括:
确定执行所述DAG执行计划的执行条件是否满足异常条件;
若是,则终止执行所述DAG执行计划。
8.如权利要求1所述的方法,在获取数据查询参数之后,还包括:
对所述数据查询参数进行正确性和/或非空性校验。
9.一种数据查询系统,包括:
获取模块,用于响应于数据查询请求,获取数据查询参数;
构建模块,用于构建所述数据查询参数对应的有向无环图DAG执行计划;
执行模块,用于以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈模块,用于反馈执行结果。
10.一种终端设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如下步骤:
响应于数据查询请求,获取数据查询参数;
构建所述数据查询参数对应的有向无环图DAG执行计划;
以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划,其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈执行结果。
11.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
响应于数据查询请求,获取数据查询参数;
构建所述数据查询参数对应的有向无环图DAG执行计划;
以所述数据查询参数作为DAG查询框架的输入参数,通过所述DAG查询框架执行所述查询参数对应的DAG执行计划;其中,所述DAG查询框架用于表征数据查询参数中查询节点的查询逻辑;
反馈执行结果。
CN201810800997.7A 2018-07-20 2018-07-20 一种数据查询方法、系统及终端设备 Pending CN109063056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810800997.7A CN109063056A (zh) 2018-07-20 2018-07-20 一种数据查询方法、系统及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810800997.7A CN109063056A (zh) 2018-07-20 2018-07-20 一种数据查询方法、系统及终端设备

Publications (1)

Publication Number Publication Date
CN109063056A true CN109063056A (zh) 2018-12-21

Family

ID=64817571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810800997.7A Pending CN109063056A (zh) 2018-07-20 2018-07-20 一种数据查询方法、系统及终端设备

Country Status (1)

Country Link
CN (1) CN109063056A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740916A (zh) * 2018-12-28 2019-05-10 中科驭数(北京)科技有限公司 基于计算流图的时间序列处理方法、装置和存储介质
CN110020004A (zh) * 2019-02-19 2019-07-16 阿里巴巴集团控股有限公司 一种数据计算方法及引擎
CN110674200A (zh) * 2019-09-17 2020-01-10 南京紫津融畅信息科技服务有限公司 一种基于注解的数据查询方法、数据查询设备及存储介质
CN111538854A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 搜索方法及装置
CN112328624A (zh) * 2020-11-06 2021-02-05 瀚高基础软件股份有限公司 一种sql转发方法、装置及可读存储介质
CN113190215A (zh) * 2021-05-24 2021-07-30 上海万物新生环保科技集团有限公司 一种基于搜索组件的查询方法及设备
CN116383471A (zh) * 2023-06-02 2023-07-04 江苏博云科技股份有限公司 资管行业大数据场景下数据浏览器提取数据的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267452A (zh) * 2008-02-27 2008-09-17 华为技术有限公司 一种web服务合成方案转换方法及应用服务器
CN105404690A (zh) * 2015-12-16 2016-03-16 华为技术服务有限公司 查询数据库的方法和装置
CN105765609A (zh) * 2013-11-13 2016-07-13 微软技术许可有限责任公司 使用有向无环图的存储器促进
CN106293892A (zh) * 2015-06-26 2017-01-04 阿里巴巴集团控股有限公司 分布式流计算系统、方法和装置
CN107463595A (zh) * 2017-05-12 2017-12-12 中国科学院信息工程研究所 一种基于Spark的数据处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267452A (zh) * 2008-02-27 2008-09-17 华为技术有限公司 一种web服务合成方案转换方法及应用服务器
CN105765609A (zh) * 2013-11-13 2016-07-13 微软技术许可有限责任公司 使用有向无环图的存储器促进
CN106293892A (zh) * 2015-06-26 2017-01-04 阿里巴巴集团控股有限公司 分布式流计算系统、方法和装置
CN105404690A (zh) * 2015-12-16 2016-03-16 华为技术服务有限公司 查询数据库的方法和装置
CN107463595A (zh) * 2017-05-12 2017-12-12 中国科学院信息工程研究所 一种基于Spark的数据处理方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740916A (zh) * 2018-12-28 2019-05-10 中科驭数(北京)科技有限公司 基于计算流图的时间序列处理方法、装置和存储介质
CN110020004A (zh) * 2019-02-19 2019-07-16 阿里巴巴集团控股有限公司 一种数据计算方法及引擎
WO2020168901A1 (zh) * 2019-02-19 2020-08-27 阿里巴巴集团控股有限公司 一种数据计算方法及引擎
TWI723535B (zh) * 2019-02-19 2021-04-01 開曼群島商創新先進技術有限公司 資料計算方法及引擎
CN110674200A (zh) * 2019-09-17 2020-01-10 南京紫津融畅信息科技服务有限公司 一种基于注解的数据查询方法、数据查询设备及存储介质
CN111538854A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 搜索方法及装置
CN111538854B (zh) * 2020-04-27 2023-08-08 北京百度网讯科技有限公司 搜索方法及装置
CN112328624A (zh) * 2020-11-06 2021-02-05 瀚高基础软件股份有限公司 一种sql转发方法、装置及可读存储介质
CN113190215A (zh) * 2021-05-24 2021-07-30 上海万物新生环保科技集团有限公司 一种基于搜索组件的查询方法及设备
CN116383471A (zh) * 2023-06-02 2023-07-04 江苏博云科技股份有限公司 资管行业大数据场景下数据浏览器提取数据的方法及系统
CN116383471B (zh) * 2023-06-02 2023-08-25 江苏博云科技股份有限公司 资管行业大数据场景下数据浏览器提取数据的方法及系统

Similar Documents

Publication Publication Date Title
CN109063056A (zh) 一种数据查询方法、系统及终端设备
US11243964B2 (en) Query decomposition for scalability of continuous query processing
KR102158435B1 (ko) 단말기 룰 엔진 디바이스 및 단말기 룰 연산 방법
TWI686708B (zh) 資料庫查詢最佳化方法、裝置、及電腦設備
CN108696381B (zh) 一种协议配置方法及装置
Bockermann et al. The streams framework
US20080154818A1 (en) Hybrid evaluation of expressions in DBMS
US20230040635A1 (en) Graph-based impact analysis of misconfigured or compromised cloud resources
CN104699718A (zh) 用于快速引入业务数据的方法和装置
Ortiz et al. Changing the Face of Database Cloud Services with Personalized Service Level Agreements.
CN109344208A (zh) 路径查询方法、装置及电子设备
WO2024221909A1 (zh) 数据查询方法及装置
CN113495797B (zh) 一种消息队列及消费者动态创建方法及系统
US20130159347A1 (en) Automatic and dynamic design of cache groups
CN110442602A (zh) 数据查询方法、装置、服务器及存储介质
CN110851513A (zh) 基于Spark计算引擎的多源异构数据读取方法及装置
Bliem et al. D-FLAT: Declarative problem solving using tree decompositions and answer-set programming
CN103678591A (zh) 自动执行多业务单据统计处理的装置和方法
US11262986B2 (en) Automatic software generation for computer systems
CN110019207B (zh) 数据处理方法和装置以及脚本显示方法和装置
CN109901991A (zh) 一种分析异常调用的方法、装置和电子设备
CN113791766A (zh) 组合数据接口的方法、电子设备和可读存储介质
CN112116468B (zh) 一种基于流式计算引擎的结构化风控实现方法和系统
CN112541001A (zh) 数据查询方法、装置、存储介质及设备
CN108228604B (zh) 基于内存对象的模型构建方法、信息查询方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.