CN117407414A - 结构化查询语句的处理方法、装置、设备、介质 - Google Patents

Abstract

本公开提供了一种结构化查询语句的处理方法，可以应用于大数据加工技术领域。该结构化查询语句的处理方法包括：根据编写需求信息，编写结构化查询代码，得到结构化查询语句；对结构化查询语句进行语法分析，得到语法分析结果；对结构化查询语句进行性能分析，得到性能分析结果；在基于语法分析结果和性能分析结果，确定结构化查询语句满足生成条件的情况下，从元数据库中确定结构化查询语句的语句存储信息；调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。本公开还提供了一种结构化查询语句的处理装置、设备、存储介质和程序产品。

Description

结构化查询语句的处理方法、装置、设备、介质

技术领域

本公开涉及大数据加工技术领域，具体地涉及一种结构化查询语句的处理方法、装置、设备、介质和程序产品。

背景技术

随着大数据的快速发展，对于数据信息的存储已不仅限于单一的单机关系型数据库，越来越多的企业开始使用分布式数据库以及大数据技术来处理海量数据场景。通过编写结构化查询语言，生成结构化查询语句，通过运行结构化查询语句对数据库中的数据进行操作。

基于分布式数据库搭建的数据湖及数据仓库可提供业务数据加工服务。业务人员、数据分析师等工作人员在使用业务数据的加工服务时，面对不同类型的分布式数据库，需要频换切换开发工具，通过不同的方式提交语句对结构化查询语句进行提交(例如Hadoop通过beeline或者hue提交满足Hive语法的SQL语句(简称HQL语句)；Mpp通过gsql或者数据仓储服务(DataStudio)提交满足华为高斯数据库Mpp语法的SQL语句(简称GSQL语句))。面对相同类型不同业务的分布式数据库，需要频繁切换IP及用户，开发流程复杂，开发效率低，同时如果工作人员不熟悉每种分布式数据库的特性，写出的结构化查询语句脚本的执行效率低，并且占用设备资源，影响业务正常开展。

发明内容

鉴于上述问题，本公开提供了结构化查询语句的处理方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，一种结构化查询语句的处理方法，包括：

根据编写需求信息，编写结构化查询代码，得到结构化查询语句；

对结构化查询语句进行语法分析，得到语法分析结果；

对结构化查询语句进行性能分析，得到性能分析结果；

在基于语法分析结果和性能分析结果，确定结构化查询语句满足生成条件的情况下，从元数据库中确定结构化查询语句的语句存储信息；

调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

根据本公开的实施例，其中，对结构化查询语句进行语法分析，得到语法分析结果，包括：

基于结构化查询语句的语句类型信息，确定结构化查询语句的语法解析器；

利用语法解析器，对结构化查询语句进行解析，得到抽象语法树；

基于语句类型信息，从哈希表中确定目标存储节点；

从目标存储节点中确定语法分析规则链表；

基于语法分析规则链表，对抽象语法树进行语法分析，得到第一语法分析结果，并将第一语法分析结果作为语法分析结果。

根据本公开的实施例，其中，对结构化查询语句进行语法分析，得到语法分析结果，包括：从结构化查询语句中提取目标元数据字段，其中，目标元数据字段表征结构化查询语句中与数据集合相关的标识信息；

对目标元数据字段与数据集合的元数据进行比对，得到第二语法分析结果；

基于第一语法分析结果和第二语法分析结果，得到语法分析结果。

根据本公开的实施例，其中，对结构化查询语句进行性能分析，得到性能分析结果，包括：运行结构化查询语句，得到第一性能分析结果；

从结构化查询语句中匹配目标字段，得到第二性能分析结果；

基于第一性能分析结果和第二性能分析结果，得到性能分析结果。

根据本公开的实施例，结构化查询语句的处理方法还包括：在确定语法分析结果表征结构化查询语句满足语法规则，且性能分析结果表征结构化查询语句满足性能规则的情况下，确定结构化查询语句满足生成条件。

根据本公开的实施例，其中，调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库，包括：基于结构化查询语句的语句类型，确定用于存储语句存储信息的存储方法；

将存储方法进行封装，得到存储工具包；

基于语句类型，从多个数据库中确定目标数据库；

调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

根据本公开的实施例，结构化查询语句的处理方法还包括：

从元数据库中确定编写需求信息；

其中，编写需求信息包括以下至少一项：

注释规则信息、名称命名规则信息、语句类型信息、语句存储信息。

本公开的第二方面提供了一种结构化查询语句的处理装置，包括：

得到结构化查询语句模块，用于根据编写需求信息，编写结构化查询代码，得到结构化查询语句；

语法分析模块，用于对结构化查询语句进行语法分析，得到语法分析结果；

性能分析模块，用于对结构化查询语句进行性能分析，得到性能分析结果；

确定语句存储信息模块，用于在基于语法分析结果和性能分析结果，确定结构化查询语句满足生成条件的情况下，从元数据库中确定结构化查询语句的语句存储信息；

存储模块，用于调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述结构化查询语句的处理方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述结构化查询语句的处理方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述结构化查询语句的处理方法。

根据本公开的实施例，通过对结构化查询语句进行语法分析，得到语法分析结果；对结构化查询语句进行性能分析，得到性能分析结果；根据语法分析结果和性能分析结果对结构化查询语句进行存储，在提升存储效率的同时，提高结构化查询语句准确性，减少运行效率低的结构化查询语句的出现。基于语句存储信息对应的存储工具包对结构化查询语句进行存储，使得结构化查询语句能自动存储至对应类型的分布式数据库。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的结构化查询语句的处理方法、装置、设备、介质和程序产品的应用场景图；

图2示意性示出了根据本公开实施例的结构化查询语句的处理方法的流程图；

图3示意性示出了根据本公开实施例的结构化查询语句的语法分析的流程图；

图4示意性示出了根据本公开实施例的结构化查询语句的性能分析的流程图；

图5示意性示出了根据本公开实施例的结构化查询语句存储的流程图；

图6示意性示出了根据本公开实施例的结构化查询语句的处理方法的示例示意图；

图7示意性示出了根据本公开实施例的结构化查询语句的处理方法的又一示例示意图；

图8示意性示出了根据本公开实施例的结构化查询语句的处理装置的结构框图；以及

图9示意性示出了根据本公开实施例的适于实现结构化查询语句的处理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在本发明的技术方案中，所涉及的用户信息(包括但不限于用户个人信息、用户图像信息、用户设备信息，例如位置信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均遵守相关国家和地区的相关法律法规和标准，采取了必要保密措施，不违背公序良俗，并提供有相应的操作入口，供用户选择授权或者拒绝。

本公开的实施例提供了一种结构化查询语句的处理方法，根据编写需求信息，编写结构化查询代码，得到结构化查询语句；对结构化查询语句进行语法分析，得到语法分析结果；对结构化查询语句进行性能分析，得到性能分析结果；在基于语法分析结果和性能分析结果，确定结构化查询语句满足生成条件的情况下，从元数据库中确定结构化查询语句的语句存储信息；调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

图1示意性示出了根据本公开实施例的结构化查询语句的处理的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101和102进行结构化查询代码的编写，得到结构化查询语句，并通过网络103与服务器104交互，以接收或发送消息等。终端设备101和102上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101和102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器104可以是提供各种服务的服务器，例如对用户利用终端设备101和102所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的结构化查询语句的处理方法一般可以由服务器104执行。相应地，本公开实施例所提供的结构化查询语句的处理装置一般可以设置于服务器104中。本公开实施例所提供的结构化查询语句的处理方法也可以由不同于服务器104且能够与终端设备101、102和/或服务器104通信的服务器或服务器集群执行。相应地，本公开实施例所提供的结构化查询语句的处理装置也可以设置于不同于服务器104且能够与终端设备101、102和/或服务器104通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图7对公开实施例的结构化查询语句的处理方法进行详细描述。

图2示意性示出了根据本公开实施例的结构化查询语句的处理方法的流程图。

如图2所示，该实施例的结构化查询语句的处理包括操作S210～操作S250。

在操作S210，根据编写需求信息，编写结构化查询代码，得到结构化查询语句。

在操作S220，对结构化查询语句进行语法分析，得到语法分析结果。

在操作S230，对结构化查询语句进行性能分析，得到性能分析结果。

在操作S240，在基于语法分析结果和性能分析结果，确定结构化查询语句满足生成条件的情况下，从元数据库中确定结构化查询语句的语句存储信息。

在操作S250，调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

根据本公开的实施例，编写需求信息是根据需求设计的编写信息，包括但不限于结构化查询语句(Structured Query Language，SQL)的编写规范信息、结构化查询语句的类型。

根据本公开的实施例，结构化查询代码是使用结构化查询语言编写的代码。在使用SQL编写结构化查询代码的时候，可以使用SQL编辑器如数据库编辑器(SQL ServerManagement Studio，SSMS)进行编写，也可以使用文本编辑器进行编写。

根据本公开的实施例，对编写需求信息进行分析，得到分析结果，可以根据分析结果使用SQL编辑器编写结构化查询代码，得到结构化查询语句。例如，编写需求信息为对数据表B中的所有数据进行查询，通过分析得知需要使用查询语句select，使用SSMS编写结构化查询代码，得到结构查询语句为select*from B。

根据本公开的实施例，语法分析是对结构化查询语句是否符合结构化查询语句的语法规则的分析，语法规则可以是基础语法规则，也可以是根据需求在基本标准的基础上设计的自定义语法规则。

根据本公开的实施例，包括但不限于先通过人工对结构化查询语句的语法进行初步的分析，然后使用自动化语法分析工具对结构化查询语句进行遍历以对结构化查询语句的语法进行分析，得到语法分析结果。

根据本公开的实施例，性能分析是对结构化查询语句是否符合结构化查询语句的性能检测规则的分析，性能检测规则可以是业界性能检测规则，也可以是自归纳性能检测规则。其中，业界性能检测规则包括但不限于Hive规则、Mpp规则、Hbase规则。自归纳性能检测规则是在执行SQL语句时，对性能较差的SQL语句进行记录并分析，得到解决办法，通过将解决办法归纳成性能检测规则，得到自归纳性能检测规则，并将自归纳性能检测规则存储于哈希表中。例如，业界性能检测规则可以为针对比普通数据表宽的大宽表，禁止使用select*，自归纳性能检测规则可以为当结构化查询语句中未设置队列，则提示风险。

根据本公开的实施例，性能分析方式包括但不限于使用性能分析工具先使用业界性能检测规则对SQL语句进行初步分析，然后使用自归纳性能检测规则对SQL语句进一步分析，得到性能分析结果。

根据本公开的实施例，元数据库是按照预定的数据结构来组织、存储和管理数据的数据仓库。元数据库主要维护不同类型的多套集群信息并关联用户提交的SQL语句的各项信息，集群信息包括集群类型、集群标识、集群用户等，SQL语句的各项信息包括SQL提交时间、SQL提交人员、SQL内容等信息。

根据本公开的实施例，语句存储信息包括SQL语句的语句类型、SQL语句提交的集群、提交SQL语句所使用的用户等信息。

根据本公开的实施例，当语法分析结果中结构化查询语句均满足语法规则，并且性能分析结果中结构化查询语句均满足性能规则，则确定结构化查询语句满足生成条件。

根据本公开的实施例，当语法分析结果中结构化查询语句存在不满足语法规则的情况，或者性能分析结果中结构化查询语句存在不满足性能规则的情况，结构化查询语句不满足生成条件。

根据本公开的实施例，在结构化查询语句满足生成条件的情况下，从元数据库中按照结构化查询语句的执行顺序确定与结构化查询语句相关的语句存储信息如集群信息。

根据本公开的实施例，存储工具包是指执行不同类型SQL的逻辑语句封装成不同的Java归档文件(Java Archive File)，也称为jar包。

根据本公开的实施例，目标数据库可以是分布式数据库，分布式数据库是共享数据的、逻辑关联的数据库集合，其物理分布跨越多个由网络连接的服务器，并且网络连接的数据库为两个以上不同位置逻辑相关的数据库，例如：Hadoop、Mpp、Hbase等。

根据本公开的实施例，可以通过结构化查询语句的类型，调用与结构化查询语句的类型相匹配的存储工具包，根据存储工具包的执行结果，将结构化查询语句存储至目标数据库。

根据本公开的实施例，通过对结构化查询语句进行语法分析，得到语法分析结果；对结构化查询语句进行性能分析，得到性能分析结果；根据语法分析结果和性能分析结果对结构化查询语句进行存储，在提升存储效率的同时，提高结构化查询语句准确性，减少运行效率低的结构化查询语句的出现。基于语句存储信息对应的存储工具包对结构化查询语句进行存储，使得结构化查询语句能自动存储至对应类型的分布式数据库。

图3示意性示出了根据本公开实施例的结构化查询语句的语法分析的流程图。

如图3所示，该实施例的结构化查询语句的语法分析包括操作S310～操作S350。

在操作S310，基于结构化查询语句的语句类型信息，确定结构化查询语句的语法解析器。

在操作S320，利用语法解析器，对结构化查询语句进行解析，得到抽象语法树。

在操作S330，基于语句类型信息，从哈希表中确定目标存储节点。

在操作S340，从目标存储节点中确定语法分析规则链表。

在操作S350，基于语法分析规则链表，对抽象语法树进行语法分析，得到第一语法分析结果，并将第一语法分析结果作为语法分析结果。

根据本公开的实施例，语句类型信息可以包括SQL的类型，如用于定义数据库对象的数据定义语言(Data Definition Language，DDL)、用于定义数据库记录的数据操作语言(Data Manipulation Language，DML)；用于定义数据库访问权限和数据库安全级别的数据控制语言(Data Control Language，DCL)以及用于查询数据库记录的数据查询语言(DataQuery Language，DQL)。

根据本公开的实施例，抽象语法树是用于表示SQL语句结构的树状数据结构。

根据本公开的实施例，语法解析器是指将SQL语句转换为可执行的指令的组件。语法解析器通过对SQL语句进行词法分析和语法分析后生成一棵抽象语法树，并将该抽象语法树转化为可执行的指令。

根据本公开的实施例，利用与SQL语句对应的语法解析器，对SQL语句的词法和语法进行分析，在词法和语法均满足预设规则的条件下，得到抽象语法树。如：数据库处理框架(Apache Calcite)内置的语法解析器，通过扩展语法定义文件(Parser.jj)中的语法规则，可增加特定数据源的特定语法支持。

根据本公开的实施例，哈希表用于维护预设规则库，将同一种SQL类型的规则保存在哈希表的同一个节点的链表中。

根据本公开的实施例，规则链表是指将多个相同SQL类型的语法规则和性能检测规则按照链式存储结构生成的链表。

根据本公开的实施例，基于语句类型信息中的语法类型，通过哈希表的存储规则，在哈希表中查询与语句类型信息对应的节点，得到目标存储节点。通过顺序遍历目标存储节点的存储信息，得到语法分析规则链表。

根据本公开的实施例，从抽象语法树的一个未访问的顶点开始，沿着该顶点对应的路径进行遍历，在遍历完该路径中的所有节点，沿这条路径的最后一个节点退回到与该节点对应的上一个节点，然后根据上一个节点对应的路径进行遍历，不断递归重复上述过程，直到抽象语法树中的所有节点都遍历完成。

根据本公开的实施例，在遍历每个节点时，根据该节点的SQL类型，在哈希表中确定对应的规则链表，将该节点与规则链表中的基础语法规则进行规则匹配，得到匹配结果，并将匹配结果按遍历顺序组成第一语法分析结果，并将第一语法分析结果作为语法分析结果。

根据本公开的实施例，其中，对结构化查询语句进行语法分析，得到语法分析结果，包括：

从结构化查询语句中提取目标元数据字段，其中，目标元数据字段表征结构化查询语句中与数据集合相关的标识信息；

对目标元数据字段与数据集合的元数据进行比对，得到第二语法分析结果；

基于第一语法分析结果和第二语法分析结果，得到语法分析结果。

根据本公开的实施例，元数据是用于描述数据的特征和内容的结构化数据，元数据字段是用于描述元数据的预定字段，例如，用于存储数据的数据库的库名、数据表的表名、数据库对象的集合名(schema)。

根据本公开的实施例，数据集合是多个元数据组成的集合，组成方式包括但不限于具有相同数据特征的元数据进行组合的方式。数据集合可以存储于数据库集群中。

根据本公开的实施例，通过自动化语句分析工具自动提取SQL语句中的数据库的库名、数据表的表名、数据库对象的集合(schema)名等，得到目标元数据字段。

根据本公开的实施例，通过登录集群获取元数据以对目标元数据字段进行检验，具体可以通过顺序遍历目标元数据字段并与获取得到的元数据进行匹配，确定与目标元数据字段对应的元数据是否存在，得到匹配结果，通过将匹配结果按照顺序遍历的方式组成第二语法分析结果，得到第二语法分析结果。

根据本公开的实施例，在第一语法分析结果得到SQL语句符合基础语法规则的情况下，并且第二语法分析结果得到SQL语句符合自定义语法规则的情况下，语法分析结果为SQL语句符合语法规则。

根据本公开的实施例，在第一语法分析结果得到SQL语句不符合基础语法规则的情况下，或者第二语法分析结果得到SQL语句不符合自定义语法规则的情况下，语法分析结果为SQL语句不符合语法规则。

根据本公开的实施例，通过第一语法分析结果和第二语法分析结果，得到最终语法分析结果，提高语法分析的精度和全面性，保证后续的存储流程顺利进行。

图4示意性示出了根据本公开实施例的结构化查询语句的性能分析的流程图。

如图4所示，该实施例的结构化查询语句的性能分析包括操作S410～操作S430。

在操作S410，运行结构化查询语句，得到第一性能分析结果；

在操作S420，从结构化查询语句中匹配目标字段，得到第二性能分析结果。

在操作S430，基于第一性能分析结果和第二性能分析结果，得到性能分析结果。

根据本公开的实施例，通过将SQL语句提交至SQL客户端，如MySQL客户端、Hive客户端、HBase客户端或GBase Data Studio客户端，SQL客户端运行SQL语句，并选择与SQL语句对应的结构化查询语句类型匹配的性能解析器，利用性能解析器对SQL语句的运行效率进行分析，得到第一性能分析结果。

例如，通过MySQL客户端中的profile工具分析SQL语句的运行效率，包括运行SQL语句所需的时间、运行SQL语句时所使用的资源，如CPU使用时间、磁盘占用比例以及内存占用比例。

根据本公开的实施例，目标字段为性能规则中的字段信息，可以是业界性能检测规则中的字段信息，也可以是自归纳性能检测规则中的字段信息。

根据本公开的实施例，根据结构化查询语句的类型，得到基于哈希表的存储规则遍历哈希表，得到对应的性能规则链表，对规则链表中的每个节点信息进行遍历，得到对应的多个性能规则，将每个性能规则中属于SQL语句的字段信息进行提取，得到目标字段。

根据本公开的实施例，可以通过语法解析器对SQL语句进行分析，得到抽象语法树，通过对抽象解法树中的每个节点进行深度优先遍历，并将遍历结果与目标字段进行匹配，得到第二性能分析结果。

根据本公开的实施例，在第一性能分析结果满足第一预设性能规则，并且第二性能分析结果满足第二预设性能规则的情况下，性能分析结果表征SQL语句满足性能规则。

根据本公开的实施例，在第一性能分析结果不满足第一预设性能规则，或者第二性能分析结果不满足第二预设性能规则的情况下，性能分析结果表征SQL语句不满足性能规则。

根据本公开的实施例，还包括：

在确定语法分析结果表征结构化查询语句满足语法规则，且性能分析结果表征结构化查询语句满足性能规则的情况下，确定结构化查询语句满足生成条件。

根据本公开的实施例，当语法分析结果表征结构化查询语句不满足语法规则，或者性能分析结果表征结构化查询语句不满足性能规则的情况下，则结构化查询语句不满足生成条件。

图5示意性示出了根据本公开实施例的结构化查询语句存储的流程图。

如图5所示，该实施例的结构化查询语句存储包括操作S510～操作S540。

在操作S510，基于结构化查询语句的语句类型，确定用于存储语句存储信息的存储方法。

在操作S520，将存储方法进行封装，得到存储工具包。

在操作S530，基于语句类型，从多个数据库中确定目标数据库。

在操作S540，调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

根据本公开的实施例，根据不同的结构化查询语句的语句类型，在元数据库查询得到对应的存储语句存储信息的存储方法。

根据本公开的实施例，将不同的结构化查询语句的语句类型的存储方法进行封装，得到存储工具包。其中结构化查询语句的语句类型与存储工具包的对应关系维护在元数据库中，存储工具包中可以包括调用主类，支持可拓展。

根据本公开的实施例，根据不同语句类型对应不同的数据库，通过读取元数据库中语句类型与对应的数据库的关系，根据对应关系，从多个数据库中查找对应的数据库，得到目标数据库。

根据本公开的实施例，可以通过SQL客户端读取元数据库中结构化查询语句的语句类型与存储工具包的对应关系，并调用与语句存储信息中结构化查询语句的语句类型相匹配的存储工具包，将结构化查询语句存储至目标数据库。

例如，使用Hive客户端存储结构化查询语句时，使用Hive Java连接数据库(JavaDataBase Connectivity，JDBC)接口提交结构化查询语句的数据分析任务：通过读取Hive客户端中资源(resources)目录下HiveServer的属性(property)文件hiveclient.properties，得到分布式协调服务(ZooKeeper)的IP列表和端口、集群的认证安全模式、HiveServer的简单认证安全(simple authentication security layer,sasl)配置、HiveServer在ZooKeeper中的节点名称、Hive客户端对Hive服务端的发现模式以及Hive服务端进程的身份(principal)认证。

在安全模式下，根据读取得到的信息，Hive客户端连接Hive服务端，Hive服务端通过keytab文件中的路径等信息对Hive客户端进行kerberos用户认证，认证成功之后，在Hive客户端的控制台定义HQL，HQL必须为单条结构化查询语句并且HQL中不能包含“；”。通过拼接JDBC统一资源定位器(Uniform Resource Locator,URL)，加载Hive JDBC驱动后连接到URL对应的数据库，根据JDBC连接得到HQL的类型如DDL或DML，并调用与HQL类型对应的接口在数据库中执行HQL，得到运行HQL的列名和运行结果并显示于控制台，关闭JDBC与数据库的连接。

例如，Mpp JDBC接口提交数据分析任务与Hive JDBC类似，具体流程包括加载驱动、连接数据库、执行SQL语句、处理结果集以及关闭数据库连接。

根据本公开的实施例，通过结构化查询语句的不同类型封装不同的存储工具包，在将结构化查询语句储存至目标数据库的过程中，通过调用对应的存储工具包存储至对应的分布式数据库，根据分布式数据库的库名关联处对应的用户，实现自动化存储并提高存储的应用范围。

根据本公开的实施例，还包括：

从元数据库中确定编写需求信息；

其中，编写需求信息包括以下至少一项：

注释规则信息、名称命名规则信息、语句类型信息、语句存储信息。

根据本公开的实施例，SQL客户端根据编写需求信息的名称限定以及编写需求信息的存储位置，读取元数据库中的编写需求信息，得到包括注释规则信息、名称命名规则信息、语句类型信息和语句存储信息的编写需求信息。

图6示意性示出了根据本公开实施例的结构化查询语句的处理方法的示例示意图。

如图6所示，结构化查询语句的处理方法的示例示意图包括S601-S605。

在操作S601，根据编写需求信息，编写结构化查询代码，得到结构化查询语句。

在操作S602，对结构化查询语句进行语法分析，得到语法分析结果。

在操作S603，对结构化查询语句进行性能分析，得到性能分析结果。

在操作S604，基于语法分析结果和性能分析结果，判断结构化查询语句是否满足生成条件？在语法分析结果表征结构化查询语句满足生成条件中的语法规则，并且性能分析结果表征结构化查询语句满足生成条件中的性能规则的情况下，进入操作S605；在语法分析结果表征结构化查询语句不满足生成条件中的语法规则，或性能分析结果表征结构化查询语句不满足生成条件中的性能规则的情况下，进入操作S601。

在操作S605，调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

图7示意性示出了根据本公开实施例的结构化查询语句的处理方法的又一示例示意图。

如图7所示，结构化查询语句的处理方法的又一示例示意包括S701-S705。

在操作S701，根据编写需求信息，编写结构化查询代码，得到结构化查询语句。其中，在编写结构化查询代码之前，可以从元数据库701中获取存储结构化查询语句的集群、存储结构化查询语句的用户、等信息，也可以将结构化查询语句的相关信息存储至元数据库701。可以从规则库708中获取结构化查询语句的语法规则、结构化查询语句的性能规则等。

在操作S702，对结构化查询语句进行语法分析，得到语法分析结果。其中，在进行语法分析时，可以从元数据库701获取存储结构化查询语句的集群等信息，从规则库708中获取结构化查询语句的语法规则等信息。

在操作S703，对结构化查询语句进行性能分析，得到性能分析结果。其中，在进行语法分析时，可以从元数据库701获取存储结构化查询语句的集群等信息，从规则库708中获取结构化查询语句的性能规则等信息。如根据Hadoop集群702的相关信息得到的Hive规则705，根据Mpp集群703的相关信息得到的Mpp规则706，根据Hbase集群704的相关信息得到的Hbase规则707，Hive规则705、Mpp规则706以及Hbase规则707可以存储至规则库708。

在操作S704，基于语法分析结果和性能分析结果，确定结构化查询语句是否满足生成条件？在语法分析结果表征结构化查询语句满足生成条件中的语法规则，并且性能分析结果表征结构化查询语句满足生成条件中的性能规则的情况下，进入操作S705；在语法分析结果表征结构化查询语句不满足生成条件中的语法规则，或性能分析结果表征结构化查询语句不满足生成条件中的性能规则的情况下，进入操作S701。

在操作S705，调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。目标数据库可以为Hadoop集群702、Mpp集群703以及Hbase集群704等。

基于上述结构化查询语句的处理方法，本公开还提供了一种结构化查询语句的处理装置。以下将结合图8对该装置进行详细描述。

图8示意性示出了根据本公开实施例的结构化查询语句的处理装置的结构框图。

如图8所示，该实施例的结构化查询语句的处理装置800包括得到结构化查询语句模块810、语法分析模块820和性能分析模块830、确定语句存储信息模块840和存储模块850。

结构化查询语句模块810用于根据编写需求信息，编写结构化查询代码，得到结构化查询语句。

语法分析模块820用于对结构化查询语句进行语法分析，得到语法分析结果。

性能分析模块830用于对结构化查询语句进行性能分析，得到性能分析结果。

确定语句存储信息模块840用于在基于语法分析结果和性能分析结果，确定结构化查询语句满足生成条件的情况下，从元数据库中确定结构化查询语句的语句存储信息。

存储模块850用于调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

根据本公开的实施例，语法分析模块820包括：确定语法解析器单元、得到抽象语法树单元、确定目标存储节点单元、确定语法分析规则链表单元和得到语法分析结果单元。

确定语法解析器单元用于基于结构化查询语句的语句类型信息，确定结构化查询语句的语法解析器。

得到抽象语法树单元用于利用语法解析器，对结构化查询语句进行解析，得到抽象语法树。

确定目标存储节点单元用于基于语句类型信息，从哈希表中确定目标存储节点。

确定语法分析规则链表单元用于从目标存储节点中确定语法分析规则链表。

得到语法分析结果单元用于基于语法分析规则链表，对抽象语法树进行语法分析，得到第一语法分析结果，并将第一语法分析结果作为语法分析结果。

根据本公开的实施例，语法分析模块820还包括：提取目标元数据字段单元、比对单元和得到语法分析结果单元。

提取目标元数据字段单元用于从结构化查询语句中提取目标元数据字段，其中，目标元数据字段表征结构化查询语句中与数据集合相关的标识信息。

比对单元用于对目标元数据字段与数据集合的元数据进行比对，得到第二语法分析结果。

得到语法分析结果单元用于基于第一语法分析结果和第二语法分析结果，得到语法分析结果。

根据本公开的实施例，性能分析模块830包括：得到第一性能分析结果单元、得到第二性能分析结果单元和得到性能分析结果单元。

得到第一性能分析结果单元用于运行结构化查询语句，得到第一性能分析结果。

得到第二性能分析结果单元用于从结构化查询语句中匹配目标字段，得到第二性能分析结果。

得到性能分析结果单元用于基于第一性能分析结果和第二性能分析结果，得到性能分析结果。

根据本公开的实施例，确定语句存储信息模块840包括：

确定生成条件单元用于在确定语法分析结果表征结构化查询语句满足语法规则，且性能分析结果表征结构化查询语句满足性能规则的情况下，确定结构化查询语句满足生成条件。

根据本公开的实施例，存储模块850包括：确定存储方法单元、得到存储工具包单元、确定目标数据库单元和存储单元。

确定存储方法单元用于基于结构化查询语句的语句类型，确定用于存储语句存储信息的存储方法。

得到存储工具包单元用于将存储方法进行封装，得到存储工具包。

确定目标数据库单元用于基于语句类型，从多个数据库中确定目标数据库。

存储单元用于调用与语句存储信息相匹配的存储工具包，将结构化查询语句存储至目标数据库。

根据本公开的实施例，结构化查询语句的处理装置800还包括：

确定编写需求信息单元用于从元数据库中确定编写需求信息，其中，编写需求信息包括以下至少一项：注释规则信息、名称命名规则信息、语句类型信息、语句存储信息。

根据本公开的实施例，得到结构化查询语句模块810、语法分析模块820和性能分析模块830、确定语句存储信息模块840和存储模块850中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，得到结构化查询语句模块810、语法分析模块820和性能分析模块830、确定语句存储信息模块840和存储模块850中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，得到结构化查询语句模块810、语法分析模块820和性能分析模块830、确定语句存储信息模块840和存储模块850中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图9示意性示出了根据本公开实施例的适于实现结构化查询语句的处理方法的电子设备的方框图。

如图9所示，根据本公开实施例的电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。

在该计算机程序被处理器901执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分909被下载和安装，和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种结构化查询语句的处理方法，包括：

根据编写需求信息，编写结构化查询代码，得到结构化查询语句；

对所述结构化查询语句进行语法分析，得到语法分析结果；

对所述结构化查询语句进行性能分析，得到性能分析结果；

在基于所述语法分析结果和所述性能分析结果，确定所述结构化查询语句满足生成条件的情况下，从元数据库中确定所述结构化查询语句的语句存储信息；

调用与所述语句存储信息相匹配的存储工具包，将所述结构化查询语句存储至目标数据库。

2.根据权利要求1所述的方法，其中，所述对所述结构化查询语句进行语法分析，得到语法分析结果，包括：基于所述结构化查询语句的语句类型信息，确定所述结构化查询语句的语法解析器；

利用所述语法解析器，对所述结构化查询语句进行解析，得到抽象语法树；

基于所述语句类型信息，从哈希表中确定目标存储节点；

从所述目标存储节点中确定语法分析规则链表；

基于所述语法分析规则链表，对所述抽象语法树进行语法分析，得到第一语法分析结果，并将所述第一语法分析结果作为所述语法分析结果。

3.根据权利要求2所述的方法，其中，所述对所述结构化查询语句进行语法分析，得到语法分析结果，包括：

从所述结构化查询语句中提取目标元数据字段，其中，所述目标元数据字段表征所述结构化查询语句中与数据集合相关的标识信息；

对所述目标元数据字段与数据集合的元数据进行比对，得到第二语法分析结果；

基于所述第一语法分析结果和所述第二语法分析结果，得到所述语法分析结果。

4.根据权利要求1所述的方法，其中，所述对所述结构化查询语句进行性能分析，得到性能分析结果，包括：运行所述结构化查询语句，得到第一性能分析结果；

从所述结构化查询语句中匹配目标字段，得到第二性能分析结果；

基于所述第一性能分析结果和所述第二性能分析结果，得到所述性能分析结果。

5.根据权利要求1所述的方法，还包括：在确定所述语法分析结果表征所述结构化查询语句满足语法规则，且所述性能分析结果表征所述结构化查询语句满足性能规则的情况下，确定所述结构化查询语句满足所述生成条件。

6.根据权利要求1所述的方法，其中，所述调用与所述语句存储信息相匹配的存储工具包，将所述结构化查询语句存储至目标数据库，包括：基于所述结构化查询语句的语句类型，确定用于存储所述语句存储信息的存储方法；

将所述存储方法进行封装，得到所述存储工具包；

基于所述语句类型，从多个数据库中确定所述目标数据库；

调用与所述语句存储信息相匹配的所述存储工具包，将所述结构化查询语句存储至所述目标数据库。

7.根据权利要求1所述的方法，还包括：

从所述元数据库中确定所述编写需求信息；

其中，所述编写需求信息包括以下至少一项：

注释规则信息、名称命名规则信息、语句类型信息、语句存储信息。

8.一种结构化查询语句的处理装置，包括：

得到结构化查询语句模块，用于根据编写需求信息，编写结构化查询代码，得到结构化查询语句；

语法分析模块，用于对所述结构化查询语句进行语法分析，得到语法分析结果；

性能分析模块，用于对所述结构化查询语句进行性能分析，得到性能分析结果；

确定语句存储信息模块，用于在基于所述语法分析结果和所述性能分析结果，确定所述结构化查询语句满足生成条件的情况下，从元数据库中确定所述结构化查询语句的语句存储信息；

存储模块，用于调用与所述语句存储信息相匹配的存储工具包，将所述结构化查询语句存储至目标数据库。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。