CN111382253B

CN111382253B - 语义解析方法及语义解析器

Info

Publication number: CN111382253B
Application number: CN202010135354.2A
Authority: CN
Inventors: 俞凯; 曹瑞升
Original assignee: Sipic Technology Co Ltd
Current assignee: Sipic Technology Co Ltd
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2022-07-15
Anticipated expiration: 2040-03-02
Also published as: CN111382253A

Abstract

本发明公开一种语义解析方法及语义解析器，所述方法包括：接收待解析自然语句；确定对应于所述待解析自然语句的规范语句；将所述规范语句输入至预先训练的朴素语义解析器，以得到对应于所述规范语句的逻辑表达式。本发明实施例中在对自然语句进行解析之前将其转换成了具有相同含义的规范语句，在使用朴素语义解析器(预先由规范语句‑逻辑形式样本集训练而成)进行解析，从而将对自然语句的解析转换成了对具有相同含义的规范语句的解析，解决了直接采用朴素语义解析器对自然语句进行解析所存在的泛化性能差的问题。

Description

语义解析方法及语义解析器

技术领域

本发明涉及人工智能技术领域，尤其涉及一种语义解析方法及语义解析器。

背景技术

语义解析，指的是将自然语言问句转化为逻辑形式的任务。逻辑形式，是一种结构化的语义表达式，通常是一种可执行语句，比如Lambda表达式、SQL查询语言，能够被程序直接执行，从数据库中检索并返回答案。由于和知识库的紧耦合特性，语义解析常常应用于基于知识图谱或数据库的自动问答领域。

为了构建某一全新领域的语义解析器，研究人员需要首先获取大量的训练数据，通常从编写(规范问句，逻辑形式)元组的模板规则开始。

模板规则：研究人员手动编写的将问句直接映射成逻辑形式的语法规则。例如，问句“${#person}的毕业学校是(哪儿|哪里|哪个|什么)”，对应的逻辑形式(以SQL为例)框架为“select university from person where name＝${#person}”。问句部分可以是正则表达式，逻辑形式是一个确定的语义表示(某些语义槽待填充)。由于通过规则编写的问句形式僵硬且不够口语化，通常称之为规范语句(canonical utterance)，而用户正常的提问称之为自然语句(natural language utterance)。

一种现有技术中将所有规则编写的(规范问句，逻辑形式)元组作为训练样本，不使用任何额外的数据源或标注，直接训练一个语义解析器。

但是，由于只使用模板规则生成的语料，由于规范语句和自然语句存在数据分布上的明显差异，训练出的朴素语义解析器在真实问句(自然语言问句)上效果较差，泛化性能不好。

发明内容

本发明实施例提供一种语义解析方法及语义解析器，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种语义解析方法，包括：

接收待解析自然语句；

确定对应于待解析自然语句的规范语句；

将规范语句输入至预先训练的朴素语义解析器，以得到对应于规范语句的逻辑表达式。

在一些实施例中，确定对应于待解析自然语句的规范语句包括：将待解析自然语句输入至预先训练的语句转换模型，以得到对应于待解析自然语句的规范语句。

在一些实施例中，预先训练语句转换模型的步骤包括：基于自然语句样本集采用无监督训练方法预先训练得到语句转换模型。

在一些实施例中，基于自然语句样本集采用无监督训练方法预先训练得到语句转换模型包括：

对语句转换模型进行初始化；

对初始化之后的语句转换模型执行反向翻译任务和对偶强化学习任务以得到预先训练的语句转换模型。

在一些实施例中，语句转换模型包括共享编码器、第一解码器和第二解码器，其中，共享编码器与第一解码器构成自然语句重构模型，编码器与第二解码器构成规范语句重构模型；

对语句转换模型进行初始化包括：

以损失函数为训练目标，以加噪样本自然语句为输入训练自然语句重构模型；

以损失函数为训练目标，以加噪样本规范语句为输入训练规范语句重构模型。

在一些实施例中，对样本自然语句和样本规范语句进行加噪的步骤包括：删除样本自然语句和样本规范语句中的至少一个字，和/或

在样本自然语句和样本规范语句中插入至少一个字，和/或

变换样本自然语句和样本规范语句中的至少一个字的顺序。

在一些实施例中，训练之后的语句转换模型中的所述编码器与第二解码器用于将接收到的自然语句转换成相应的规范语句。

第二方面，本发明实施例提供一种语义解析器，包括：规范语句确定模块，用于确定对应于待解析自然语句的规范语句；朴素语义解析器，用于解析规范语句以得到相应的逻辑表达式。

在一些实施例中，规范语句确定模块包括共享编码器、第一解码器和第二解码器，其中，共享编码器与第一解码器构成自然语句重构模型，编码器与第二解码器构成规范语句重构模型。

第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项语义解析方法。

第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项语义解析方法。

第五方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项语义解析方法。

本发明实施例的有益效果在于：在对自然语句进行解析之前将其转换成了具有相同含义的规范语句，在使用朴素语义解析器(预先由规范语句-逻辑形式样本集训练而成)进行解析，从而将对自然语句的解析转换成了对具有相同含义的规范语句的解析，解决了直接采用朴素语义解析器对自然语句进行解析所存在的泛化性能差的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的语义解析方法的一实施例的流程图；

图2为本发明的语义解析系统的架构图；

图3为预训练语句转换模型的一实施例的示意图；

图4所示为本发明中对语句转换模型进行闭环学习的一实施例的示意图；

图5为本发明的实验中使用不同比例的标注数据的半监督结果；

图6为本发明的语义解析器的一实施例的原理框图；

图7为本发明的电子设备的一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如图1所示，本发明的实施例提供一种语义解析方法，包括：

S10、接收待解析自然语句；

S20、确定对应于所述待解析自然语句的规范语句。

示例性地，所述确定对应于所述待解析自然语句的规范语句包括：将所述待解析自然语句输入至预先训练的语句转换模型，以得到对应于所述待解析自然语句的规范语句。

S30、将所述规范语句输入至预先训练的朴素语义解析器，以得到对应于所述规范语句的逻辑表达式。

本发明实施例中在对自然语句进行解析之前将其转换成了具有相同含义的规范语句，在使用朴素语义解析器(预先由规范语句-逻辑形式样本集训练而成)进行解析，从而将对自然语句的解析转换成了对具有相同含义的规范语句的解析，解决了直接采用朴素语义解析器对自然语句进行解析所存在的泛化性能差的问题。

示例性地，预先训练所述语句转换模型的步骤包括：基于自然语句样本集采用无监督训练方法预先训练得到所述语句转换模型。示例性地，基于自然语句样本集采用无监督训练方法预先训练得到所述语句转换模型包括：对所述语句转换模型进行初始化；对初始化之后的语句转换模型执行反向翻译任务和对偶强化学习任务以得到所述预先训练的语句转换模型。

本发明并未直接基于(规范语句，逻辑形式)样本集来构建(自然语句，逻辑形式)训练样本进行语义解析器的训练，这是因为发明人在实现本发明的过程中发现：一是因为需要获取大量的带标注的自然语句，需要人工标注，成本极高；二是因为规范语句仅仅用来获取(自然语句，逻辑形式)的训练样本对。一旦数据集构建完成，规范语句就被丢弃，不再参与到语义解析器的构建之中，从而对规范语句中包含的先验知识利用率较低。

而采用本发明的方法预先采用无监督训练方法来训练语句转换模型，避免了对自然语句进行大量标注所带来的巨大成本开销。

如图2所示，为本发明的语义解析系统的架构图，在对自然语句进行语义解析时包括两个阶段。其中，第一阶段采用无监督改写模型将自然语句改写成具有相同含义的规范语句，例如，

自然语句为x：一共多少球员；

规范语句为z：球员的数量；

逻辑形式y：select count(player)from basketball。

第二阶段朴素神经网络语义解析器P_nsp对改写得到的规范语句

进行解析得到解析逻辑形式

其中，无监督改写模型包括编码器，解码器D_x和解码器D_z，解码器只在训练阶段有用，在使用阶段作用的是编码器和解码器D_z。

本发明的方法将传统单阶段的语义解析任务划分为两个阶段，第一个阶段实现从自然语句到规范语句的转化改写，第二个阶段利用一个朴素语义解析器将转化后的规范语句映射成目标的逻辑形式。两阶段的解析逐渐缩小输入自然语句和目标语义表示的差异，并且更加充分地利用了规则编写的规范语句。第二个阶段的朴素语义解析器直接基于规则生成的(规范语句，逻辑形式)元组进行训练；而第一个阶段改写模型通过无监督闭环学习，自主地学习自然语句到规范语句之间的转化，极大程度上减小了对标注的依赖。

第二阶段的朴素语义解析器，通过传统的监督学习基于(规范语句，逻辑形式)的训练样本在预训练阶段得到，这里不去赘述。第一阶段的改写模型包括一个共享的编码器E(用来对自然语句和规范语句进行编码)，以及两个独立的解码器D_x和解码器D_z来分别生成自然语句和规范语句。自然语句的解码器D_x只在训练阶段使用，测试评估阶段，输入一个自然语句x，先通过

生成中间产物规范语句

然后经由朴素解析器P_nsp，生成最终目标逻辑形式

算法的重点在于如何无监督训练改写模型，主要包括预训练和闭环学习两个部分。

如图3所示，为预训练语句转换模型的一实施例的示意图。通过预训练任务，即去噪自编码器(Denoising auto-encoder,DAE)来获取一个合理的初始化模型。例如，给定一个自然语句x，通过噪声信道N_x得到加噪输入

模型

尝试重构出原始输入x；同样地，模型

尝试根据加噪输入

重构原始输入z。该阶段的训练目标即为去噪自编码器任务的损失函数。此外，其他辅助模型，诸如朴素神经网络语义解析器以及用来计算奖励信号的模型也都在该阶段预训练，并固定住留待后续使用。

在一些实施例中，所述语句转换模型包括共享编码器、第一解码器和第二解码器，其中，所述共享编码器与所述第一解码器构成自然语句重构模型，所述编码器与所述第二解码器构成规范语句重构模型；

对所述语句转换模型进行初始化包括：

以损失函数为训练目标，以加噪样本自然语句为输入训练所述自然语句重构模型；

以损失函数为训练目标，以加噪样本规范语句为输入训练所述规范语句重构模型。示例性地，训练之后的语句转换模型中的所述编码器与所述第二解码器用于将接收到的自然语句转换成相应的规范语句。

如图3中所示的加噪信道用来对原始输入自然语句或规范语句进行加噪。主要包括三种加噪操作，基于重要性的删除、混合输入源的添加、基于二元(bigram)的乱序。

在一些实施例中，对样本自然语句和样本规范语句进行加噪的步骤包括：删除所述样本自然语句和所述样本规范语句中的至少一个字，和/或

在所述样本自然语句和所述样本规范语句中插入至少一个字，和/或

变换所述样本自然语句和所述样本规范语句中的至少一个字的顺序。

示例性地，删除操作，即按一定概率删除语句中的每一个词，通常的做法是依等概率删除每一个词，这里根据句中每个词在语料库中出现的频率进行删除，出现频率大的删除概率越大，出现频率小的删除的概率更小。

示例性地，添加操作，以输入自然语句为例，挑选一个目标源的规范语句，从中随机采样10％-20％的单词插入输入语句中任意位置。为了鼓励使用相关性更高的目标源语句，我们从候选集合中挑选与输入语句单词移动距离(WMD)最小的规范语句。

示例性地，乱序操作，即打乱输入语句的顺序，信道中基于二元组进行顺序的打乱，从而保留一些bigram层次的语义信息。

图4所示为本发明中对语句转换模型进行闭环学习的一实施例的示意图。如图4所示该阶段包括两个任务，分别是反向翻译(back-translation,BT)和对偶强化学习(dualreinforcement learning,DRL)。以输入自然语言问句x为例，模型

通过贪心解码生成中间产物规范语句

从而伪训练样本

可以用来对模型

进行有监督的训练，训练目标即为反向翻译的损失函数，与此同时模型

通过采样获得规范语句

通过计算奖励信号

对模型

进行策略梯度下降的学习。输入规范语句z的训练方法类似。

示例性地，奖励信号设计：奖励信号的设计用来评估采样语句的好坏，从而进行策略梯度的学习。我们主要从三个角度进行衡量：流利性、风格、相关性。

流利性：衡量采样的句子是否较为通顺或流利，通用的做法是为两种语句各自训练一个语言模型。除此之外，我们为规范语句提供了一个额外的0/1间接信号，通过下游的朴素语义解析器P_nsp生成的逻辑形式

是否能够被执行器无误地执行，提供一定层面上的监督信号。

风格：自然语句更口语化且具有多样性，而规范语句由规则生成，更加僵硬死板，不同类型的语句具有不同的风格，通过训练一个CNN二元句子分类器P_dis对采样的句子进行风格上的评分。

相关性：为了使采样的语句尽可能保留输入语句重要的内容，即语义保持不变，通过对偶的模型，计算从采样语句重构出原始输入的概率，并将其作为相关性的衡量。

本发明通过将传统语义解析器拆分成无监督改写和朴素解析两步，从而可以利用无标注的自然语句进行完全无监督的训练，并更充分地利用基于语法规则编写的规范语句中的先验知识。

进一步地，两阶段的语义解析器通过规范语句作为中间桥梁，减小了自然语言和目标语义表示上的差异性。规范语句作为一种规则生成的语句，形式上类似于自然语言，但表达上更像逻辑形式，具有规范的内在逻辑。从自然语言到规范语言的改写模型进行语义上的规范，而从规范语言到逻辑形式的朴素语义解析器学习内在映射。第一阶段无监督学习的可行性极大程度地减少了对标注数据的依赖。

为了解决现有技术中所存在的问题，本发明提出了一个两阶段的语义解析框架，其中第一阶段利用无监督的改写模型来将无标注的自然语言转换为伪语言。下游的朴素语义解析器接受中间产物伪语言并返回对应的逻辑形式。我们进一步设计了三种类型的噪声，这些噪声是为去噪自动编码器任务而量身定制的，以初始化改写模型。接下来，反向翻译技术和基于不同角度奖励信号的对偶强化学习技术，被用于闭环学习阶段来进行自训练。在基准数据集OVERNIGHT上的实验结果表明我们的框架不仅有效，并且与有监督的训练方法相兼容，以下将对实验进行详细说明：

1、引言

语义解析是将自然语言问句转换为结构化语义表示形式(通常是逻辑形式)的任务。从头开始构建语义解析器的一种重要方法通常遵循以下过程：

1.(规范语句，逻辑形式)对是根据领域通用语法和特定领域词典自动生成的。

2.研究人员使用众包将这些规范性的表述解释为自然语言中的表述。

3.语义解析器是基于收集的(自然语言问句，逻辑形式)对构建的。

然而，该方法具有两个缺点：(1)对非平凡的人工的依赖以及(2)规范语句的利用率低。

一种高级方法将数据收集过程中的改写任务(步骤2)简化为将正确的改写示例与不相关的改写示例区分开。尽管效率很高，但它仍然严重依赖于不平凡的人工。注释者可能难以理解规范语句的确切含义。

规范语句是从语法规则自动生成的伪语言语句，人们可以理解，但听起来并不自然。一旦构造了语义解析数据集，就会丢弃规范的语句，从而导致利用率不足。尽管已经报道了利用它们作为中间输出来弥合自然语言问句和逻辑形式之间的差距的有效性，但他们以一种完全监督的方式进行了实验，其中人类注释是必不可少的。

在这项工作中，受无监督神经机器翻译的启发，我们提出了一个两阶段的语义解析框架。第一阶段使用无监督改写模型将自然语言问句转换为相应的规范语句。然后，使用监督训练，在自动生成的(规范语句，逻辑形式)对上构建朴素的神经语义解析器。这两个模型被连接到一个管道中(参见图2)。

改写旨在执行语义规范化并减少自然语言中的多样性，而朴素的神经语义解析器则学习规范语句与逻辑形式之间的映射以及结构约束。

无监督改写模型由一个共享编码器和两个用于自然语言和规范语句的单独解码器组成。为了在没有任何标注数据的情况下预热模型，我们设计了三种类型的噪声，这些噪声是为在预训练阶段对自动编码器任务进行消噪而量身定制的，即基于重要性的删除，混合输入源的添加和基于二元组的乱序。此任务旨在从损坏的版本重建原始输入语句。在获得良好的初始化点之后，我们在闭环学习阶段中进一步结合了反向翻译和对偶强化学习。在这一阶段，一个编码器-解码器子模型充当为另一个模型提供伪样本和奖励信号的环境。他们互相教导和正则化，最终在利用和探索之间取得平衡。从不同方面评估的奖励，包括流利程度，风格和相关性，都应予以考虑。

我们在无监督和半监督的环境中对基准OVERNIGHT进行了广泛的实验。结果表明，我们的方法在各种基准上均获得了显著改进，在无监督的情况下达到了60.7％的准确度。使用完整的标签数据，我们可以达到最新的性能水平(79.3％)，而无需考虑使用具有附加数据源的先前方法。

这项工作的主要贡献可以概括如下：

1).提出了一种无监督环境下的两阶段语义解析器。在输入自然语言问句和中间输出规范语句之间不提供任何监督。这项工作是无监督语义分析的先驱。

2).我们对数据集OVERNIGHT进行了实验，达到了60.7％的准确率，比之前的传统监督方法(Wang等人，2015)提高了1.9％。我们的模型还与监督训练兼容，并且可以对其进行改进。

3).该框架还提供了另一种方法来减少数据收集中的注释。注释者可以随意问任何问题，从而摆脱了试图理解规范语句意味着什么的麻烦。

2、本发明的方法

2.1、问题定义

在我们的其余讨论中，我们用x表示自然语言问句，用z表示规范语句，用y表示逻辑形式。我们将X，Z和Y分别表示为所有可能的自然语言问句，规范语句和逻辑形式的集合。有一个由语法规则主导的映射函数f:Z→Y。

我们可以从标签样本{(z；y),z∈Z,y∈Y}中使用基于注意力训练朴素的神经语义解析器P_nsp。可以对其进行预训练并保存以备后用。

对于改写模型(请参见图2)，它由一个共享的编码器E和两个独立的解码器组成：D_x用于自然语言，而D_z用于规范语句。符号○表示模块组成。由于这里不是主要重点，因此我们在这里省略了模型实现。

给定输入语句x∈X，改写模型D_z○E将其转换为可能的规范语句

然后将

传递到预训练的朴素解析器P_nsp中，以获得预测的逻辑形式

另一个改写模型D_x○E仅在训练期间用作辅助工具。

2.2无监督的训练程序

为了训练X和Z之间没有标注数据的无监督改写模型，我们将整个训练过程分为两个阶段：预训练和闭环学习。首先将D_x○E和D_z○E训练为去噪自动编码器(DAE)。由于改写任务的不适定性，此初始化阶段在加速收敛中起着重要作用。接下来，在闭环学习阶段，我们将反向翻译(BT)和对偶强化学习(DRL)策略都用于自我训练和探索。

2.2.1预训练阶段

如图3所示，为预训练语句转换模型的一实施例的示意图，在此阶段，我们通过去噪自动编码器任务初始化改写模型。涉及计算奖励的所有辅助模型也都经过了预训练。

对自动编码器进行降噪给定自然语言语句x，我们通过有噪声的信道N_x(·)对它加噪，并获取其损坏的版本

然后，模型D_x○E尝试从其损坏的版本

重构原始输入x，请参见图3。对称地，模型D_z○E尝试从其损坏的输入N_z(z)重构原始规范语句z。训练目标可以表述为：

2.2.2、闭环学习阶段

如图4所示为本发明中对语句转换模型进行闭环学习的一实施例的示意图，到目前为止的训练框架只是一个加噪的复制模型。为了对此进行改进，我们在闭环学习阶段采用了两种方案，即反向翻译(BT)和对偶强化学习(DRL)，并将模型训练为最终目标(请参见图4)。

反向翻译在此任务中，共享编码器E旨在将不同类型的输入语句映射到相同的潜在语义空间中，并且解码器需要将该表示分解为另一种类型的语句。更具体地，给定自然语言问句x，我们在贪婪解码的评估模式下使用改写模型D_z○E将x转换为规范语句

我们将获得改写模型D_x○E的伪训练样本

类似地，在给定规范语句z的情况下，可以从模型D_x○E合成

对。接下来，我们从这些伪并行样本中训练改写模型，并通过最小化来更新参数：

其中，

和

是系统的参数。更新的模型将在迭代过程中生成更好的解释。

反向翻译更加重视利用对偶模型学到的知识，这可能会导致局部最优。为了鼓励在闭环学习中进行更多试验，我们引入了对偶强化学习策略，并通过策略梯度优化了系统。

从自然语言语句x开始，我们通过D_z○E对一个规范语句

进行采样。然后，我们从不同方面评估

的质量，并获得奖励

类似地，我们为采样的自然语言语句

计算奖励

为了应对奖励信号的高方差，我们使用样本大小K并通过基线b(·)重新定义奖励信号以稳定学习(以

为例)：

我们研究了不同的基线选择(例如运行平均值，历史累积平均值和贪婪解码预测的奖励)，当我们使用束搜索内奖励的平均值时，其效果最佳。在每个输入的样本中，尤其是采样较大时。训练目标是负期望奖励的总和：

使用REINFORCE算法计算梯度：

闭环学习阶段的最终损失函数是交叉熵损失和策略梯度损失的总和：L_Cycle＝L_BT+L_DRL。

3、训练细节

在本节中，我们将详细介绍实验中使用的不同类型的噪声以及对偶强化学习中的奖励设计。

3.1、加噪信道

我们引入了三种类型的噪声来故意污染输入语句。

基于重要性的删除：传统的单词丢弃会以相等的概率p_wd丢弃输入中每个单词。在重构期间，解码器必须根据上下文恢复那些字。我们进一步引入了一种归纳偏置，即删除频率更高的单词(例如功能词)，而不是频率更低的单词(例如内容词)。自然语言问句x中的每个单词x_i独立地被概率丢弃：

其中，w(x_i)是X中的词x_i的数量，p_max是最大删除概率(在我们的实验中，p_max＝0.2)。至于规范的语句，我们类似地应用这个方法。

混合输入源的添加：对于任何给定的原始输入，它要么是自然语言的语句，要么是规范的语句。该观察结果不鼓励共享编码器E学习通用表示空间。因此，我们建议将来自其他来源的多余单词插入到输入语句中。对于针对自然语言问句的加噪信道N_x(·)，我们首先选择一个候选规范语句集合z；然后选择一个候选规范语句z。接下来，从z中随机抽取10％-20％的单词，并将其插入x中的任意位置。

为了选择具有更高相关性的候选z，我们使用一种启发式方法：随机抽取C个规范语句作为候选(C＝50)；我们选择与x的单词移动距离最小的z。对于噪声信道N_z，加噪方法类似。

Bigram乱序：我们还在加噪信道中使用基于二元组的乱序。事实证明，这有助于防止编码器过多地依赖词序。我们没有将单词混洗，而是先将输入语句分成n-gram，然后以n-gram的水平(在我们的实验中为bigram)随机打乱。考虑到添加的单词，我们在将原始输入语句与其他来源的单词合并后进行洗牌。

3.2奖励设计

为了提供更多有用的奖励信号并提升DRL任务的性能，我们从不同方面介绍了各种奖励。

流畅度：语句的流畅度由长度标准化的语言模型评估。对于每种类型的语句，我们使用单独的语言模型(LM_x和LM_z)。至于抽样的自然语言问句

流利奖励为：

至于规范语句，我们还包括来自下游朴素语义解析器P_nsp的额外奖励，以暗示采样的规范语句

是否格式正确。

风格：自然语言的语句是多种多样的，随意的和灵活的，而规范的语句通常是僵化的，规则的，并且局限于语法规则所引起的某种特定形式。为了区分它们的特征，我们合并了另一个奖励信号，该信号指示所采样语句的样式。这是由CNN鉴别器实现的：

其中，P_dis(·)是预训练的样式分类器，其给出输入语句为规范语句的可能性。

相关性包括相关性奖励，以衡量改写后保留多少内容。我们遵循惯例从对偶模型中获取对数似然。

其他一些方法包括计算原始输入和重构语句之间的句子向量或BLEU得分的余弦相似度。尽管如此，我们发现对数似然法在我们的实验中表现更好。采样的规范语句

和自然语言问句

的总奖励可以表示为：

4、实验

在本节中，我们将在无监督和半监督环境中评估基准OVERNIGHT的系统，并介绍消融研究。

数据集OVERNIGHT包含自然语言改写，并与8个域中的逻辑形式配对。我们遵循传统的80％/20％训练/有效训练期间选择最佳模型的做法。使用工具SEMPRE与目标逻辑形式配对生成规范语句。由于语法规则的数量有限且具有粗糙的性质，因此每种逻辑形式只有一种规范语句，而每种规范语句平均只有8种自然语言改写。例如，为了描述“更大”的概念，在自然语言问句中，使用了许多同义词，例如“大于”，“更高”，“至少”，而在规范语句中，表达受语法限制。

4.1、实验设置

在整个实验中，除非另有说明，否则词向量会使用Glove6B进行初始化，平均覆盖率达93.3％，并在训练时进行微调。词汇表外的单词被<unk>取代。批次大小固定为16，DRL任务中的样本大小K为6。在评估过程中，我们使用大小为5的波束搜索。对于所有实验，我们使用优化器Adam。所有辅助模型都经过预训练和固定，以供以后使用。

我们报告了在不同设置中逻辑形式的最终表示级别的准确性。

有监督的设置：这是传统情况，其中(自然语言，逻辑形式)对用于直接训练单阶段解析器，(自然语言，规范语句)和(规范语句，逻辑形式)对分别用于训练两阶段解析器的两个部分。

无监督设置：我们将方法分为两类：单阶段和两阶段。在单阶段解析器中，仅利用(规范语句，逻辑形式)对训练朴素语义解析器，但在自然语言问句上进行评估。预训练的词向量ELMo和Bert-base-uncased也用于替换原始的词向量层；基于单词移动距离的伪造样本方法使用最相似的逻辑形式(一阶段)或规范语句(两阶段)标记每种自然语言语句，并以监督方式处理这些伪造的样本；多任务使用另一种解码器在一级解析器中实现自然语言语句，以执行之前讨论的相同DAE任务。对偶改写模型可以共享或不共享编码器E(+Shared)，并且可以包括是否在闭环学习阶段的任务(+Cycle)。无监督改写模型的下游解析器Pnsp是Naive+Glove6B，并且对于所有两阶段模型都是固定的。

半监督设置为了进一步验证我们的框架，基于无监督设置(Shared+DAE+Cycle)中的最佳模型，我们还通过在训练过程中逐步添加部分带监督的标签短语来进行半监督实验(包括预训练和闭环学习阶段)。

4.2、结果与分析

如表1所示，在无监督的情况下：(1)两阶段语义解析器优于单阶段，它通过利用规范语句来弥合自然语言问句与逻辑形式之间的巨大差异。即使在有监督的实验中，该管道仍然有用(76.4％与76.0％相比)。(2)毫不奇怪，模型性能对词向量初始化很敏感。直接使用原始Glove6B词向量，在所有基线中，性能是最差的(19.7％)。得益于预训练的嵌入ELMo或Bert，其准确性得到了显着提高(分别为26.2％和32.7％)。(3)当我们在多任务方法(DAE)的单阶段解析器中共享编码器模块时，性能没有显着提高，甚至略低于Naive+Bert(31.9％比32.7％)。我们猜想是因为语义解析器和去噪自动编码器是以不同的方式利用输入语句，因此着眼于表示空间中的不同区域。但是，在改写模型中，由于输入和输出语句完全对称，因此共享编码器或映射到相同的表示空间更合适(从57.5％到60：7％)。此外，DAE预训练任务的有效性(目标任务的准确度为44.9％)可以部分通过自然语言和规范语句的接近来解释。(4)Faked Samples方法是一个下限，易于实现，但泛化效果差，上限明显。而我们的系统可以通过闭环学习进行自我训练，并将性能从最初的44.9％提高到60.7％，但优于传统的监督方法1.9个百分点。

表1：数据集OVERNIGHT上逻辑形式的表示级别准确性。带有上标*的监督方法意味着不考虑跨域或额外的数据源。

对于表1中的半监督结果，(1)仅添加了5％的标记数据，但性能从60.7％显着提高到68.4％。(2)使用30％的注释，我们的系统和在完全有监督训练下的网络模型具有竞争优势(75.0％)。(3)与现有技术相比，使用50％标注数据时，我们的系统在使用所有标记数据时(79.3％)大大超过了它(4％)，并实现了最新的最新性能(不考虑使用其他数据源的结果或多领域的优势)。

如图5为使用不同比例的标注数据的半监督结果。两个基准是仅使用监督训练单阶段和两个阶段的模型。从实验结果和图5中(横坐标为标注数据占比，纵坐标为准确率)，我们可以安全地总结出：(1)当我们训练没有任何标注数据的语义解析器时，我们提出的方法解决了冷启动的艰巨问题。(2)它也与传统的有监督训练兼容，并且可以扩展以处理更多带标签的数据。

4.3消融研究

在本节中，我们将分析每种噪声类型对DAE任务的影响以及闭环学习阶段中方案的不同组合。默认情况下，编码器是共享的。

4.3.1预训练DAE中的噪声通道

表2：不同噪声通道的消融研究。

根据表2中的结果，(1)有趣的是，即使没有任何噪音，在这种情况下，去噪自动编码器会退化为简单的复制模型，改写模型仍然可以成功地做出一些有用的预测(26.9％)。该观察结果可以归因于针对不同语句的共享编码器。(2)当我们通过增加噪声类型的数量逐渐使DAE任务复杂化时，泛化能力不断提高。(3)一般来说，基于重要性的删除和混合输入源的添加在此任务中比二元组乱序更为有用。

4.3.2、闭环学习的策略

表3：闭环学习中的消融方案研究

表3中最引人注目的观察结果是，当我们将DAE任务添加到闭环学习阶段(BT+DRL)时，性能下降了1.5％。对此现象的可能解释可能是模型在预训练后已经达到了DAE任务的瓶颈，因此对闭环学习过程没有任何贡献。另一个可能的因素可能来自不同任务的相互矛盾的目标。如果我们继续添加此DAE正则化目标，则可能会阻碍DRL任务的探索性试验。

4.4、案例研究

在表4中，我们将我们的模型生成的中间规范语句与基于WMD的伪造样本创建的中间规范语句进行了比较。在篮球域中，我们的系统成功地将约束解释为“至少3个”，这是“3个或更多”的别名。这一发现巩固了以下假设：无监督模型可以学习这些细粒度的语义，例如短语对齐。对于CALENDAR域，基准系统无法识别查询对象，需要“会议”而不是“人”。尽管我们的模型正确理解了目的，但做不必要的工作还是有些愚蠢的。重复“每周站立的参与者”的要求。这可能是由于闭环学习过程中不受控制的过程引起的，因为我们鼓励模型采取冒险的步骤来寻求更好的解决方案。

表4：示例输出，NL：自然语言语句；CU：规范语句。

5、相关工作

语义分析的注释：语义分析总是需要大量数据。但是，用于语义解析的注释不是用户友好的。半监督的许多研究者试图减轻人类注释的负担，例如从弱监督中进行训练(Krishnamurthy和Mitchell，2012；Berant等人，2013；Liang等人，2017；Goldman等人，2018)，半监督学习(Yin等人，2018；Guo等人，2018；Cao等人，2019)，在线学习(Iyer等人，2017；Lawrence and Riezler，2018)和依赖多语言(Zou和Lu，2018)或跨域数据集(Herzig和Berant，2017)。在这项工作中，我们尝试通过使用规范语句作为中间结果来避免繁重的注释工作，并构建一个无监督的改写模型。

NMT的无监督学习：与我们类似的工作是Lample等人使用单语数据进行无监督的神经机器翻译(NMT)。但是，它们很大程度上依赖于预先训练的跨语言单词嵌入进行初始化，如Lample等人所指出的。此外，他们主要集中于学习短语对齐或单词映射。在进行这项工作时，我们将深入研究句子级语义，并采用无监督改写模型的对偶结构来改善语义解析。

6、结论

在这项工作中，为了减少注释，我们提出了一个两阶段的语义解析框架。第一阶段在无监督改写模型中利用对偶结构来改写输入语句。我们进一步针对预训练中的去噪自动编码器任务设计了三种类型的噪声。基于从不同方面评估的奖励的反向翻译和对偶强化学习被用来进一步提高性能。实验结果表明，我们的框架是有效的，并且与监督训练兼容。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

如图6所示，本发明的实施例还提供一种构一种语义解析器600，包括：规范语句确定模块610，用于确定对应于待解析自然语句的规范语句；朴素语义解析器620，用于解析所述规范语句以得到相应的逻辑表达式。

在一些实施例中，所述规范语句确定模块包括共享编码器、第一解码器和第二解码器，其中，所述共享编码器与所述第一解码器构成自然语句重构模型，所述编码器与所述第二解码器构成规范语句重构模型。

在一些实施例中，所述确定对应于待解析自然语句的规范语句包括：将所述待解析自然语句输入至预先训练的语句转换模型，以得到对应于所述待解析自然语句的规范语句。

在一些实施例中，预先训练所述语句转换模型的步骤包括：基于自然语句样本集采用无监督训练方法预先训练得到所述语句转换模型。

在一些实施例中，基于自然语句样本集采用无监督训练方法预先训练得到所述语句转换模型包括：

对所述语句转换模型进行初始化；

对初始化之后的语句转换模型执行反向翻译任务和对偶强化学习任务以得到所述预先训练的语句转换模型。

对所述语句转换模型进行初始化包括：

以损失函数为训练目标，以加噪样本规范语句为输入训练所述规范语句重构模型。

在一些实施例中，对样本自然语句和样本规范语句进行加噪的步骤包括：删除所述样本自然语句和所述样本规范语句中的至少一个字，和/或在所述样本自然语句和所述样本规范语句中插入至少一个字，和/或变换所述样本自然语句和所述样本规范语句中的至少一个字的顺序。

在一些实施例中，训练之后的语句转换模型中的所述编码器与所述第二解码器用于将接收到的自然语句转换成相应的规范语句。

在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项语义解析方法。

在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项语义解析方法。

在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行语义解析方法。

在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现语义解析方法。

上述本发明实施例的语义解析器可用于执行本发明实施例的语义解析方法，并相应的达到上述本发明实施例的实现语义解析方法所达到的技术效果，这里不再赘述。本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

图7是本申请另一实施例提供的执行语义解析方法的电子设备的硬件结构示意图，如图7所示，该设备包括：

一个或多个处理器710以及存储器720，图7中以一个处理器710为例。

执行语义解析方法的设备还可以包括：输入装置730和输出装置740。

处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器720作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的语义解析方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例语义解析方法。

存储器720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语义解析装置的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器720可选包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至语义解析装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置730可接收输入的数字或字符信息，以及产生与语义解析装置的用户设置以及功能控制有关的信号。输出装置740可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器720中，当被所述一个或者多个处理器710执行时，执行上述任意方法实施例中的语义解析方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种语义解析方法，包括：

接收待解析自然语句；

将所述待解析自然语句输入至基于自然语句样本集采用无监督训练方法预先训练的语句转换模型，以得到对应于所述待解析自然语句的规范语句；

将所述规范语句输入至预先训练的朴素语义解析器，以得到对应于所述规范语句的逻辑表达式,

其中，预先训练所述语句转换模型的步骤包括：

对所述语句转换模型进行初始化；

对初始化之后的语句转换模型执行反向翻译任务和对偶强化学习任务以得到所述预先训练的语句转换模型,

其中，所述语句转换模型包括共享编码器、第一解码器和第二解码器，其中，所述共享编码器与所述第一解码器构成自然语句重构模型，所述共享编码器与所述第二解码器构成规范语句重构模型，所述自然语句重构模型和所述规范语句重构模型训练为去噪自动编码器，其中，所述自然语句重构模型用于从损坏的自然语句版本重构原始输入的自然语句，所述规范语句重构模型用于从损坏的输入信道重构原始规范语句；

对所述语句转换模型进行初始化包括：

2.根据权利要求1所述的方法，其中，对样本自然语句和样本规范语句进行加噪的步骤包括：

删除所述样本自然语句和所述样本规范语句中的至少一个字，和/或

3.一种语义解析装置，包括：

语句转换模型，用于确定对应于待解析自然语句的规范语句；

朴素语义解析器，用于解析所述规范语句以得到相应的逻辑表达式，

其中，所述语句转换模型基于自然语句样本集采用无监督训练方法预先训练得到，所述语句转换模型包括共享编码器、第一解码器和第二解码器，其中，所述共享编码器与所述第一解码器构成自然语句重构模型，所述共享编码器与所述第二解码器构成规范语句重构模型，所述自然语句重构模型和所述规范语句重构模型训练为去噪自动编码器，其中，所述自然语句重构模型用于从损坏的自然语句版本重构原始输入的自然语句，所述规范语句重构模型用于从损坏的输入信道重构原始规范语句。

4.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任意一项所述方法的步骤。

5.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-2中任意一项所述方法的步骤。