[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112395876B - 基于知识蒸馏和多任务学习的篇章关系识别方法与装置 - Google Patents

基于知识蒸馏和多任务学习的篇章关系识别方法与装置 Download PDF

Info

Publication number
CN112395876B
CN112395876B CN202110078740.7A CN202110078740A CN112395876B CN 112395876 B CN112395876 B CN 112395876B CN 202110078740 A CN202110078740 A CN 202110078740A CN 112395876 B CN112395876 B CN 112395876B
Authority
CN
China
Prior art keywords
model
cost function
classification
discourse relation
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110078740.7A
Other languages
English (en)
Other versions
CN112395876A (zh
Inventor
邬昌兴
谢子若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongyue Information Technology Co ltd
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202110078740.7A priority Critical patent/CN112395876B/zh
Publication of CN112395876A publication Critical patent/CN112395876A/zh
Application granted granted Critical
Publication of CN112395876B publication Critical patent/CN112395876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于知识蒸馏和多任务学习的篇章关系识别方法与装置，在本发明中，一方面，基于参数共享的方式在连接词分类辅助任务和隐式篇章关系识别主任务之间共享知识；另一方面，将连接词增强的教师模型中的知识基于知识蒸馏技术从特征层和分类层迁移到相应的隐式篇章关系识别模型中；以充分利用语料标注时插入的连接词信息提高学生模型的识别性能。

Description

基于知识蒸馏和多任务学习的篇章关系识别方法与装置
技术领域
本发明涉及计算机智能分析处理技术领域，特别涉及一种基于知识蒸馏和多任务学习的篇章关系识别方法与装置。
背景技术
篇章一般是指由一系列结构衔接、语义连贯的语言单位（句子或子句），按照一定的语义关系或者层次结构组成的整体语言单位。通常把句子或子句之间的语义关系称作篇章关系，例如，因果关系、转折关系等。篇章关系识别指的是自动判断两个论元（句子或子句）之间的语义关系，是篇章结构分析的核心子任务之一，也是其性能瓶颈所在。因此，篇章关系识别性能的提高，不但能够促进篇章结构分析的发展，也有利于众多下游的自然语言处理任务。例如，机器翻译、情感分析、问答系统以及文本摘要等。
其中，篇章连接词（例如，因为、但是等）是篇章关系识别中最重要的特征之一。当两个论元有篇章连接词相连时，显式篇章关系识别仅使用连接词作为特征就能达到90%以上的分类准确率。反之，当两个论元之间省略了篇章连接词时，隐式篇章关系识别需要根据两个论元的语义推导它们之间的关系，对应的准确率目前仅60%左右。例如，如图1所示，隐式篇章关系实例的两个论元之间省略了连接词“所以”，则需要基于文本“积水”和“没去打篮球”推导它们之间语义上的“因果关系”，而这是非常困难的。实际上，即便是语料标注人员也常利用连接词信息来辅助隐式篇章关系的标注。例如，目前规模最大的宾州篇章树库（The Penn Discourse TreeBank, PDTB）在进行标注时，也要求标注人员首先在隐式篇章关系实例的两个论元之间插入一个合适的连接词，然后综合论元和插入的连接词两个方面的信息来判断该实例的篇章关系。也就是说，篇章语料标注人员常使用（插入的）连接词信息来辅助隐式篇章关系的标注。
从以上分析可知：一方面，基于连接词的显式篇章关系识别与基于论元语义的隐式篇章关系识别之间存在巨大的性能差距（90%与60%）；另一方面，语料的标注过程也说明了连接词信息对隐式篇章关系识别是有帮助的。因此，一些研究人员尝试在隐式篇章关系识别模型中利用连接词信息，以提高识别的性能。目前，已有研究人员使用基于对抗学习的方法，利用语料标注时插入的连接词信息帮助隐式篇章关系识别。
然而，现有的基于对抗学习的方法对连接词信息的利用并不充分，仅停留在特征抽取层上迁移知识，且识别性能不是很理想。
发明内容
鉴于上述状况，有必要解决现有的基于对抗学习的方法，仅停留在特征抽取层迁移知识，且识别性能不是较为理想的问题。
本发明实施例提供了一种基于知识蒸馏和多任务学习的篇章关系识别方法，其中，所述方法包括如下步骤：
以标注了连接词与隐式篇章关系类别的隐式篇章关系实例作为训练实例；
基于双向注意力机制分类模型构造连接词加强的教师模型，以所述连接词作为额外输入，对所述连接词加强的教师模型对应的代价函数进行迭代最小化处理直至收敛，以得到训练好的教师模型；
基于所述双向注意力机制分类模型构造多任务学习学生模型，引入连接词分类作为辅助任务，以确定基于多任务学习的代价函数，利用所述训练好的教师模型计算训练实例的特征和预测结果，以确定基于知识蒸馏的代价函数，继而确定学生模型总代价函数；
迭代最小化所述学生模型总代价函数直至收敛，以输出训练好的学生模型，进而用于识别测试实例的隐式篇章关系。
本发明提出的基于知识蒸馏和多任务学习的篇章关系识别方法，以标注了连接词和类别的隐式篇章关系实例作为训练实例，目的是充分利用语料标注时插入的连接词信息；首先基于双向注意力机制分类模型构造连接词加强的教师模型，以连接词作为额外的输入，迭代最小化其代价函数直至收敛，以得到训练好的教师模型；然后对所构建的多任务学习学生模型进行训练，基于多任务学习和知识蒸馏的方法构建总代价函数，对总代价函数进行最小化迭代处理直至收敛，从而输出训练好的多任务学习学生模型。本发明提出的基于知识蒸馏和多任务学习的篇章关系识别方法，一方面，基于参数共享的方式（共享的特征抽取层）在连接词分类辅助任务和隐式篇章关系识别主任务之间共享知识；另一方面，将连接词增强的教师模型中的知识基于知识蒸馏技术从特征抽取层和分类层迁移到相应的隐式篇章关系识别模型（多任务学习学生模型）中；以充分利用语料标注时插入的连接词信息提高学生模型的识别性能。本发明提出的方法，在常用PDTB数据集的第一级和第二级隐式篇章关系上，比同类方法取得了更好的识别性能。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，在所述训练实例中，标注了所述连接词与所述隐式篇章关系类别的隐式篇章关系实例表示为
Figure 172834DEST_PATH_IMAGE001
；
其中，
Figure 39158DEST_PATH_IMAGE002
表示所述隐式篇章关系训练实例的两个论元，
Figure 768080DEST_PATH_IMAGE003
表示标注的连接词，
Figure 378053DEST_PATH_IMAGE004
表示标注的隐式篇章关系类别。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，在所述连接词加强的教师模型中，输入为
Figure 610451DEST_PATH_IMAGE005
，对应的代价函数表示为：
Figure 647677DEST_PATH_IMAGE006
其中，
Figure 863895DEST_PATH_IMAGE007
为教师模型的参数，
Figure 746400DEST_PATH_IMAGE008
为标注的隐式篇章关系类别
Figure 630043DEST_PATH_IMAGE004
对应的独热编码，
Figure 572591DEST_PATH_IMAGE009
表示预测结果关于标记类别的期望值，
Figure 276105DEST_PATH_IMAGE010
表示经所述连接词加强的教师模型的分类层后得到的预测结果，
Figure 227880DEST_PATH_IMAGE011
为训练实例集。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，在所述多任务学习学生模型中，所述学生模型总代价函数表示为：
Figure 434871DEST_PATH_IMAGE012
其中，
Figure 813899DEST_PATH_IMAGE013
为所述学生模型总代价函数，
Figure 739130DEST_PATH_IMAGE014
为学生模型的参数，
Figure 996061DEST_PATH_IMAGE015
分别为基于多任务学习的代价函数和基于知识蒸馏的代价函数的权重系数；
所述基于多任务学习的代价函数包括两部分：
Figure 588717DEST_PATH_IMAGE016
为对应于隐式篇章关系识别的交叉熵代价函数，
Figure 607488DEST_PATH_IMAGE017
为对应于连接词分类的交叉熵代价函数；所述基于知识蒸馏的代价函数包括两部分：
Figure 285594DEST_PATH_IMAGE018
为对应于特征抽取层知识蒸馏的代价函数，
Figure 313593DEST_PATH_IMAGE019
为对应于分类层知识蒸馏的代价函数。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，在所述多任务学习学生模型中，输入为
Figure 26334DEST_PATH_IMAGE020
，对应于隐式篇章关系识别的交叉熵代价函数表示为：
Figure 747166DEST_PATH_IMAGE021
其中，
Figure 381409DEST_PATH_IMAGE022
为学生模型的参数，
Figure 213099DEST_PATH_IMAGE008
为标注的隐式篇章关系类别
Figure 514767DEST_PATH_IMAGE004
对应的独热编码，
Figure 406500DEST_PATH_IMAGE009
表示预测结果关于标记类别的期望值，
Figure 528040DEST_PATH_IMAGE023
表示经学生模型分类层1后得到的对应于隐式篇章关系识别的预测结果，
Figure 429000DEST_PATH_IMAGE011
为训练实例集。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，所述多任务学习学生模型中对应于连接词分类的交叉熵代价函数表示为：
Figure 850754DEST_PATH_IMAGE024
其中，
Figure 647808DEST_PATH_IMAGE022
为学生模型的参数，
Figure 522224DEST_PATH_IMAGE025
为标注的连接词
Figure 430137DEST_PATH_IMAGE003
对应的独热编码，
Figure 971976DEST_PATH_IMAGE026
表示预测结果关于标注连接词的期望值，
Figure 205512DEST_PATH_IMAGE027
表示经学生模型分类层2后得到的对应于连接词分类的预测结果，
Figure 301644DEST_PATH_IMAGE011
为训练实例集。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，所述多任务学习学生模型中对应于特征抽取层知识蒸馏的代价函数表示为：
Figure 777362DEST_PATH_IMAGE028
其中，
Figure 642550DEST_PATH_IMAGE029
表示均方误差，
Figure 46986DEST_PATH_IMAGE030
表示经所述连接词加强的教师模型特征抽取层后得到的特征，
Figure 630415DEST_PATH_IMAGE031
表示经所述多任务学习学生模型的特征抽取层后得到的特征，
Figure 676868DEST_PATH_IMAGE011
为训练实例集。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，所述多任务学习学生模型中对应于分类层知识蒸馏的代价函数表示为：
Figure 662142DEST_PATH_IMAGE032
其中，
Figure 971900DEST_PATH_IMAGE033
表示两个概率分布之间的KL距离，
Figure 308204DEST_PATH_IMAGE010
表示经所述连接词加强的教师模型分类层后得到的预测结果，
Figure 361610DEST_PATH_IMAGE034
表示经所述多任务学习学生模型分类层1后得到的预测结果。
所述基于知识蒸馏和多任务学习的篇章关系识别方法，其中，所述双向注意力机制分类模型包括编码层、交互层、聚合层以及分类层，其中所述编码层用于学习论元中的词在上下文中的表示，所述编码层表示为：
Figure 466969DEST_PATH_IMAGE035
其中，
Figure 478788DEST_PATH_IMAGE036
分别为论元1中的第
Figure 36808DEST_PATH_IMAGE037
个词的词向量及其在上下文中的表示，
Figure 893906DEST_PATH_IMAGE038
分别为论元2中的第
Figure 588192DEST_PATH_IMAGE039
个词的词向量及其上下文中的表示，
Figure 770912DEST_PATH_IMAGE040
和
Figure 81807DEST_PATH_IMAGE041
分别是两个论元中词的个数，
Figure 477017DEST_PATH_IMAGE042
均为双向长短时记忆网络。
本发明还提出一种基于知识蒸馏和多任务学习的篇章关系识别装置，其中，所述装置包括：
训练输入模块，用于以标注了连接词与隐式篇章关系类别的隐式篇章关系实例作为训练实例；
第一构造模块，用于基于双向注意力机制分类模型构造连接词加强的教师模型，以所述连接词作为额外输入，对所述连接词加强的教师模型对应的代价函数进行迭代最小化处理直至收敛，以得到训练好的教师模型；
第二构造模块，用于基于所述双向注意力机制分类模型构造多任务学习学生模型，引入连接词分类作为辅助任务，以确定基于多任务学习的代价函数，利用所述训练好的教师模型计算训练实例的特征和预测结果，以确定基于知识蒸馏的代价函数，继而确定学生模型总代价函数；
训练输出模块，用于迭代最小化所述学生模型总代价函数直至收敛，以输出训练好的学生模型，进而用于识别测试实例的隐式篇章关系。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明中标注了连接词和隐式篇章关系类别的隐式篇章关系实例的示意图；
图2为本发明提出的基于知识蒸馏和多任务学习的篇章关系识别方法的流程图；
图3为本发明提出的基于知识蒸馏和多任务学习的篇章关系识别方法的原理示意图；
图4为基于双向注意力机制的分类模型的结构示意图；
图5为本发明提出的基于知识蒸馏和多任务学习的篇章关系识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
现有的基于对抗学习的方法对连接词信息的利用并不充分，仅停留在特征抽取层迁移知识，且识别性能不是较为理想。
为了解决这一技术问题，本发明提出一种基于知识蒸馏和多任务学习的篇章关系识别方法，请参阅图1至图3，所述方法包括如下步骤：
S101，以标注了连接词与隐式篇章关系类别的隐式篇章关系实例作为训练实例。
具体的，训练语料中标注有连接词和关系类别的任一隐式篇章关系训练实例可表示为
Figure 556968DEST_PATH_IMAGE001
。其中，
Figure 379431DEST_PATH_IMAGE002
表示隐式篇章关系训练实例的两个论元，
Figure 912043DEST_PATH_IMAGE003
表示标注时插入的连接词，即真实的连接词标记，
Figure 110943DEST_PATH_IMAGE004
表示标注的隐式篇章关系类别，即真实的类别标记。
S102，基于双向注意力机制分类模型构造连接词加强的教师模型，以所述连接词作为额外输入，对所述连接词加强的教师模型对应的代价函数进行迭代最小化处理直至收敛，以得到训练好的教师模型。
需要指出的是，教师模型是一个连接词加强的隐式篇章关系识别模型，以论元
Figure 45401DEST_PATH_IMAGE043
和标注时插入的连接词
Figure 71388DEST_PATH_IMAGE003
为输入。经特征抽取层后得到的教师模型特征表示为
Figure 91297DEST_PATH_IMAGE044
，经分类层后得到的教师模型预测结果表示为
Figure 828309DEST_PATH_IMAGE045
。
训练教师模型时，在训练语料上最小化教师模型代价函数（交叉熵分类代价函数）。其中，教师模型代价函数表示为：
Figure 617273DEST_PATH_IMAGE046
其中，
Figure 312697DEST_PATH_IMAGE007
为教师模型的参数，
Figure 554322DEST_PATH_IMAGE004
为标注的隐式篇章关系类别，
Figure 829446DEST_PATH_IMAGE008
为标注的隐式篇章关系类别
Figure 4075DEST_PATH_IMAGE004
对应的独热编码（One-hot Encoding），
Figure 339242DEST_PATH_IMAGE003
表示标注的连接词，
Figure 333742DEST_PATH_IMAGE009
表示预测结果关于标记类别的期望值，
Figure 412557DEST_PATH_IMAGE010
表示经所述连接词加强的教师模型的分类层后得到的预测结果，
Figure 176114DEST_PATH_IMAGE011
为训练实例集。
在此需要补充说明的是，连接词加强的教师模型模拟了人类标注隐式篇章关系的过程。在插入连接词
Figure 478919DEST_PATH_IMAGE003
的辅助下，其识别性能远高于仅以论元
Figure 429557DEST_PATH_IMAGE043
作为输入的多任务学习学生模型（例如，在PDTB语料的第一级隐式篇章关系分类任务上的准确率可以达到85%以上），这充分说明连接词加强的教师模型能很好地融合语料标注时插入的连接词信息。
S103，基于所述双向注意力机制分类模型构造多任务学习学生模型，引入连接词分类作为辅助任务，以确定基于多任务学习的代价函数，利用所述训练好的教师模型计算训练实例的特征和预测结果，以确定基于知识蒸馏的代价函数，继而确定学生模型总代价函数。
对多任务学习学生模型而言，其是一个基于多任务学习的篇章关系识别模型。以连接词分类作为辅助任务，即给定隐式篇章关系实例
Figure 577642DEST_PATH_IMAGE002
，预测一个适合连接两个论元的连接词；以隐式篇章关系识别作为主任务。两个相关任务（隐式篇章关系识别任务以及连接词分类任务）的模型共享特征抽取层，并分别使用各自的分类层。具体的，请参见图3，分类层1用于隐式篇章关系识别任务，分类层2用于连接词分类任务。通过共享的特征抽取层，两个相关任务的模型可以交换信息，从而达到共同促进的效果。多任务学习学生模型仅以论元
Figure 930126DEST_PATH_IMAGE047
作为输入，经过共享的特征抽取层后得到的学生模型特征表示为
Figure 138253DEST_PATH_IMAGE048
，经分类层1后得到的多任务学习学生模型对应于隐式篇章关系识别的预测结果表示为
Figure 841767DEST_PATH_IMAGE023
，经分类层2后得到的多任务学习学生模型对应于连接词分类的预测结果表示为
Figure 262384DEST_PATH_IMAGE027
。
在训练多任务学习学生模型时，为了让模型能够尽可能地拟合训练实例
Figure 266112DEST_PATH_IMAGE049
，需要最小化基于多任务学习的代价函数，即同时最小化对应于隐式篇章关系识别的交叉熵分类代价函数和其对应于连接词分类的交叉熵分类代价函数。
具体的，对应于隐式篇章关系识别的交叉熵分类代价函数表示为：
Figure 379562DEST_PATH_IMAGE021
其中，
Figure 68907DEST_PATH_IMAGE022
为学生模型的参数，
Figure 558794DEST_PATH_IMAGE004
为标注的隐式篇章关系类别，
Figure 620291DEST_PATH_IMAGE008
表示标注的隐式篇章关系类别
Figure 435800DEST_PATH_IMAGE004
对应的独热编码，
Figure 848327DEST_PATH_IMAGE009
表示预测结果关于标记类别的期望值，
Figure 141905DEST_PATH_IMAGE023
表示经学生模型分类层1后得到关于隐式篇章关系的预测结果，
Figure 589067DEST_PATH_IMAGE011
为训练实例集。
对应于连接词分类的交叉熵分类代价函数表示为：
Figure 778740DEST_PATH_IMAGE024
其中，
Figure 209721DEST_PATH_IMAGE022
为多任务学习学生模型的参数，
Figure 775832DEST_PATH_IMAGE003
表示标注的连接词，
Figure 343079DEST_PATH_IMAGE025
表示标注的连接词
Figure 703653DEST_PATH_IMAGE003
对应的独热编码，
Figure 356352DEST_PATH_IMAGE026
表示预测结果关于标注连接词的期望值，
Figure 991732DEST_PATH_IMAGE027
表示经学生模型分类层2后得到关于连接词的预测结果，
Figure 882328DEST_PATH_IMAGE011
为训练实例集。
为了从教师模型中学习融合了连接词信息的分类知识，本发明采用知识蒸馏的方法，基本思想是让学生模型尽可能地模拟教师模型的行为。
一方面，希望多任务学习学生模型和连接词加强的教师模型学到的特征
Figure 210541DEST_PATH_IMAGE050
和
Figure 819377DEST_PATH_IMAGE051
能尽可能地接近，从而实现两个模型在特征抽取层的知识迁移。从教师模型在PDTB数据集上的识别性能远高于学生模型可以看出，教师模型特征
Figure 524028DEST_PATH_IMAGE051
含有比学生模型特征
Figure 534709DEST_PATH_IMAGE050
更多的对隐式篇章关系识别有用的信息。
具体地，定义学生模型中对应于特征抽取层知识蒸馏的代价函数为：
Figure 768244DEST_PATH_IMAGE028
其中，
Figure 631420DEST_PATH_IMAGE029
表示均方误差，
Figure 608604DEST_PATH_IMAGE022
为学生模型的参数，
Figure 473792DEST_PATH_IMAGE044
表示经所述连接词加强的教师模型特征抽取层后得到的特征，
Figure 878228DEST_PATH_IMAGE050
表示经所述多任务学习学生模型特征抽取层后得到的特征，
Figure 461656DEST_PATH_IMAGE011
为训练实例集。
另一方面，希望多任务学习学生模型和连接词加强的教师模型最终的预测结果
Figure 976951DEST_PATH_IMAGE023
和
Figure 962225DEST_PATH_IMAGE052
能尽可能地接近，从而实现两个模型在分类层的知识迁移。以独热编码表示的真实类别标记
Figure 803142DEST_PATH_IMAGE004
可看作是一种硬标记（Hard Label），而教师模型的预测结果
Figure 873866DEST_PATH_IMAGE053
可以看作是一种软标记（Soft Label），通常认为软标记含有更多的类别信息。例如，类别之间的相似度信息。具体地，定义多任务学习学生模型中对应于分类层知识蒸馏的代价函数为：
Figure 192852DEST_PATH_IMAGE032
其中，
Figure 298211DEST_PATH_IMAGE033
表示两个概率分布之间的KL（Kullback-Leibler）距离，
Figure 778871DEST_PATH_IMAGE005
为带连接词信息的隐式篇章关系训练实例，
Figure 602470DEST_PATH_IMAGE010
表示经所述连接词加强的教师模型分类层后得到的预测结果，
Figure 725147DEST_PATH_IMAGE023
表示所述多任务学习学生模型分类层1后得到的预测结果。
最后，多任务学习学生模型总代价函数定义为基于多任务学习的代价函数和基于知识蒸馏的代价函数的线性求和。
具体的，多任务学习学生模型总代价函数表示为：
Figure 419434DEST_PATH_IMAGE012
其中，
Figure 336574DEST_PATH_IMAGE022
为学生模型的参数，
Figure 381891DEST_PATH_IMAGE015
分别为基于多任务学习的代价函数和基于知识蒸馏的代价函数的权重系数；基于多任务学习的代价函数包括两部分：
Figure 42679DEST_PATH_IMAGE016
为对应于隐式篇章关系识别的交叉熵代价函数，
Figure 591472DEST_PATH_IMAGE017
为对应于连接词分类的交叉熵代价函数；基于知识蒸馏的代价函数包括两部分：
Figure 210672DEST_PATH_IMAGE018
为对应于特征抽取层知识蒸馏的代价函数，
Figure 743285DEST_PATH_IMAGE019
为对应于分类层知识蒸馏的代价函数。
S104，迭代最小化所述学生模型总代价函数直至收敛，以输出训练好的学生模型，进而用于识别测试实例的隐式篇章关系。
算法1描述了基于知识蒸馏和多任务学习的篇章关系识别方法的训练过程。
具体的，整个训练过程分成两个阶段：第一阶段基于代价函数
Figure 530518DEST_PATH_IMAGE054
训练连接词加强的教师模型（步骤1~5），第二阶段基于代价函数
Figure 933818DEST_PATH_IMAGE055
训练多任务学生模型（步骤6~12）。为了简洁，算法1中省略了基于验证数据集判定模型是否收敛的步骤，最终训练好的多任务学习学生模型就是需要的隐式篇章关系识别模型。
算法1 训练算法
输入：训练实例集
Figure 458340DEST_PATH_IMAGE011
，最大训练轮数
Figure 478248DEST_PATH_IMAGE056
输出：训练好的多任务学习学生模型
1. 构造教师模型，并随机初始化参数
Figure 480839DEST_PATH_IMAGE057
2. 重复以下步骤：
3. 从训练实例集
Figure 4225DEST_PATH_IMAGE011
中取出一批实例
Figure 699648DEST_PATH_IMAGE058
4. 最小化连接词加强的教师模型代价函数
Figure 675695DEST_PATH_IMAGE054
，更新参数
Figure 481977DEST_PATH_IMAGE007
5. 直到：模型收敛或达到最大训练轮数
Figure 125447DEST_PATH_IMAGE059
6. 构造多任务学习学生模型，并随机初始化参数
Figure 991772DEST_PATH_IMAGE022
7. 重复以下步骤：
8. 从训练实例集
Figure 986273DEST_PATH_IMAGE011
中取出一批实例
Figure 65088DEST_PATH_IMAGE058
9. 基于训练好的连接词加强的教师模型计算对应的特征
Figure 828644DEST_PATH_IMAGE060
10. 基于训练好的连接词加强的教师模型计算对应的预测结果
Figure 334712DEST_PATH_IMAGE061
11. 最小化多任务学习学生模型代价函数
Figure 816509DEST_PATH_IMAGE055
，更新参数
Figure 699014DEST_PATH_IMAGE022
12. 直到：模型收敛或达到最大训练轮数
Figure 582657DEST_PATH_IMAGE062
与此同时，在本发明中，对上述的双向注意力机制分类模型而言，其常用于建模两个句子之间的语义关系，例如，文本蕴含识别、自动问答和句子语义匹配等。
请参阅图4，具体的，上述双向注意力机制分类模型包括编码层、交互层、聚合层以及分类层。其中，上述的特征抽取层由编码层、交互层以及聚合层组成。此外，所述编码层用于学习论元中的词在上下文中的表示，所述编码层表示为：
Figure 790784DEST_PATH_IMAGE035
其中，
Figure 228719DEST_PATH_IMAGE036
分别为论元1中的第
Figure 914915DEST_PATH_IMAGE037
个词的词向量及其在上下文中的表示，
Figure 653064DEST_PATH_IMAGE038
分别为论元2中的第
Figure 500934DEST_PATH_IMAGE039
个词的词向量及其上下文中的表示，
Figure 800066DEST_PATH_IMAGE040
和
Figure 24374DEST_PATH_IMAGE041
分别是两个论元中词的个数，
Figure 617029DEST_PATH_IMAGE042
均为双向长短时记忆网络。
所述交互层表示为：
Figure 901380DEST_PATH_IMAGE063
其中，
Figure 94333DEST_PATH_IMAGE064
为一个全连接的多层前馈神经网络，
Figure 184649DEST_PATH_IMAGE065
为论元1中第
Figure 366231DEST_PATH_IMAGE037
个词和论元2中第
Figure 585598DEST_PATH_IMAGE039
个词的相关性权重；
Figure 751000DEST_PATH_IMAGE066
为与论元1中第
Figure 317111DEST_PATH_IMAGE037
个词相关的论元2中的词的表示，
Figure 884358DEST_PATH_IMAGE067
为与论元2中第
Figure 776091DEST_PATH_IMAGE039
个词相关的论元1中的词的表示，
Figure 428789DEST_PATH_IMAGE068
为另一个全连接的多层前馈神经网络，
Figure 533011DEST_PATH_IMAGE069
表示向量的拼接操作，
Figure 954765DEST_PATH_IMAGE070
和
Figure 282978DEST_PATH_IMAGE071
可看作是学到的局部语义关系表示。
上述的聚合层基于局部语义关系表示计算全局语义关系
Figure 891814DEST_PATH_IMAGE072
。其表达式具体如下所示：
Figure 330886DEST_PATH_IMAGE073
其中，
Figure 341567DEST_PATH_IMAGE074
表示经特征抽取层抽取后得到的特征，在学生模型和教师模型中分别表示为
Figure 575102DEST_PATH_IMAGE075
和
Figure 202393DEST_PATH_IMAGE076
。
此外，分类层用于计算最终的分类结果。具体如下所示：
Figure 648418DEST_PATH_IMAGE077
其中，
Figure 44764DEST_PATH_IMAGE078
由一个全连接的多层前馈神经网络和一个
Figure 449201DEST_PATH_IMAGE079
层组成；
Figure 298208DEST_PATH_IMAGE080
是最终的分类结果。
对连接词加强的教师模型而言，可直接基于上述双向注意力机制分类模型构建，仅需以连接词加强输入，即模型的输入为
Figure 547924DEST_PATH_IMAGE081
，具体地，把连接词
Figure 300241DEST_PATH_IMAGE003
拼接在
Figure 875579DEST_PATH_IMAGE047
中论元2的开头，作为新的论元2。学习到的特征表示为
Figure 946303DEST_PATH_IMAGE044
，预测结果表示为
Figure 265289DEST_PATH_IMAGE045
。
对多任务学习学生模型而言，需要简单扩展上述双向注意力机制分类模型构建，隐式篇章关系识别任务和连接词分类任务共享特征抽取层，但分别使用各自的分类层。具体地，对输入实例
Figure 370648DEST_PATH_IMAGE047
，经过共享特征抽取层得到的特征为
Figure 851308DEST_PATH_IMAGE048
，然后，基于分类层1计算对应于隐式篇章关系识别的预测结果为：
Figure 674908DEST_PATH_IMAGE082
其中，
Figure 797585DEST_PATH_IMAGE083
由一个全连接的多层前馈神经网络和一个
Figure 491871DEST_PATH_IMAGE079
层组成；基于分类层2计算对应于连接词分类的预测结果为：
Figure 409011DEST_PATH_IMAGE084
其中，
Figure 454328DEST_PATH_IMAGE085
由一个全连接的多层前馈神经网络和一个
Figure 380696DEST_PATH_IMAGE079
层组成。
本发明提出的基于知识蒸馏和多任务学习的篇章关系识别方法，以标注了连接词和类别的隐式篇章关系实例作为训练实例，目的是充分利用语料标注时插入的连接词信息；首先基于双向注意力机制分类模型构造连接词加强的教师模型，以连接词作为额外的输入，迭代最小化其代价函数直至收敛，以得到训练好的教师模型；然后对所构建的多任务学生模型进行训练，基于多任务学习和知识蒸馏的方法构建总代价函数，对总代价函数进行最小化迭代处理直至收敛，从而输出训练好的多任务学习学生模型。
本发明提出的基于知识蒸馏和多任务学习的篇章关系识别方法，一方面，基于参数共享的方式（共享的特征抽取层）在连接词分类辅助任务和隐式篇章关系识别主任务之间共享知识，另一方面，将连接词增强的教师模型中的知识基于知识蒸馏技术从特征抽取层和分类层迁移到相应的隐式篇章关系识别模型（多任务学习学生模型）中，以充分利用语料标注时插入的连接词信息提高学生模型的识别性能。本发明提出的方法，在常用PDTB数据集的第一级和第二级隐式篇章关系上，比同类方法取得了更好的识别性能。
请参阅图5，对于本发明第二实施例提出的基于知识蒸馏和多任务学习的篇章关系识别装置，其中，所述装置包括依次连接的训练输入模块111、第一构造模块112、第二构造模块113以及训练输出模块114；
其中所述训练输入模块111具体用于：
以标注了连接词与隐式篇章关系类别的隐式篇章关系实例作为训练实例；
所述第一构造模块112具体用于：
基于双向注意力机制分类模型构造连接词加强的教师模型，以所述连接词作为额外输入，对所述连接词加强的教师模型对应的代价函数进行迭代最小化处理直至收敛，以得到训练好的教师模型；
所述第二构造模块113具体用于：
基于所述双向注意力机制分类模型构造多任务学习学生模型，引入连接词分类作为辅助任务，以确定基于多任务学习的代价函数，利用所述训练好的教师模型计算训练实例的特征和预测结果，以确定基于知识蒸馏的代价函数，继而确定学生模型总代价函数；
所述训练输出模块114具体用于：
迭代最小化所述学生模型总代价函数直至收敛，以输出训练好的学生模型，进而用于识别测试实例的隐式篇章关系。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，所述方法包括如下步骤：
以标注了连接词与隐式篇章关系类别的隐式篇章关系实例作为训练实例；
基于双向注意力机制分类模型构造连接词加强的教师模型，以所述连接词作为额外输入，对所述连接词加强的教师模型对应的代价函数进行迭代最小化处理直至收敛，以得到训练好的教师模型；
基于所述双向注意力机制分类模型构造多任务学习学生模型，引入连接词分类作为辅助任务，以确定基于多任务学习的代价函数，利用所述训练好的教师模型计算训练实例的特征和预测结果，以确定基于知识蒸馏的代价函数，继而确定学生模型总代价函数；
迭代最小化所述学生模型总代价函数直至收敛，以输出训练好的学生模型，进而用于识别测试实例的隐式篇章关系。
2.根据权利要求1所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，在所述训练实例中，标注了所述连接词与所述隐式篇章关系类别的隐式篇章关系实例表示为
Figure 515240DEST_PATH_IMAGE001
；
其中，
Figure 150489DEST_PATH_IMAGE002
表示所述隐式篇章关系训练实例，其中，
Figure 399068DEST_PATH_IMAGE003
表示所述隐式篇章关系训练实例中的论元1，
Figure 263119DEST_PATH_IMAGE004
表示所述隐式篇章关系训练实例中的论元2，
Figure 811912DEST_PATH_IMAGE005
表示标注的连接词，
Figure 352484DEST_PATH_IMAGE006
表示标注的隐式篇章关系类别。
3.根据权利要求2所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，在所述连接词加强的教师模型中，输入为
Figure 88358DEST_PATH_IMAGE007
对应的代价函数表示为：
Figure 21679DEST_PATH_IMAGE008
其中，
Figure 159400DEST_PATH_IMAGE009
为教师模型的参数，
Figure 887184DEST_PATH_IMAGE010
为标注的隐式篇章关系类别
Figure 362552DEST_PATH_IMAGE006
对应的独热编码，
Figure 568406DEST_PATH_IMAGE011
表示预测结果关于标记类别的期望值，
Figure 826212DEST_PATH_IMAGE012
表示经所述连接词加强的教师模型的分类层后得到的预测结果，
Figure 724898DEST_PATH_IMAGE013
为训练实例集。
4.根据权利要求2所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，在所述多任务学习学生模型中，所述学生模型总代价函数表示为：
Figure 435365DEST_PATH_IMAGE014
其中，
Figure 694177DEST_PATH_IMAGE015
为所述学生模型总代价函数，
Figure 806489DEST_PATH_IMAGE016
为学生模型的参数，
Figure 876076DEST_PATH_IMAGE017
分别为基于多任务学习的代价函数和基于知识蒸馏的代价函数的权重系数；
所述基于多任务学习的代价函数包括两部分：
Figure 73839DEST_PATH_IMAGE018
为对应于隐式篇章关系识别的交叉熵代价函数，
Figure 621495DEST_PATH_IMAGE019
为对应于连接词分类的交叉熵代价函数；所述基于知识蒸馏的代价函数包括两部分：
Figure 103161DEST_PATH_IMAGE020
为对应于特征抽取层知识蒸馏的代价函数，
Figure 609229DEST_PATH_IMAGE021
为对应于分类层知识蒸馏的代价函数。
5.根据权利要求4所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，在所述多任务学习学生模型中，输入为
Figure 28709DEST_PATH_IMAGE022
，对应于隐式篇章关系识别的交叉熵代价函数表示为：
Figure 380056DEST_PATH_IMAGE023
其中，
Figure 466961DEST_PATH_IMAGE010
为标注的隐式篇章关系类别
Figure 127618DEST_PATH_IMAGE006
对应的独热编码，
Figure 299973DEST_PATH_IMAGE011
表示预测结果关于标记类别的期望值，
Figure 189432DEST_PATH_IMAGE024
表示经所述多任务学习学生模型分类层1后得到的对应于隐式篇章关系识别的预测结果，
Figure 396422DEST_PATH_IMAGE013
为训练实例集。
6.根据权利要求4所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，所述多任务学习学生模型中对应于连接词分类的交叉熵代价函数表示为：
Figure 978713DEST_PATH_IMAGE025
其中，
Figure 638365DEST_PATH_IMAGE026
为标注的连接词
Figure 583712DEST_PATH_IMAGE005
的独热编码，
Figure 114050DEST_PATH_IMAGE027
表示预测结果关于标注连接词的期望值，
Figure 132822DEST_PATH_IMAGE028
表示经学生模型分类层2后得到的对应于连接词分类的预测结果，
Figure 14190DEST_PATH_IMAGE013
为训练实例集。
7.根据权利要求4所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，所述多任务学习学生模型中对应于特征抽取层知识蒸馏的代价函数表示为：
Figure 776610DEST_PATH_IMAGE029
其中，
Figure 676301DEST_PATH_IMAGE030
表示均方误差，
Figure 600395DEST_PATH_IMAGE031
表示经所述连接词加强的教师模型特征抽取层后得到的特征，
Figure 969060DEST_PATH_IMAGE032
表示经所述多任务学习学生模型的特征抽取层后得到的特征，
Figure 4012DEST_PATH_IMAGE013
为训练实例集。
8.根据权利要求4所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，所述多任务学习学生模型中对应于分类层知识蒸馏的代价函数表示为：
Figure 40101DEST_PATH_IMAGE033
其中，
Figure 118784DEST_PATH_IMAGE034
表示两个概率分布之间的KL距离，
Figure 240324DEST_PATH_IMAGE012
表示经所述连接词加强的教师模型分类层后得到的预测结果，
Figure 78967DEST_PATH_IMAGE035
表示经所述多任务学习学生模型分类层1后得到的预测结果。
9.根据权利要求2所述的基于知识蒸馏和多任务学习的篇章关系识别方法，其特征在于，所述双向注意力机制分类模型包括编码层、交互层、聚合层以及分类层，其中所述编码层用于学习论元中的词在上下文中的表示，所述编码层表示为：
Figure 703983DEST_PATH_IMAGE036
其中，
Figure 969880DEST_PATH_IMAGE037
分别为论元1中的第
Figure 296825DEST_PATH_IMAGE038
个词的词向量及其在上下文中的表示，
Figure 204738DEST_PATH_IMAGE039
分别为论元2中的第
Figure 684261DEST_PATH_IMAGE040
个词的词向量及其上下文中的表示，
Figure 386637DEST_PATH_IMAGE041
和
Figure 951611DEST_PATH_IMAGE042
分别是两个论元中词的个数，
Figure 384254DEST_PATH_IMAGE043
均为双向长短时记忆网络。
10.一种基于知识蒸馏和多任务学习的篇章关系识别装置，其特征在于，所述装置包括：
训练输入模块，用于以标注了连接词与隐式篇章关系类别的隐式篇章关系实例作为训练实例；
第一构造模块，用于基于双向注意力机制分类模型构造连接词加强的教师模型，以所述连接词作为额外输入，对所述连接词加强的教师模型对应的代价函数进行迭代最小化处理直至收敛，以得到训练好的教师模型；
第二构造模块，用于基于所述双向注意力机制分类模型构造多任务学习学生模型，引入连接词分类作为辅助任务，以确定基于多任务学习的代价函数，利用所述训练好的教师模型计算训练实例的特征和预测结果，以确定基于知识蒸馏的代价函数，继而确定学生模型总代价函数；
训练输出模块，用于迭代最小化所述学生模型总代价函数直至收敛，以输出训练好的学生模型，进而用于识别测试实例的隐式篇章关系。
CN202110078740.7A 2021-01-21 2021-01-21 基于知识蒸馏和多任务学习的篇章关系识别方法与装置 Active CN112395876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110078740.7A CN112395876B (zh) 2021-01-21 2021-01-21 基于知识蒸馏和多任务学习的篇章关系识别方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110078740.7A CN112395876B (zh) 2021-01-21 2021-01-21 基于知识蒸馏和多任务学习的篇章关系识别方法与装置

Publications (2)

Publication Number Publication Date
CN112395876A CN112395876A (zh) 2021-02-23
CN112395876B true CN112395876B (zh) 2021-04-13

Family

ID=74625591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110078740.7A Active CN112395876B (zh) 2021-01-21 2021-01-21 基于知识蒸馏和多任务学习的篇章关系识别方法与装置

Country Status (1)

Country Link
CN (1) CN112395876B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177415B (zh) * 2021-04-30 2024-06-07 科大讯飞股份有限公司 语义理解方法、装置、电子设备和存储介质
CN113377915B (zh) * 2021-06-22 2022-07-19 厦门大学 对话篇章解析方法
CN113807540A (zh) * 2021-09-17 2021-12-17 北京搜狗科技发展有限公司 一种数据处理方法及装置
CN114898124A (zh) * 2022-05-10 2022-08-12 复旦大学 一种多智能体在线进化学习的机器学习方法
CN115271272B (zh) * 2022-09-29 2022-12-27 华东交通大学 多阶特征优化与混合型知识蒸馏的点击率预测方法与系统
CN116028630B (zh) * 2023-03-29 2023-06-02 华东交通大学 基于对比学习和Adapter网络的隐式篇章关系识别方法及系统
CN116432752B (zh) * 2023-04-27 2024-02-02 华中科技大学 一种隐式篇章关系识别模型的构建方法及其应用

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273358A (zh) * 2017-06-18 2017-10-20 北京理工大学 一种基于管道模式的端到端英文篇章结构自动分析方法
CN107330032A (zh) * 2017-06-26 2017-11-07 北京理工大学 一种基于递归神经网络的隐式篇章关系分析方法
US10303771B1 (en) * 2018-02-14 2019-05-28 Capital One Services, Llc Utilizing machine learning models to identify insights in a document
CN110633473A (zh) * 2019-09-25 2019-12-31 华东交通大学 基于条件随机场的隐式篇章关系识别方法与系统
US10606952B2 (en) * 2016-06-24 2020-03-31 Elemental Cognition Llc Architecture and processes for computer learning and understanding
CN111428525A (zh) * 2020-06-15 2020-07-17 华东交通大学 隐式篇章关系识别方法、系统及可读存储介质
CN111538841A (zh) * 2020-07-09 2020-08-14 华东交通大学 基于知识互蒸馏的评论情感分析方法、装置及系统
EP3699753A1 (en) * 2019-02-25 2020-08-26 Atos Syntel, Inc. Systems and methods for virtual programming by artificial intelligence
CN111695341A (zh) * 2020-06-16 2020-09-22 北京理工大学 一种基于篇章结构图卷积的隐式篇章关系分析方法和系统
EP3593262A4 (en) * 2017-03-10 2020-12-09 Eduworks Corporation AUTOMATED TOOL FOR GENERATING QUESTIONS

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO316480B1 (no) * 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
CN111651974B (zh) * 2020-06-23 2022-11-01 北京理工大学 一种隐式篇章关系分析方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10606952B2 (en) * 2016-06-24 2020-03-31 Elemental Cognition Llc Architecture and processes for computer learning and understanding
EP3593262A4 (en) * 2017-03-10 2020-12-09 Eduworks Corporation AUTOMATED TOOL FOR GENERATING QUESTIONS
CN107273358A (zh) * 2017-06-18 2017-10-20 北京理工大学 一种基于管道模式的端到端英文篇章结构自动分析方法
CN107330032A (zh) * 2017-06-26 2017-11-07 北京理工大学 一种基于递归神经网络的隐式篇章关系分析方法
US10303771B1 (en) * 2018-02-14 2019-05-28 Capital One Services, Llc Utilizing machine learning models to identify insights in a document
EP3699753A1 (en) * 2019-02-25 2020-08-26 Atos Syntel, Inc. Systems and methods for virtual programming by artificial intelligence
CN110633473A (zh) * 2019-09-25 2019-12-31 华东交通大学 基于条件随机场的隐式篇章关系识别方法与系统
CN111428525A (zh) * 2020-06-15 2020-07-17 华东交通大学 隐式篇章关系识别方法、系统及可读存储介质
CN111695341A (zh) * 2020-06-16 2020-09-22 北京理工大学 一种基于篇章结构图卷积的隐式篇章关系分析方法和系统
CN111538841A (zh) * 2020-07-09 2020-08-14 华东交通大学 基于知识互蒸馏的评论情感分析方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向不平衡数据的隐式篇章关系分类方法研究;朱珊珊等;《中文信息学报》;20151115;第29卷(第6期);110-118 *

Also Published As

Publication number Publication date
CN112395876A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112395876B (zh) 基于知识蒸馏和多任务学习的篇章关系识别方法与装置
Wu et al. Neural metaphor detecting with CNN-LSTM model
WO2023024412A1 (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN111428525B (zh) 隐式篇章关系识别方法、系统及可读存储介质
Gao et al. Named entity recognition method of Chinese EMR based on BERT-BiLSTM-CRF
Zhang et al. Aspect-based sentiment analysis for user reviews
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN112232053B (zh) 一种基于多关键词对匹配的文本相似度计算系统、方法、及存储介质
Zhang et al. n-BiLSTM: BiLSTM with n-gram Features for Text Classification
CN109086269B (zh) 一种基于语义资源词表示和搭配关系的语义双关语识别方法
CN112163429A (zh) 结合循环网络及bert的句子相关度获取方法、系统及介质
CN113743099A (zh) 基于自注意力机制方面术语提取系统、方法、介质、终端
CN111783461A (zh) 一种基于句法依存关系的命名实体识别方法
CN111651973A (zh) 一种基于句法感知的文本匹配方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
Chen et al. Research on automatic essay scoring of composition based on CNN and OR
CN114881042A (zh) 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN115510230A (zh) 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法
CN114970536A (zh) 一种分词、词性标注和命名实体识别的联合词法分析方法
CN115048936A (zh) 融合词性信息的方面级情感三元组抽取方法
O’Neill et al. Meta-embedding as auxiliary task regularization
Hughes Automatic inference of causal reasoning chains from student essays
Emami et al. Designing a deep neural network model for finding semantic similarity between short persian texts using a parallel corpus
CN113361259A (zh) 一种服务流程抽取方法
CN115906854A (zh) 一种基于多级对抗的跨语言命名实体识别模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240819

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region after: China

Address before: No. 808, Shuanggang East Street, Nanchang Economic and Technological Development Zone, Jiangxi Province

Patentee before: East China Jiaotong University

Country or region before: China