CN115841105A - 一种基于事件类型层级关系的事件抽取方法、系统及介质 - Google Patents
一种基于事件类型层级关系的事件抽取方法、系统及介质 Download PDFInfo
- Publication number
- CN115841105A CN115841105A CN202211151091.XA CN202211151091A CN115841105A CN 115841105 A CN115841105 A CN 115841105A CN 202211151091 A CN202211151091 A CN 202211151091A CN 115841105 A CN115841105 A CN 115841105A
- Authority
- CN
- China
- Prior art keywords
- event
- event type
- layer
- node
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 238000002679 ablation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000009411 base construction Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于自然语言处理、事件抽取领域,公开了一种基于事件类型层级关系的事件抽取方法、系统、设备及存储介质,包括以下步骤:从源数据中提取出事件类型层级关系和标有事件类型的句子实例,对层级关系进行扩展,获得扩展后的事件类型层级关系树;根据事件类型层级关系树和句子实例,训练一个事件类型多层分类器,对于句子中的每个词,该分类器能逐层地进行一个多分类;将要进行事件抽取的句子输入到多层分类器中,遍历每层分类结果,选择分数最高的路径的尾节点作为事件类型并返回。本发明充分利用了事件类型层级关系,并将事件的触发词提取和事件类型的分类合并成一个任务,有效降低了任务之间的误差传递,对事件抽取的效果有较为明显的提升。
Description
技术领域
本发明属于自然语言处理、事件抽取领域,尤其涉及一种基于事件类型层级关系的事件抽取方法、系统、设备及存储介质。
背景技术
目前,事件抽取技术用来从文本中抽取出能够表明事件发生的事件触发词,并将触发词分类到某一个预定义的事件类型中。在信息抽取中,事件抽取是一项重要的任务,并且对很多下游任务都有帮助,比如智能分析、阅读理解和知识库构建。
在现实世界中,每天都有很多不同类型的事件发生。根据我们在应用中不同的侧重点,事件类型可能会按照不同的粒度进行定义。因此不同的事件类型之间不是互相独立的,而是有着语义上的关系。事实上,两种不同类型的事件关系之间很可能存在一个上下位词关系,其中前者是后者的一个更特化的类型,后者是前者的一个更泛化的类型。根据这样的语义关系,事件类型可以形成一个层级化结构。在这个结构中,粗粒度的事件关系在顶部,细粒度的事件关系是底部。
但是在过去的事件抽取工作中,这种层级结构并没有被合理地考虑在内,而事件抽取也仅仅是被简单地当作一个多分类任务来建模处理,即:给定一个句子和可选的辅助信息,使用模型对每个单词进行编码获得上下文表示,然后输出最合适的事件类型。
尽管类型层级经常被忽略,但是直觉上如果在事件抽取中考虑这种层级关系,会对抽取结果有一个较为明显的提升。之所以有这种直觉上的考量,是基于如下三个观测结果:
(1)同一个父类别下的子类别同属一个更广阔的范畴里,因此相比其他类别,它们之间在语义上更为相似,因此在每一层一致地考虑它们能够对它们之间共有的特征的学习更有帮助。
(2)父类型和子类型之间是语义相关而非互相独立的,这种语义关系应该被充分挖掘,而非将其视为同一级别的节点独立地进行特征表示的学习。
(3)在层级结构中,当且仅当父类型有效的时候,子类型才有效,即较低层类型的实例其实也是较高层类型的实例,因此较高层类型有着更多的训练实例,在训练中使用它们能够使模型获得更鲁棒更精确的抽取效果。
事实上,已经有工作在一些其他任务中考虑这种类型层级关系了,比如细粒度的实体分类。这些工作的一个共同做法是做一个自顶向下的搜索,在每一个分岔处决定往哪个方向继续细化。但是这里其实还有一个问题,就是在遍历整个搜索空间的时候,但是如果在某些分岔处发生局部的错误,那么最终的类型分类结果就会是错误的。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有技术并未将层级结构合理考虑在内,并且只是将事件抽取简单地当做一个多分类任务处理。
(2)现有的考虑类型层级关系的方法如果在某些分岔处发生局部的错误,会导致最终的类型分类结果错误的。
发明内容
针对现有技术存在的问题,本发明提供了一种基于事件类型层级关系的事件抽取方法、系统、设备及存储介质。
本发明是这样实现的,一种基于事件类型层级关系的事件抽取方法,将事件抽取建模成一个路径打分过程,即基于事件类型的层级关系构建层级关系树,对每一条从根节点到某一特定事件类型的路径进行打分,然后全局的选择分数最高的路径所对应的事件类型返回。
进一步,所述事件抽取方法包括以下步骤:
步骤一,从源数据中提取出事件类型层级关系和标有事件类型的句子实例,对事件类型层级关系进行扩展,构建成一棵事件类型层级关系树;
步骤二,根据所述事件类型层级关系树和句子实例训练多层分类器,所述多层分类器在层级关系树中对句子实例中的每个单词逐层地进行多分类;
步骤三,将要进行事件抽取的句子输入到所述多层分类器中,根据每个单词的每层分类结果,找到一条最匹配的路径,将该路径上最后一个节点对应的事件类型返回,作为该单词对应的事件类型,如果有多个单词对应多个不同类型的事件,则这个句子含有多个类型的事件。
进一步,所述步骤一还包括,根据事件类型的上下位关系,构建事件类型层级关系树,根节点为Event节点,其余每个节点都是其父节点的特化事件类型。
进一步,所述步骤一还包括,所述事件类型层级关系树上的节点分为实节点和虚节点,实节点表示该事件类型在源数据中有对应的句子实例,虚节点表示没有对应的句子实例。
进一步,所述步骤一还包括,对所述事件类型层级关系树添加None实节点,表示某个词不含有任何类型的事件,再添加一个Root虚节点作为整个树的根节点,以此形成一个完整的树结构。
进一步,所述None实节点的下一层添加一个stop节点,并将它们连接起来,每层共享一个stop节点。
进一步,所述步骤二还包括,获取单词的特征表示以及节点的特征表示,所述单词的特征表示是将所述句子实例输入到句编码器中,经过一层非线性单元所获得;
所述节点的特征表示是利用RNN网络来捕获事件类型之间的上下位语义关系,同时,将每一条从Root节点到非stop节点的路径输入到RNN网络中,将所述RNN网络输出的最后一步的隐藏层作为所述路径最后一个节点的特征表示。
进一步,所述句编码器包括BERT、BiLSTM,所述非线性单元的激活函数为GeLU函数。
进一步,所述步骤二还包括,将所述单词的特征表示输入到一个三层的前馈神经网络中,激活函数为tanh,然后使用内积计算单词的特征表示和节点的特征表示之间的向量相似度,作为匹配分数。
进一步,所述步骤二还包括,将所述层级关系树中从Root到每个实例对应的事件类型节点的路径上的每种事件类型都作为同层节点的正确分类结果,然后对每一层都进行一个多分类任务;
所述匹配分数作为每层各个节点的分类概率,通过最小化各层分类损失来不断训练多层分类器。
进一步,所述最小化各层分类损失是利用AdamW优化器优化损失函数,所述损失函数为level focal loss,其用于对各层赋予不同的权重,然后将各层损失加权求和,所述level focal loss为:
其中,JLF(w,Y)表示单词w和所有层正确类型之间的分类误差损失,ky表示类型y对应的层数,α(k)是第k层的权重,计算如下:
其中,γ≥0是超参数。
进一步,所述level focal loss损失函数中添加偏置项进行优化,最终的损失函数为:
进一步,所述步骤三还包括,聚合所述各层分类结果,得到某个单词对各条路径的匹配分数,计算方式如下:
本发明的另一目的在于提供一种实施所述基于事件类型层级关系的事件抽取系统,所述基于事件类型层级关系的事件抽取系统包括:
编码器模块,用于构建事件类型关系树,获得句子实例中单词的特征表示和事件类型关系树中节点的特征表示,计算单词与节点之间的匹配分数,训练多层分类器;
解码器模块,用于利用多层分类器对要进行事件抽取的句子中的每个单词进行逐层分类,并聚合分类结果,并根据分类结果返回句子对应的事件类型。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述基于事件类型层级关系的事件抽取方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述基于事件类型层级关系的事件抽取方法的步骤。
结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:
针对现有事件抽取方法存在的不足,本发明提供了一种基于事件类型层级关系的事件抽取方法,将事件抽取建模成一个路径打分过程,即基于事件类型的层级关系构建层级关系树,对每一条从根节点到某一特定事件类型的路径进行打分,然后全局的选择分数最高的路径所对应的事件类型返回。本发明能够充分利用事件类型层级关系信息,从而增强模型对于事件类型语义表示的学习。同时,将事件的触发词提取和事件类型的分类合并成一个任务,可以有效降低任务之间的误差传递,对事件抽取的效果有较为明显的提升。除此之外,本发明在利用事件类型层级关系的同时,根据整条路径的打分情况决定最终的事件类型,可以有效避免现有方法的错误积累问题。
本发明提供的事件抽取方法能够识别自然语言文本中的事件触发词以及触发词类型,本发明充分利用了事件类型的层级关系信息,从而能提高事件抽取的效果。
本发明的技术方案转化后的预期收益和商业价值为:本发明的技术可以用于事件抽取任务,是构建事理知识图谱的重要环节。事理知识图谱在用户推荐、社交网络、金融等领域具有重要的应用前景。
本发明的技术方案填补了国内外业内技术空白:现有的事件抽取方法少有利用事件类型的层级关系信息来辅助模型进行事件抽取任务,部分方法虽然一定程度上利用了事件类型的层级关系信息,但会造成错误累积的问题,即如果在路径分岔处分类错误,那么得到的最终分类结果就是错误的。本发明提出的对整体路径评分的方法避免了这种问题。
附图说明
图1是本发明实施例提供的方法流程图。
图2是本发明实施例提供的事件类型层级关系用例图。
图3是本发明实施例提供的扩展后的事件类型层级树结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了使本领域技术人员充分了解本发明如何具体实现,该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示,本发明实施例提供的基于事件类型层级关系的事件抽取方法包括如下步骤:
步骤一,从源数据中提取出事件类型层级关系和标有事件类型的句子实例,对事件类型层级关系进行扩展,构建成一棵事件类型层级关系树;
步骤二,对所述事件类型层级关系树和句子实例训练多层分类器,所述多层分类器在层级关系树中对句子实例中的每个单词逐层地进行多分类;
步骤三,将要进行事件抽取的句子输入到所述多层分类器中,根据每个单词的每层分类结果,找到一条最匹配的路径,将该路径上最后一个节点对应的事件类型返回,作为该单词对应的事件类型,如果有多个单词对应多个不同类型的事件,则这个句子含有多个类型的事件。
进一步,给定源数据,先从中提取出所有的事件类型和事件类型之间的层级关系。在这种层级关系中,事件类型之间存在上下位关系,根据这种上下位关系可以构造一棵层级关系树,树的根节点是Event节点,表示所有可能的事件类型。
如图2所示,本发明实施例提供了一个事件类型层级关系树的例子。在图2中犯罪节点是法律方面的行为节点的子节点,表明前者是后者进一步特化的事件类型。同样地,犯罪节点又是偷窃节点的父节点,表明前者是后者得更为泛化的事件类型。在这种层级关系树中,较粗粒度的事件类型总是其对应的较细粒度的事件类型的父节点。此外,树中的节点分为实节点和虚节点,实节点表示在源数据中有对应的句子示例,而虚节点则没有句子示例。如图2中的Event节点、情感节点和帮助节点为虚节点,其余为实节点。
在得到这样的一棵事件类型层级关系树之后,需要对其进行扩展。由于一条句子有可能并不含有任何事件类型,因此首先需要在树中加入None节点表示这种情况,加入的None节点与Event节点在同一层上;然后在它们之上再加入一个Root虚节点作为它们的公共父节点,以此形成一棵完整的层级关系树。
对于树上的每个实节点,还需要在其下一层加入一个stop节点,并在它们之间构建一条边,每一层共享一个stop节点。通过这种方式,每一个实节点都有一条唯一的从Root节点到该节点,再到下一层stop节点的路径。
图3展示了一个扩展后的事件类型层级关系树的例子。在源数据中抽取出所有的句子实例,句子实例中的每一个单词都有一个对应的类型(包括所有事件类型以及表示非事件类型的None),这些事件类型在层级关系树中只可能是实节点。根据如上方式构建的事件类型层级关系树,每一种事件类型在树中都有一条唯一的从Root经过其本身到达下一层stop的路径,反过来讲这条路径就表示这种事件类型,且如果有下位事件类型,则不应该进行进一步的类型细化。
在事件类型层级关系中,事件类型以上下位关系被组织成一棵层级关系树,那么事件抽取模型应该挖掘这种语义关系,然后预测出最有可能的事件类型,并且这种事件类型并不一定是叶子节点,也可能是中间的实节点。
与现有技术不同的是,本发明将事件抽取中的触发词抽取和事件类型分类任务合二为一,将整个过程建模为路径打分任务,这种方式能够减少传递误差,进一步提高事件抽取的最终效果。
在源数据中获取的句子实例,除了有句子文本,还有对应的事件类型。对于每个实例,将Root节点到事件类型所对应的实节点的路径作为该实例所对应的正确路径。然后将句子文本输入到句编码器中,然后经过一层非线性单元来生成文本的特征表示,这里的句编码器可以是BERT、BiLSTM或者其他能够获取句子特征表示的模型,非线性单元的激活函数使用GeLU。
进一步,使用RNN来捕获事件类型之间的上下位语义关系。对于每一种事件类型,获取层级关系树中从Root到该事件类型的路径,然后将路径上的所有事件类型组成一个序列,输入到RNN中,将RNN输出中最后一步的隐层表示作为该事件类型的特征表示。
为了计算一个单词对某一种事件类型的匹配分数,我们先将该单词的特征表示输入到一个三层的前馈神经网络中,激活函数使用tanh,以此将其映射到与事件类型特征表示相同的语义空间中,然后使用内积计算它们之间的向量相似度,作为它们之间的匹配分数。
一般来说,在得到每个单词跟每种事件类型的匹配分数之后,可以据此直接计算多分类任务的损失,进而对分类器进行训练。但是在事件类型层级关系中,每种事件类型本质上也是其父节点所对应的事件类型,因此更好的做法是对事件类型层级关系树的每一层进行一次多分类,在实例对应的正确路径上,每个节点都是对应层的正确分类结果。每一层在做多分类任务的时候,都使用softmax函数计算分类到每个节点的置信度,之后每一层的损失计算如下:
J(k)(w,y(k))=-logP(w,y(k))
其中,J(k)(w,y(k))表示第k层单词w和该层正确类别y(k)之间的分类误差损失,log是以e为底的对数函数,P(w,y(k))是通过softmax计算地将单词w分类到正确类别y(k)的置信度。
在得到每一层的损失之后,最终损失即为将各层损失累加起来。但是在事件类型层级关系中,由于下层类型同时也是上层类型,因此上层类型会拥有更多的训练实例,这会导致不同层在优化损失的时候会出现不平衡的情况。此外,同一层的各个类型所拥有的训练实例可能本来就不平衡,而树状结构会进一步加剧这种不平衡的情况。
为了解决这两个问题,本发明提出了一种新型的level focal loss,即动态地对各层赋予不同的权重,然后将各层损失加权求和:
其中,JLF(w,Y)表示单词w和所有层正确类型之间的分类误差损失,ky表示类型y对应的层数,α(k)是第k层的权重,计算如下:
其中,γ≥0是超参数。
在实际训练的时候,由于不含有事件类型的实例远远大于其他事件类型的实例,因此在损失函数中也加入了一定的偏置来消除这个影响,最终的损失函数如下:
其中,θ表示模型参数,Nword表示所有训练实例中的单词总数,0≤β≤1表示偏置系数,是一个转换函数,当/>是″None″时取1否则取0,λ是L2正则化的系数。使用AdamW优化器来最小化这个损失函数。
在训练结束后,就得到了一个多层分类器。对于句子中的每一个单词,多层分类器能够输出它在事件类型层级关系树中每一层的分类结果。
进一步,将要进行事件抽取的句子输入到多层分类器中,得到所有单词在层级关系中各层的分类结果。通过聚合各层分类结果,得到某个单词对各条路径的匹配分数,计算方式如下:
进一步,在得到各个单词对所有路径的匹配分数之后,对每个单词,挑选出分数最高的路径,然后将路径上最后一个实节点作为该句子所包含的事件类型,该单词即为这个事件类型的触发词。
需要注意的是,事件抽取本质上是一个序列标注问题。即对于给定的句子,每个单词都会被分类到一个特定的事件类别,包括None类型。那么如果在这个句子中,有多个单词对应于多个不同的非None事件类型,则这个句子包含了多个不同类型的事件,且这些单词分别为各自对应事件的触发词。
为了证明本发明的技术方案的创造性和技术价值,该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
将本发明应用实施例提供的基于事件类型层级关系的事件抽取方法应用于计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述基于事件类型层级关系的事件抽取方法的步骤。
将本发明应用实施例提供的基于事件类型层级关系的事件抽取方法应用于计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述基于事件类型层级关系的事件抽取方法的步骤。
本发明实施例在研发或者使用过程中取得了一些积极效果,和现有技术相比的确具备很大的优势,下面内容结合试验过程的数据、图表等进行描述。
本发明实施例采用MAVEN数据集进行验证。MAVEN是学术界近期发布的一个针对事件抽取的大型数据集,其中标注有168种事件类型,各事件类型被组织成了一个5层的事件层级结构,并且里面拥有4,480个文档并预先被划分到训练集、验证集和测试集当中。表1展示了本发明和各对比方法在MAVEN数据集上的性能表现。从表格中可以看出,本发明提出的方法在MAVEN数据集上的综合性能取得了最好的结果。其中,Precision值高于DMBERT方法5.5%,高于BERT+CRF方法3.2%,Recall值虽然略低于其他方法,但考虑到评价标准更全面的F1值,本发明提出的方法再次取得了最高的指标,高于DMBERT方法1.4%,高于BERT+CRF方法0.7%。
表1:本发明与各对比方法在MAVEN数据集上的表现
Models | Precision | Recall | F1 |
DMBERT | 62.7 | 72.3 | 67.1 |
BERT+CRF | 65.0 | 70.9 | 67.8 |
本发明(句编码器使用BERT) | 68.2 | 68.7 | 68.5 |
本发明还在MAVEN上做了消融实验,以验证以下三个部分的有效性1)引入事件类型层级关系,2)本发明提出的level focal loss,3)不使用路径打分的方式,直接对每个单词进行事件类型的分类。表2是消融实验的结果:
表2:本发明MAVEN数据集上的消融实验结果
Models | Precision | Recall | F1 |
本发明(句编码器使用BERT) | 68.2 | 68.7 | 68.5 |
无事件类型层级关系 | 63.3 | 73.7 | 68.1 |
无level focal loss | 61.9 | 68.9 | 65.2 |
直接分类 | 66.0 | 68.6 | 67.2 |
从消融实验结果表格中可以看出,去掉事件类型层级关系模块,F1值下降了0.4%,Precision值下降了4.9%,这表明本发明提出的方法所利用的事件类型层级关系可以提升事件抽取的效果;去掉level focal loss模块,F1值下降了3.3%,Precision值下降了6.3%,这表明level focal loss模块在平衡不同样本的学习过程中起到了至关重要的作用;直接使用前馈神经网络进行分类,F1值下降了1.3%,Precision值下降了2.2%,Recall值下降了0.1%,这表明路径评分策略和事件类型层次的推理是有效的。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体,或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于事件类型层级关系的事件抽取方法,其特征在于,将事件抽取建模成一个路径打分过程,基于事件类型的层级关系构建层级关系树,对每一条从根节点到某一特定事件类型的路径进行打分,然后全局的选择分数最高的路径所对应的事件类型返回。
2.如权利要求1所述基于事件类型层级关系的事件抽取方法,其特征在于,所述基于事件类型层级关系的事件抽取方法包括:
步骤一,从源数据中提取出事件类型层级关系和标有事件类型的句子实例,对事件类型层级关系进行扩展,构建成一棵事件类型层级关系树;
步骤二,根据所述事件类型层级关系树和句子实例训练多层分类器,所述多层分类器在层级关系树中对句子实例中的每个单词逐层地进行多分类;
步骤三,将要进行事件抽取的句子输入到所述多层分类器中,根据每个单词的每层分类结果,找到一条最匹配的路径,将该路径上最后一个节点对应的事件类型返回,作为该单词对应的事件类型。
3.如权利要求1所述基于事件类型层级关系的事件抽取方法,其特征在于,所述步骤一还包括:
根据事件类型的上下位关系,构建事件类型层级关系树,根节点为Event节点,其余每个节点都是其父节点的特化事件类型;
所述事件类型层级关系树上的节点分为实节点和虚节点,实节点表示该事件类型在源数据中有对应的句子实例,虚节点表示没有对应的句子实例;
对所述事件类型层级关系树添加None实节点,表示某个词不含有任何类型的事件,再添加一个Root虚节点作为整个树的根节点,以此形成一个完整的树结构。
4.如权利要求3所述基于事件类型层级关系的事件抽取方法,其特征在于,所述None实节点的下一层添加一个stop节点,并将它们连接起来,每层共享一个stop节点。
5.如权利要求2所述基于事件类型层级关系的事件抽取方法,其特征在于,所述步骤二还包括,获取单词的特征表示以及节点的特征表示,所述单词的特征表示是将所述句子实例输入到句编码器中,经过一层非线性单元所获得;
所述节点的特征表示是利用RNN网络来捕获事件类型之间的上下位语义关系,同时,将每一条从Root节点到非stop节点的路径输入到RNN网络中,将所述RNN网络输出的最后一步的隐藏层作为所述路径最后一个节点的特征表示;所述句编码器包括BERT、BiLSTM,所述非线性单元的激活函数为GeLU函数;
将所述单词的特征表示输入到一个三层的前馈神经网络中,激活函数为tanh,然后使用内积计算单词的特征表示和节点的特征表示之间的向量相似度,作为匹配分数。
6.如权利要求2所述基于事件类型层级关系的事件抽取方法,其特征在于,所述步骤二还包括,将所述层级关系树中从Root到每个实例对应的事件类型节点的路径上的每种事件类型都作为同层节点的正确分类结果,然后对每一层都进行一个多分类任务;
所述匹配分数作为每层各个节点的分类概率,通过最小化各层分类损失来不断训练多层分类器。
7.如权利要求6所述基于事件类型层级关系的事件抽取方法,其特征在于,所述最小化各层分类损失是利用AdamW优化器优化损失函数,所述损失函数为level focal loss,其用于对各层赋予不同的权重,然后将各层损失加权求和,所述level focal loss为:
其中,JLF(w,Y)表示单词w和所有层正确类型之间的分类误差损失,ky表示类型y对应的层数,α(k)是第k层的权重,计算如下:
其中,γ≥0是超参数;
所述level focal loss损失函数中添加偏置项进行优化,最终的损失函数为:
9.一种实施如权利要求1-8任意一项所述事件抽取方法的基于事件类型层级关系的事件抽取系统,其特征在于,所述基于事件类型层级关系的事件抽取系统包括:
编码器模块,用于构建事件类型关系树,获得句子实例中单词的特征表示和事件类型关系树中节点的特征表示,计算单词与节点之间的匹配分数,训练多层分类器;
解码器模块,用于利用多层分类器对要进行事件抽取的句子中的每个单词进行逐层分类,并聚合分类结果,并根据分类结果返回句子对应的事件类型。
10.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1-12任意一项所述基于事件类型层级关系的事件抽取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211151091.XA CN115841105B (zh) | 2022-09-21 | 2022-09-21 | 一种基于事件类型层级关系的事件抽取方法、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211151091.XA CN115841105B (zh) | 2022-09-21 | 2022-09-21 | 一种基于事件类型层级关系的事件抽取方法、系统及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115841105A true CN115841105A (zh) | 2023-03-24 |
CN115841105B CN115841105B (zh) | 2024-02-27 |
Family
ID=85575451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211151091.XA Active CN115841105B (zh) | 2022-09-21 | 2022-09-21 | 一种基于事件类型层级关系的事件抽取方法、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115841105B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117892799A (zh) * | 2024-03-15 | 2024-04-16 | 中国科学技术大学 | 以多层次任务为导向的金融智能分析模型训练方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180357096A1 (en) * | 2017-06-12 | 2018-12-13 | Microsoft Technology Licensing, Llc | Event processing using a scorable tree |
CN111581954A (zh) * | 2020-05-15 | 2020-08-25 | 中国人民解放军国防科技大学 | 一种基于语法依存信息的文本事件抽取方法及装置 |
WO2021042503A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技(深圳)有限公司 | 信息分类抽取方法、装置、计算机设备和存储介质 |
CN112632230A (zh) * | 2020-12-30 | 2021-04-09 | 中国科学院空天信息创新研究院 | 一种基于多层级图网络的事件联合抽取方法及装置 |
CN112765952A (zh) * | 2020-12-28 | 2021-05-07 | 大连理工大学 | 一种图卷积注意力机制下的条件概率联合事件抽取方法 |
CN113255321A (zh) * | 2021-06-10 | 2021-08-13 | 之江实验室 | 基于文章实体词依赖关系的金融领域篇章级事件抽取方法 |
CN114065702A (zh) * | 2021-09-28 | 2022-02-18 | 南京邮电大学 | 一种融合实体关系和事件要素的事件检测方法 |
-
2022
- 2022-09-21 CN CN202211151091.XA patent/CN115841105B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180357096A1 (en) * | 2017-06-12 | 2018-12-13 | Microsoft Technology Licensing, Llc | Event processing using a scorable tree |
WO2021042503A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技(深圳)有限公司 | 信息分类抽取方法、装置、计算机设备和存储介质 |
CN111581954A (zh) * | 2020-05-15 | 2020-08-25 | 中国人民解放军国防科技大学 | 一种基于语法依存信息的文本事件抽取方法及装置 |
CN112765952A (zh) * | 2020-12-28 | 2021-05-07 | 大连理工大学 | 一种图卷积注意力机制下的条件概率联合事件抽取方法 |
CN112632230A (zh) * | 2020-12-30 | 2021-04-09 | 中国科学院空天信息创新研究院 | 一种基于多层级图网络的事件联合抽取方法及装置 |
CN113255321A (zh) * | 2021-06-10 | 2021-08-13 | 之江实验室 | 基于文章实体词依赖关系的金融领域篇章级事件抽取方法 |
CN114065702A (zh) * | 2021-09-28 | 2022-02-18 | 南京邮电大学 | 一种融合实体关系和事件要素的事件检测方法 |
Non-Patent Citations (6)
Title |
---|
JIANWEI LV 等: "HGEED: Hierarchical graph enhanced event detection", NEUROCOMPUTING, vol. 453 * |
吉久明;陈锦辉;李楠;孙济庆;: "中文事件抽取研究文献之算法效果分析", 现代情报, no. 12 * |
金燕;: "基于本体的Web信息抽取研究综述", 图书馆学研究, no. 16 * |
陈佳丽;洪宇;王捷;张婧丽;姚建民;: "利用门控机制融合依存与语义信息的事件检测方法", 中文信息学报, no. 08 * |
韦向峰;缪建明;池哲洁;袁毅;: "基于概念层次网络的事件抽取研究", 网络新媒体技术, no. 04 * |
高源;席耀一;李弼程;杨静;: "基于卷积树核的事件论元角色抽取方法", 小型微型计算机系统, no. 04 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117892799A (zh) * | 2024-03-15 | 2024-04-16 | 中国科学技术大学 | 以多层次任务为导向的金融智能分析模型训练方法及系统 |
CN117892799B (zh) * | 2024-03-15 | 2024-06-04 | 中国科学技术大学 | 以多层次任务为导向的金融智能分析模型训练方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115841105B (zh) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Heterogeneous ensemble for default prediction of peer-to-peer lending in China | |
Labani et al. | A multi-objective genetic algorithm for text feature selection using the relative discriminative criterion | |
CN110674850A (zh) | 一种基于注意力机制的图像描述生成方法 | |
CN104408173A (zh) | 一种基于b2b平台的核心关键词自动提取方法 | |
KR102477782B1 (ko) | 자연어 의도를 분류하는 뉴럴 네트워크 훈련을 위한 데이터 처리 방법 및 장치 | |
Yuan et al. | Graph attention network with memory fusion for aspect-level sentiment analysis | |
CN113312480A (zh) | 基于图卷积网络的科技论文层级多标签分类方法及设备 | |
CN115408525B (zh) | 基于多层级标签的信访文本分类方法、装置、设备及介质 | |
CN113268370B (zh) | 一种根因告警分析方法、系统、设备及存储介质 | |
CN115456421A (zh) | 工单的分派方法及装置、处理器和电子设备 | |
Zhu et al. | Loan default prediction based on convolutional neural network and LightGBM | |
Das et al. | Group incremental adaptive clustering based on neural network and rough set theory for crime report categorization | |
CN115841105B (zh) | 一种基于事件类型层级关系的事件抽取方法、系统及介质 | |
US20080301082A1 (en) | Knowledge base comprising executable stories | |
Ma et al. | Enhanced semantic representation learning for implicit discourse relation classification | |
Kumar et al. | Extensive survey on feature extraction and feature selection techniques for sentiment classification in social media | |
CN116245139B (zh) | 图神经网络模型训练方法和装置、事件检测方法和装置 | |
Kostkina et al. | Document categorization based on usage of features reduction with synonyms clustering in weak semantic map | |
CN117421482A (zh) | 一种基于技能向量和图神经网络的企业推荐方法和系统 | |
CN117131868A (zh) | 一种基于“表格-图”两阶段的面向文档级别实体关系联合抽取方法及装置 | |
CN115796175A (zh) | 企业业务数据分词权重优化方法、智能匹配方法及系统 | |
CN115796635A (zh) | 基于大数据和机器学习的银行数字化转型成熟度评价系统 | |
CN114266653A (zh) | 集成学习的客户贷款风险预估方法 | |
CN117473961B (zh) | 一种基于大语言模型的市场文案生成方法及系统 | |
CN113409139B (zh) | 信贷风险识别方法、装置、设备及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |