CN111178074B - 一种基于深度学习的中文命名实体识别方法 - Google Patents
一种基于深度学习的中文命名实体识别方法 Download PDFInfo
- Publication number
- CN111178074B CN111178074B CN201911271419.XA CN201911271419A CN111178074B CN 111178074 B CN111178074 B CN 111178074B CN 201911271419 A CN201911271419 A CN 201911271419A CN 111178074 B CN111178074 B CN 111178074B
- Authority
- CN
- China
- Prior art keywords
- training
- vector
- layer
- model
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013135 deep learning Methods 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 69
- 230000007774 longterm Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013100 final test Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 230000001174 ascending effect Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 10
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 10
- 230000008901 benefit Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于深度学习的中文命名实体识别方法,其特征在于:所述识别方法的步骤为:1)将数据文本进行字词位置信息混合向量嵌入;2)将步骤所得到的向量输入到Bi‑LSTM层进行向量编码,模拟时间序列捕获向量之间的长期关系;3)将Bi‑LSTM层输出的向量输入到自注意力层,明确学习句子中任意两个字符之间的依赖关系,并捕捉句子的内部结构信息;4)将输出的向量序列输入到CRF层,做出独立的标记决策,并进行标签解码。本发明设计科学合理,能够运行多数据集,同时适用性强、准确率高、且能够应用于多领域文本的命名实体识别模型。
Description
技术领域
本发明属于自然语言处理、知识图谱及序列标记技术领域,涉及深度学习技术和序列标记技术,尤其是一种基于深度学习的中文命名实体识别方法。
背景技术
命名实体识别属于序列标注领域的一种,是自然语言处理的基础任务,主要是指找出文本中的具有特定意义的实体,包括人名、地名、机构名以及一些特定的专有名词。识别的任务主要包括两部分:实体边界识别和确定其实体类别(人名、地名和组织机构名等),其中命名实体作为文本的基本元素,也是作为理解文章内容的基本单元。更多的,命名实体识别更是作为知识图谱等文本数据处理的上层基础任务,其中,命名实体识别的准确性直接影响到知识图谱构建最终的效果。知识图谱是建立在实体与实体之间的关系上的,如若实体抽取出现错误,必将导致后续实体关系的确定无法进行;自动文摘和问答系统也是同理,当要对句子进行语义分析时,必须找出文中的相关命名实体。因而,命名实体识别对于文本数据处理特别是自然语言处理极其关键和重要。
目前,普遍适用的命名实体识别方法包括目前较为流行的命名实体识别模型有CRF模型,LSTM模型以及LSTM与CRF相结合的模型。相比于独立的单一模型,LSTM结合CRF的混合模型结合了两者的优势,既可以记忆长距离的序列之间的依赖关系,又利用了CRF标注的优势,所以在命名实体识别领域应用较广,本方法也是在其基础上进行优化改进的。Zhang等人在2019年研究了一种新的动态元嵌入方法,并将其应用到中文NER任务中。该方法创建动态的、特定于数据的和特定于任务的元嵌入,因为不同句子序列中的相同字符的元嵌入是不同的。在MSRA和LiteratureNER数据集上的实验验证了该模型的有效性,并在LiteratureNER上取得了最新的结果。
虽然近年来的研究比较提出了比较多的方法,但是这些普遍没有在多数据集上产生好的结果,同时也没有适用性强、准确率高、能够应用于多领域的通用命名实体识别模型。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于深度学习的中文命名实体识别方法,能够运行多数据集,同时适用性强、准确率高、且能够应用于多领域文本的命名实体识别模型。
本发明解决其技术问题是通过以下技术方案实现的:
一种基于深度学习的中文命名实体识别方法,其特征在于:所述识别方法的步骤为:
1)将数据文本进行字词位置信息混合向量嵌入;
2)将步骤所得到的向量输入到Bi-LSTM层进行向量编码,模拟时间序列捕获向量之间的长期关系;
3)将Bi-LSTM层输出的向量输入到自注意力层,明确学习句子中任意两个字符之间的依赖关系,并捕捉句子的内部结构信息;
4)将输出的向量序列输入到CRF层,做出独立的标记决策,并进行标签解码。
而且,所述步骤1)的具体操作为:
a、根据训练数据集建立字典,可以得到每个字的one-hot向量,长度为字典长度V,然后通过一个look-up层,利用预训练的单字位置向量矩阵,将one-ho向量映射为低维稠密的向量;
b、将词向量的三部分字符向量、分割为词的“字符”向量和字位置向量进行进行向量拼接,向量作为网络模型的输入,对于一个中文令牌序列
X=(x1,x2,x3,...xn,)
将检查在单词查找表和字符查找表中是否存在令牌X,当X存在于所有两个表中,即令牌由一个字符组成,将取两种嵌入项的向量组合作为令牌的分布式表示;否则,将只使用一个查找表中的嵌入作为嵌入层的输出,字位置向量初始化为该字所在词语的词向量。
而且,所述步骤2)的具体操作为:将一个输入序列中各个字的字词混合向量作为网络的各个时间步输入到Bi-LSTM层,提取全局特征,通过双向LSTM网络,得到正向LSTM的隐含输出序列(h1,h2...hn)及反向LSTM的隐含输出序列将两组隐含序列按位置拼接获得完整的隐含序列/>将此隐含序列作为下一层的输入。
而且,所述步骤3)的具体操作为:对于每一个时间步的输入,H=h1,h3,...hn表示B-iLSTM隐藏层的输出,根据多头注意力机制的原理,将输入向量经过一次线性变换后,并按比例缩放的dotproduct,注意力公式为:
其中:为查询矩阵;
为键矩阵;
为值矩阵;
d为Bi-LSTM的隐藏单位的维数,数值上等于2dh;
设定Q=K=V=H,多头注意力首先通过使用不同的线性投影,将查询、键和值h进行线性投影,然后h投影并行执行缩放的点积注意,最后,将这些注意结果连接起来,并再次投影得到新的表示。
而且,所述步骤4)的具体操作为:将结果接入CRF层,CRF层中包含一个转移矩阵,代表着各个标签之间的转移得分,CRF层中对每个字对应的标签的得分由两部分构成:LSTM模型输出的一元发射得分和CRF中的二元转移得分之和,通过CRF层中的转移矩阵,使得预测的标签之间添加合法的约束,增加标签语法的合理性,最后对标签的预测使用维特比解码推断出得分最高的标签序列。
本发明的优点和有益效果为:
本发明一种基于深度学习的中文命名实体识别方法,能够运行多数据集,同时适用性强、准确率高、且能够应用于多领域文本的命名实体识别模型中。
附图说明
图1为本发明的流程图;
图2为本发明在MSRA数据集上迭代次数与模型F1值变化曲线图;
图3为本发明在LiteratureNER数据集上迭代次数与模型F1值变化曲线图;
图4为本发明在MSRA数据集上迭代次数与模型Accuracy值变化曲线图;
图5为本发明在LiteratureNER数据集上迭代次数与模型Accuracy值变化曲线图。
具体实施方式
下面通过具体实施例对本发明作进一步详述,以下实施例只是描述性的,不是限定性的,不能以此限定本发明的保护范围。
如图1所示,一种基于深度学习的中文命名实体识别方法,其特征在于:所述识别方法的步骤为:
1)将数据文本进行字词位置信息混合向量嵌入;
a、根据训练数据集建立字典,可以得到每个字的one-hot向量,长度为字典长度V,然后通过一个look-up层,利用预训练的单字位置向量矩阵,将one-ho向量映射为低维稠密的向量;
b、将词向量的三部分字符向量、分割为词的“字符”向量和字位置向量进行进行向量拼接,向量作为网络模型的输入,对于一个中文令牌序列
X=(x1,x2,x3,...xn,)
将检查在单词查找表和字符查找表中是否存在令牌X,当X存在于所有两个表中,即令牌由一个字符组成,将取两种嵌入项的向量组合作为令牌的分布式表示;否则,将只使用一个查找表中的嵌入作为嵌入层的输出,字位置向量初始化为该字所在词语的词向量;
2)将步骤所得到的向量输入到Bi-LSTM层进行向量编码,模拟时间序列捕获向量之间的长期关系;
将一个输入序列中各个字的字词混合向量作为网络的各个时间步输入到Bi-LSTM层,提取全局特征,通过双向LSTM网络,得到正向LSTM的隐含输出序列(h1,h2...hn)及反向LSTM的隐含输出序列将两组隐含序列按位置拼接获得完整的隐含序列将此隐含序列作为下一层的输入;
3)将Bi-LSTM层输出的向量输入到自注意力层,明确学习句子中任意两个字符之间的依赖关系,并捕捉句子的内部结构信息;
对于每一个时间步的输入,H=h1,h3,...hn表示B-iLSTM隐藏层的输出,根据多头注意力机制的原理,将输入向量经过一次线性变换后,并按比例缩放的dotproduct,注意力公式为:
其中:为查询矩阵;
为键矩阵;
为值矩阵;
d为Bi-LSTM的隐藏单位的维数,数值上等于2dh;
设定Q=K=V=H,多头注意力首先通过使用不同的线性投影,将查询、键和值h进行线性投影,然后h投影并行执行缩放的点积注意,最后,将这些注意结果连接起来,并再次投影得到新的表示;
4)将输出的向量序列输入到CRF层,做出独立的标记决策,并进行标签解码;将结果接入CRF层,CRF层中包含一个转移矩阵,代表着各个标签之间的转移得分,CRF层中对每个字对应的标签的得分由两部分构成:LSTM模型输出的一元发射得分和CRF中的二元转移得分之和,通过CRF层中的转移矩阵,使得预测的标签之间添加合法的约束,增加标签语法的合理性,最后对标签的预测使用维特比解码推断出得分最高的标签序列。
5)模型训练:
a、网络读取训练样本进行训练,从1开始进行迭代,当最大迭代次数大于K,则停止训练;对于每次输入的训练数据集,根据损失函数算出当前输出的损失差值,损失差值用于衡量模型的训练程度,如果损失大于预定最小损失值,则表明模型还需要继续训练调整,那么需要利用反向传播算法对每一层的网络参数依次进行更新,如果损失小于了预定的最小损失值,表明模型达到训练标准,则训练结束,程序退出。
b、训练数据集当前批次遍历完成之后,使用验证集对模型训练程度进行验证,如果当前验证结果优于历史验证的最好结果,表明当前训练有效,模型的性能处于上升阶段,可以尝试继续训练,并且对当前数据进行记录,用当前验证结果替换历史最好结果,并继续下一次训练。如果在连续的M次训练中验证结果都没有提高,可能说明我们学习率取值跨度太大,有可能刚好跨过了最小损失的极值部分,那么我们可以考虑将学习率适当降低,并尝试继续训练,反复迭代,直到学习率低于系统的预设值,则训练结束,退出。
c、当模型训练结束之后,我们将对模型的训练情况进行测试,模型的测试过程有如下:
(1)将通过训练得到的网络参数加载进模型中,并输入测试数据集。
(2)网络接收测试数据集,通过前向传播算法,获得最终的测试输出。
(3)将网络模型的输出序列与正确的标注序列进行对比计算。
(4)最后统计准确率,F1值以及召回率。
本实施例的实验分别在微软的MSRA新闻数据集和公开的LiteratureNER数据集上进行。
MSRA来自SIGHAN 2006,是中文命名实体识别的共享任务。该数据集包含3种实体类型:人员、组织和位置。统计表明,该数据集包含48998个用于培训的句子和4432个用于测试的句子,由于MSRA数据集缺少验证集,因此本实施例将训练集的十分之一作为验证集。
LiteratureNER数据集是由数百篇中国文学文章构建而成,其中不包括太短、太杂乱的文章。有9种实体类型:人员、组织、位置、抽象、时间、事物和度量。数据集分割的具体内容是:训练语句26320个,验证语句2045个,测试语句3016个。
本实施例为证明其数据优越性,选取多个期刊的的实验方法作为基线结果进行对比,并在表1和表2中给出了模型的最终性能与对照模型的性能对比。
本实施例采用与以往工作同样的评价指标,分别是Precision(精度P)、Recall(查全率R)及F1-score(F1)。精度反映了正确预测的令牌数与预测的令牌数的比例;查全率反映了正确预测的令牌与所使用数据中的所有令牌的比率;F1是精度和查全率的调和平均值。下式给出了三个指标的计算公式:
其中:TP为被模型判定为正例且实际也是正例的令牌数;
FP为被模型判定为正例但实际是负例的令牌数;
TN为被模型判定为负例但实际也正例的令牌数;
FN为被模型判定为负例且实际也是负例的令牌数。
最后通过实验显示,新模型在不使用任何手工制作的特征模板,在公开数据集MSRA上取得较好的结果,F1值达到91.37%,并在LiteratureNER数据集上F1值达到73.23%,好于之前他人的结果,与Zhang的相比提高0.5%和0.2%,达到此任务的目前最佳性能,同时具备能够运行多数据集,适用性强、准确率高、且能够应用于多领域文本的特点。
表1在数据集MSRA上的结果比较表
表2在数据集LiteratureNER上的结果比较表
在模型训练过程中,研究人员通过迭代次数和模型的各个标签效果变化曲线图和Accuracy图可以判断模型的训练状态。其中validation accuracy指的是验证集中正确预测的样本数占总预测样本数的比值,它不考虑预测的样本是正例还是负例,Accuracy计算公式如下:
因而,本实施例在实验设置的100轮迭代中,按比例抽取其中的33轮结果进行展示,并分别绘制两个数据集上的模型的F1值曲线图,如图2-5所示。
从图中可以看出,在MSRA数据集从迭代开始模型的F1值收敛的速度是比较快的,经过大约15轮迭代后趋于稳定,并保持在一个小范围区间浮动,而在LiteratureNER数据集上则在训练初期便已趋于稳定状态,这和两个数据集的构成和数据量大小有关,因为MSRA数据集数据量比较大,所以需要训练更长时间才能达到稳定状态,不过两个数据集看的模型F1值曲线变化图很好的说明模型能够快速收敛且不会陷入过拟合状态,很好的适合于中文命名实体识别任务。
尽管为说明目的公开了本发明的实施例和附图,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换、变化和修改都是可能的,因此,本发明的范围不局限于实施例和附图所公开的内容。
Claims (1)
1.一种基于深度学习的中文命名实体识别方法,其特征在于:所述识别方法的步骤为:
1)将数据文本进行字词位置信息混合向量嵌入;
2)将步骤1)所得到的向量输入到Bi-LSTM层进行向量编码,模拟时间序列捕获向量之间的长期关系;
3)将Bi-LSTM层输出的向量输入到自注意力层,明确学习句子中任意两个字符之间的依赖关系,并捕捉句子的内部结构信息;
4)将输出的向量序列输入到CRF层,做出独立的标记决策,并进行标签解码;
所述步骤1)的具体操作为:
a、根据训练数据集建立字典,可以得到每个字的one-hot向量,长度为字典长度,然后通过一个look-up层,利用预训练的单字位置向量矩阵,将one-hot向量映射为低维稠密的向量;
b、将词向量的三部分字符向量、分割为词的“字符”向量和字位置向量进行进行向量拼接,向量作为网络模型的输入,对于一个中文令牌序列
X=(x1,x2,x3,…xn,)
将检查在单词查找表和字符查找表中是否存在令牌X,当X存在于所有两个表中,即令牌由一个字符组成,将取两种嵌入项的向量组合作为令牌的分布式表示;否则,将只使用一个查找表中的嵌入作为嵌入层的输出,字位置向量初始化为该字所在词语的词向量;
所述步骤2)的具体操作为:将一个输入序列中各个字的字词混合向量作为网络的各个时间步输入到Bi-LSTM层,提取全局特征,通过双向LSTM网络,得到正向LSTM的隐含输出序列及反向LSTM的隐含输出序列/>将两组隐含序列按位置拼接获得完整的隐含序列/>将此隐含序列作为下一层的输入;
所述步骤3)的具体操作为:
对于每一个时间步的输入,H=h1,h3,...hn表示B-iLSTM隐藏层的输出,根据多头注意力机制的原理,将输入向量经过一次线性变换后,并按比例缩放的dotproduct,注意力公式为:
其中:为查询矩阵;
为键矩阵;
为值矩阵;
d为Bi-LSTM的隐藏单位的维数,数值上等于2dh;
设定Q=K=V=H,多头注意力首先通过使用不同的线性投影,将查询、键和值h进行线性投影,然后h投影并行执行缩放的点积注意,最后,将这些注意结果连接起来,并再次投影得到新的表示;
所述步骤4)的具体操作为:
将结果接入CRF层,CRF层中包含一个转移矩阵,代表着各个标签之间的转移得分,CRF层中对每个字对应的标签的得分由两部分构成:LSTM模型输出的一元发射得分和CRF中的二元转移得分之和,通过CRF层中的转移矩阵,使得预测的标签之间添加合法的约束,增加标签语法的合理性,最后对标签的预测使用维特比解码推断出得分最高的标签序列;
5)模型训练
a、网络读取训练样本进行训练,从1开始进行迭代,当最大迭代次数大于T,则停止训练;对于每次输入的训练数据集,根据损失函数算出当前输出的损失差值,损失差值用于衡量模型的训练程度,如果损失大于预定最小损失值,则表明模型还需要继续训练调整,那么需要利用反向传播算法对每一层的网络参数依次进行更新,如果损失小于了预定的最小损失值,表明模型达到训练标准,则训练结束,程序退出;
b、训练数据集当前批次遍历完成之后,使用验证集对模型训练程度进行验证,如果当前验证结果优于历史验证的最好结果,表明当前训练有效,模型的性能处于上升阶段,继续训练,并且对当前数据进行记录,用当前验证结果替换历史最好结果,并继续下一次训练;如果在连续的M次训练中验证结果都没有提高,将学习率降低,并继续训练,反复迭代,直到学习率低于系统的预设值,则训练结束,退出;
c、当模型训练结束之后,将对模型的训练情况进行测试,模型的测试过程有如下:
(1)将通过训练得到的网络参数加载进模型中,并输入测试数据集;
(2)网络接收测试数据集,通过前向传播算法,获得最终的测试输出;
(3)将网络模型的输出序列与正确的标注序列进行对比计算;
(4)最后统计准确率,F1值以及召回率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911271419.XA CN111178074B (zh) | 2019-12-12 | 2019-12-12 | 一种基于深度学习的中文命名实体识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911271419.XA CN111178074B (zh) | 2019-12-12 | 2019-12-12 | 一种基于深度学习的中文命名实体识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178074A CN111178074A (zh) | 2020-05-19 |
CN111178074B true CN111178074B (zh) | 2023-08-25 |
Family
ID=70650181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911271419.XA Active CN111178074B (zh) | 2019-12-12 | 2019-12-12 | 一种基于深度学习的中文命名实体识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178074B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666427B (zh) * | 2020-06-12 | 2023-05-12 | 长沙理工大学 | 一种实体关系联合抽取方法、装置、设备及介质 |
CN112037179B (zh) * | 2020-08-11 | 2021-05-11 | 深圳大学 | 一种脑疾病诊断模型的生成方法、系统及设备 |
CN111967265B (zh) * | 2020-08-31 | 2023-09-15 | 广东工业大学 | 一种数据集自动生成的中文分词与实体识别联合学习方法 |
CN112084336A (zh) * | 2020-09-09 | 2020-12-15 | 浙江综合交通大数据中心有限公司 | 一种高速公路突发事件的实体提取和事件分类方法及装置 |
CN112069823B (zh) * | 2020-09-17 | 2021-07-09 | 华院计算技术(上海)股份有限公司 | 信息处理方法和装置 |
CN112084783B (zh) * | 2020-09-24 | 2022-04-12 | 中国民航大学 | 基于民航不文明旅客的实体识别方法及系统 |
CN112464663A (zh) * | 2020-12-01 | 2021-03-09 | 小牛思拓(北京)科技有限公司 | 一种多特征融合的中文分词方法 |
CN112685549B (zh) * | 2021-01-08 | 2022-07-29 | 昆明理工大学 | 融入篇章语义的涉案新闻要素实体识别方法及系统 |
CN113076751A (zh) * | 2021-02-26 | 2021-07-06 | 北京工业大学 | 命名实体识别方法及系统、电子设备和存储介质 |
CN113033206B (zh) * | 2021-04-01 | 2022-04-22 | 重庆交通大学 | 一种基于机器阅读理解的桥梁检测领域文本实体识别方法 |
CN113449524B (zh) * | 2021-04-01 | 2023-04-07 | 山东英信计算机技术有限公司 | 一种命名实体识别方法、系统、设备以及介质 |
CN113283243B (zh) * | 2021-06-09 | 2022-07-26 | 广东工业大学 | 一种实体与关系联合抽取的方法 |
CN113486173B (zh) * | 2021-06-11 | 2023-09-12 | 南京邮电大学 | 文本标注神经网络模型及其标注方法 |
CN113255294B (zh) * | 2021-07-14 | 2021-10-12 | 北京邮电大学 | 命名实体识别模型训练方法、识别方法及装置 |
CN114519355A (zh) * | 2021-08-25 | 2022-05-20 | 浙江万里学院 | 一种医药命名实体识别与实体规范化方法 |
CN113919358A (zh) * | 2021-11-03 | 2022-01-11 | 厦门市美亚柏科信息股份有限公司 | 一种基于主动学习的命名实体识别方法和系统 |
CN114881014B (zh) * | 2022-04-21 | 2024-12-20 | 上海携旅信息技术有限公司 | 实体别名关系获取方法、训练方法、装置及存储介质 |
CN116151241B (zh) * | 2023-04-19 | 2023-07-07 | 湖南马栏山视频先进技术研究院有限公司 | 一种实体识别方法及装置 |
CN117113997B (zh) * | 2023-07-25 | 2024-07-09 | 四川大学 | 一种增强词典知识融入的中文命名实体识别方法 |
CN117744656B (zh) * | 2023-12-21 | 2024-07-16 | 湖南工商大学 | 一种结合小样本学习和自校验的命名实体识别方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107145483A (zh) * | 2017-04-24 | 2017-09-08 | 北京邮电大学 | 一种基于嵌入式表示的自适应中文分词方法 |
CN109388807A (zh) * | 2018-10-30 | 2019-02-26 | 中山大学 | 电子病历命名实体识别的方法、装置及存储介质 |
CN109614614A (zh) * | 2018-12-03 | 2019-04-12 | 焦点科技股份有限公司 | 一种基于自注意力的bilstm-crf产品名称识别方法 |
CN110083710A (zh) * | 2019-04-30 | 2019-08-02 | 北京工业大学 | 一种基于循环神经网络与潜变量结构的词语定义生成方法 |
CN110334339A (zh) * | 2019-04-30 | 2019-10-15 | 华中科技大学 | 一种基于位置感知自注意力机制的序列标注模型与标注方法 |
CN110399492A (zh) * | 2019-07-22 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 针对用户问句的问题分类模型的训练方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021000362A1 (zh) * | 2019-07-04 | 2021-01-07 | 浙江大学 | 一种基于深度神经网络模型的地址信息特征抽取方法 |
-
2019
- 2019-12-12 CN CN201911271419.XA patent/CN111178074B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107145483A (zh) * | 2017-04-24 | 2017-09-08 | 北京邮电大学 | 一种基于嵌入式表示的自适应中文分词方法 |
CN109388807A (zh) * | 2018-10-30 | 2019-02-26 | 中山大学 | 电子病历命名实体识别的方法、装置及存储介质 |
CN109614614A (zh) * | 2018-12-03 | 2019-04-12 | 焦点科技股份有限公司 | 一种基于自注意力的bilstm-crf产品名称识别方法 |
CN110083710A (zh) * | 2019-04-30 | 2019-08-02 | 北京工业大学 | 一种基于循环神经网络与潜变量结构的词语定义生成方法 |
CN110334339A (zh) * | 2019-04-30 | 2019-10-15 | 华中科技大学 | 一种基于位置感知自注意力机制的序列标注模型与标注方法 |
CN110399492A (zh) * | 2019-07-22 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 针对用户问句的问题分类模型的训练方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于Bi-LSTM和注意力机制的命名实体识别;刘晓俊等;《洛阳理工学院学报》;20190325;第1-3小节,摘要,图2 * |
Also Published As
Publication number | Publication date |
---|---|
CN111178074A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178074B (zh) | 一种基于深度学习的中文命名实体识别方法 | |
CN111125331B (zh) | 语义识别方法、装置、电子设备及计算机可读存储介质 | |
CN109214003B (zh) | 基于多层注意力机制的循环神经网络生成标题的方法 | |
CN106599032B (zh) | 一种结合稀疏编码和结构感知机的文本事件抽取方法 | |
CN111651589B (zh) | 一种针对长文档的两阶段文本摘要生成方法 | |
CN110704621A (zh) | 文本处理方法、装置及存储介质和电子设备 | |
CN111428490B (zh) | 一种利用语言模型的指代消解弱监督学习方法 | |
CN112100348A (zh) | 一种多粒度注意力机制的知识库问答关系检测方法及系统 | |
CN111046670A (zh) | 基于毒品案件法律文书的实体及关系联合抽取方法 | |
CN111738002A (zh) | 基于Lattice LSTM的古文领域命名实体识别方法和系统 | |
CN109933792A (zh) | 基于多层双向lstm和验证模型的观点型问题阅读理解方法 | |
CN112818110B (zh) | 文本过滤方法、设备及计算机存储介质 | |
CN114330350B (zh) | 一种命名实体识别方法、装置、电子设备及存储介质 | |
CN114692621A (zh) | Nlp中基于样本的序列到序列任务的影响函数解释方法 | |
CN113627172A (zh) | 基于多粒度特征融合和不确定去噪的实体识别方法及系统 | |
CN116049349B (zh) | 基于多层次注意力和层次类别特征的小样本意图识别方法 | |
CN114943229B (zh) | 一种基于多级别特征融合的软件缺陷命名实体识别方法 | |
CN115964486A (zh) | 一种基于数据增强的小样本意图识别方法 | |
CN110991637B (zh) | 一种公司形象提升系统的社交网络数据提取方法及系统 | |
CN114550856B (zh) | 一种融合交叉知识注意力的电子病历相似检索方法 | |
CN114595329A (zh) | 一种原型网络的少样本事件抽取系统及方法 | |
CN114372467A (zh) | 命名实体抽取方法及装置、电子设备、存储介质 | |
CN118898259B (zh) | 一种基于预训练模型的汉藏语翻译装置及藏语翻译方法 | |
CN117688354B (zh) | 一种基于进化算法的文本特征选择方法及系统 | |
CN115438654B (zh) | 文章标题生成方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |