CN109344399B - 一种基于堆叠双向lstm神经网络的文本相似度计算方法 - Google Patents
一种基于堆叠双向lstm神经网络的文本相似度计算方法 Download PDFInfo
- Publication number
- CN109344399B CN109344399B CN201811075571.6A CN201811075571A CN109344399B CN 109344399 B CN109344399 B CN 109344399B CN 201811075571 A CN201811075571 A CN 201811075571A CN 109344399 B CN109344399 B CN 109344399B
- Authority
- CN
- China
- Prior art keywords
- sentence
- input
- vector
- neural network
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 19
- 238000004364 calculation method Methods 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明申请公开了一种基于堆叠双向lstm神经网络的文本相似度计算方法，涉及自然语言处理领域，包括以下步骤：步骤一，将输入句子分词并计算词向量，得到的词向量作为输入词向量；步骤二，将输入词向量以网络堆叠的方式输入到lstm神经网络中，得到输入句子向量；步骤三，按照步骤一和步骤二得到两个输入句子的句子向量；将两个输入句子的句子向量输入到分类器中，得到这两个句子的相似度。本发明申请能够准确进行文本相似度计算。
Description
技术领域
本发明涉及自然语言处理领域，具体涉及一种基于堆叠双向lstm神经网络的文本相似度计算方法。
背景技术
在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性。文本相似度算法用途广泛，如在信息检索中查询与输入语句相关的内容、在智能问答系统中判断输入问句和知识库问句意义是否一致，阅读理解任务中判断输入句子和文档句子的相关程度。所以，提高文本相似度算法的准确性对自然语言处理领域相关应用具有重要的意义。
传统的计算文本相似度算法主要有集合距离、编辑距离、SimHash、lda、lsi、tf-idf等。自然语言本身具有表述的多样性，由于文本对中出现的大量同义词、同义短语等，传统算法中并未有相应的处理机制，导致传统的文本相似度算法的准确性并不高。近年来，随着深度学习技术的发展，出现了基于词向量距离的wmd算法、基于句向量doc2vec算法、Siamese模型等。这些方法在一定程度的提高文本相似度算法的准确性。
发明内容
本发明意在提供一种能够准确进行文本相似度计算的基于堆叠双向lstm神经网络的文本对比算法。
本发明中的基于堆叠双向lstm神经网络的文本对比算法，包括以下步骤：
步骤一，将输入词向量以网络堆叠的方式输入到lstm神经网络中，得到输入句子向量；
步骤二，按照前面步骤得到两个输入句子的句子向量；将两个输入句子的句子向量输入到分类器中，得到这两个句子的相似度。
名词解释：
lstm神经网络：lstm(long short-term memory)神经网络是长短期记忆网络，是一种时间递归神经网络。
本发明的优点在于：
本发明方法采用了一种短路连接的双向lstm网络结构，即输入词向量以网络堆叠的方式输入到lstm神经网络模型中，网络堆叠指输入词向量跨层输入到lstm神经网络模型的每一层中；通过网络堆叠，使lstm神经网络的反向传播机制在运作时，能够有效减小传播梯度消失而导致的训练梯度消失。
每个输入词向量不仅作为被对比的对象，也作为lstm神经网络进行训练的样本，能够随着该算法的使用而使算法本身逐渐趋于完善，这样形成的网络结构具备一定的记忆上下文能力，并且训练收敛速度快，使经过本算法得到的相似度更加准确。
进一步，在步骤一之前，将输入句子分词并计算词向量，得到的词向量作为输入词向量。
输入词向量直接由输入文本中的输入句子中得到，输入文本以输入句子的形式存在，然后，经过对输入句子的分词后获得词向量，使所有输入文本都量化成一个个词向量，为两个文本的相似度对比提供了条件。
进一步，在步骤一之前，将带有相似度标签的语料文本分词，得到的词向量作为目标词向量；将目标词向量以网络堆叠的方式输入到lstm神经网络中，得到目标句子向量；将与输入句子向量具有相同语义的目标句子向量作为正样本，将除此之外的其他目标句子向量作为负样本；通过正样本、负样本和输入句子向量训练lstm神经网络模型和分类器，分别得到lstm神经网络参数和分类器的全连接层参数。
通过建立正样本和负样本，能够针对输入句子向量对lstm神经网络和分类器进行训练，使lstm网络参数和分类器的全连接层参数能够被不断更新，使得到的lstm神经网络模型和分类器能够更加准确，使在实际进行文本对比时能够得到更加准确的相似度。
进一步，所述相似度分别针对正样本或者负样本，所述相似度包括针对同一样本相似和不相似的二维概率。
通过正样本和负样本两个维度的相似性，能够更加准确地判断一个句子与其他句子的相似性。
进一步，在分词后得到词向量时，采用word2vec进行词向量计算。
Word2vec是一种比较成熟的词向量处理算法，使用较为方便。采用了word2vec词向量方法，该方法能够找出给定词语的大量相关词语，一定层度的克服了同义词和同义短语带来的问题。
进一步，所述分类器包括依次连接的输入层、批处理层、拼接层、全连接层以及概率层；
所述输入层，用来输入包括输入句子向量特征、正样本和负样本在内的句子向量特征；
所述批处理层，用来对输入的句子向量特征进行批量归一化处理；
所述拼接层，用来将归一化处理后的句子向量拼接成为行向量；
所述全连接层，用来将行向量按照正样本和负样本进行二维对比；
所述概率层，用来得到行向量分别与正样本和负样本的相似概率。
输入层、批处理层、全连接层和概率层，都能够直接从现有技术中得到对应的内容，而拼接层的不同，则会直接关系到计算的相似度。
进一步，所述拼接层拼接形成的行向量为：
[u,v,abs(u-v),element-wise product(u⊙v),cos similarity(u,v)]；
其中，u为句子1的输入句子向量特征，v为句子2的输入句子向量特征；
abs(u-v)代表u-v向量的绝对值；
element-wise product(u⊙v)代表u,v向量的元素积；
cos similarity(u,v)代表u,v向量的cos相似度。
通过这样设置的拼接层，使构造得到的分类器比只用cos相似度的方法具有更高的准确率。
进一步，建立目标优化函数，优化lstm神经网络参数和分类器的全连接层参数；所述目标优化函数为交叉熵或者Adam迭代优化方法。
在优化lstm神经网络参数和分类器的全连接层参数时，采用交叉熵或者Adam迭代优化方法这些相对成熟的目标优化函数，能够尽快达到训练目的。
附图说明
图1为本发明实施例中通过lstm网络计算句子向量的流程图。
图2为本发明实施例中通过分类器进行句子向量相似性对比的流程图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例：
本实施例中的基于堆叠双向lstm神经网络的文本相似度计算方法，包括以下步骤：
首先，通过爬虫从网络上爬取，或者通过收集现有语料文本典籍，准备无标签的大语料文本，按照现有技术根据设定的相关规则将语料文本分词，将分词计算得到词向量。其中，得到词向量的方法采用Word2vec或者其他现有算法。将无标签语料文本得到的词向量，作为输入词向量。
然后，准备带有相似度标签的语料文本，将这些语料文本分词并计算得到词向量。将带有相似度标签的语料文本得到的词向量作为目标词向量，从目标词向量中选取多个目标词向量组成目标句子词向量，将与输入句子语义基本一致的目标句子词向量作为正样本，将其他目标句子向量都作为负样本。
第三步，构建特征表达模块。如图1所示，特征表达模块包括至少1层双向短路连接形成的lstm网络，本实施例中为4层。一个句子所有的词向量以网络堆叠的方式，分别输入到lstm网络的每一层中，经过最大池化的方法计算后得到句子向量。当输入特征表达模块的是输入词向量时得到的是输入句子向量，当输入的是目标词向量时，得到的是目标句子向量。
当一个自然语句被输入到特征表达模块后，自动将该语句以最小词语信息为单位进行划分，根据每层双向短路连接逐层计算每个词语的对应特征，进而将一个语句当中的词语特征按照最大池化的方法计算得到一个向量作为该句子的向量特征。
第四步，构建分类器模块。如图2所示，分类器包括用来进行句子向量输入的输入层，批量归一化处理的批处理层Batch normalize layer，以及与批处理层连接的拼接层，与处理层连接的全连接层fully connected layer，以及与全连接层连接的概率层softmaxlayer。其中，输入层、批处理层、全连接层和概率层都是现在常用的层结构，其各项参数基本相同。而本实施例中的拼接层形成的行向量为：
[u,v,abs(u-v),element-wise product(u⊙v),cos similarity(u,v)]；
其中，u为句子1的输入句子向量特征，v为句子2的输入句子向量特征；
abs(u-v)代表u-v向量的绝对值；
element-wise product(u⊙v)代表u,v向量的元素积；
cos similarity(u,v)代表u,v向量的cos相似度。
第五步，对特征表达模块和分类器模块进行训练，优化lstm神经网络参数和分类器的全连接层参数。建立目标优化函数，如交叉熵或者Adam迭代优化方法，使每次的输入句子的输入词向量或者输入句子向量分别于目标词向量或者目标句子向量进行比较，进而不断优化对应参数。
本发明采用了word2vec词向量方法，该方法能够找出给定词语的大量相关词语，一定层度的克服了同义词和同义短语带来的问题。
本发明方法采用了一种短路连接的双向lstm网络结构，该网络结构具备一定的记忆上下文能力，并且训练收敛速度快。
本发明构造的分类器比只用cos相似度的方法具有更高的准确率。对新领域的文本相似度计算，可以在原有模型上继续训练，提高在新领域的准确性。
具体实施过程如下：
在具体使用时，假设需要计算句子A：“还款银行怎么才能够修改”和句子B“如何变更还款卡”的相似性时。
首先，将句子A分词为“还款、银行、怎么、才、能够、修改”，将句子B分词为“如何、变更、还款卡”，通过word2vec对分词分别计算出输入词向量。
然后，通过如图1所示的lstm神经网络，将句子A的所有输入词向量和句子B的所有输入词向量输入到4层双向短路连接的lstm网络中，lstm的每个时序输出作为词向量重新编码，最后将重新编码的多个向量采用行最大池化的方法，输出每一维度的最大值，使句子A得到句子向量u，句子B得到句子向量v。
将待比较的句子向量u和v输入到Batch normalize layer经过批量归一化处理后更新u和v，将更新的u和v按照拼接层的公式进行数学向量拼接，形成行向量[u,v,abs(u-v),element-wise product(u⊙v),cos similarity(u,v)]；将拼接后的行向量输入到全连接层中，对比两个行向量，通过softmaxlayer得到这两个句子的相似度，即(不相似、相似)的概率。
当句子A和句子B语义一致时，其中一个为另一个的正样本；当句子A和B语义不一致时，其中一个为另一个的负样本。
本实施例采用了word2vec词向量方法，该方法能够找出给定词语的大量相关词语，一定层度的克服了同义词和同义短语带来的问题。采用了一种短路连接的双向lstm网络结构，该网络结构具备一定的记忆上下文能力，并且训练收敛速度快。构造的分类器比只用cos相似度的方法具有更高的准确率。对新领域的文本相似度计算，可以在原有模型上继续训练，提高在新领域的准确性。
本实施例能够在更短的时间内更加精准地计算出两个文本的相似度，能够使自然语言处理及其相关领域在文本比对上的速度得到显著提高。此外，根据不同的应用场景，合理设置lstm网络的层数，能够通过堆叠的方式跨层输入训练向量，能够训练得到贴合当前场景的lstm神经网络，有利于针对不同的场景针对性训练用来计算文本相似度的模型，进而达到能够在任何场景快速完成文本相似度计算的目的。
证明例1：
按照本实施例的方法，与现有的文本对比方法进行比较：
分别采用本实施例中的方法，以及现有的wmd、tfidf和编辑相似度的方法，在经过同样语料文本的训练后，对句子A“还款银行怎么才能够修改”和句子B“如何变更还款卡”计算相似度。有如下相似度计算结果：
表1
| 方法 | 本实施例 | Wmd | tfidf | 编辑相似度 |
| 相似度 | 0.77 | 0.34 | 0 | 0.22 |
通过表1的计算结果，不难看出，采用本实施例方法的相似度更高，更符合实际情况，计算的相似度更加准确。
证明例2：
在证明例1的条件下，通过实施例中的方法，以及现有的wmd、tfidf和编辑相似度的方法，针对CCKS 2018微众银行智能客服问句匹配大赛的数据进行相似度对比处理，得到如表2所示结果，其中，准确率,采用f1评测指标:
表2
| 方法 | 本实施例 | Wmd | tfidf | 编辑距离 |
| F1值 | 0.81 | 0.68 | 0.63 | 0.47 |
从表2能够直接看出，运用本实施例方法来进行数据对比匹配时的准确率远高于现有方法的对比结果，充分说明。本方法计算的相似度更加准确。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (6)
1.一种基于堆叠双向lstm神经网络的文本相似度计算方法，其特征在于：包括以下步骤：
步骤一，将输入词向量以网络堆叠的方式输入到lstm神经网络中，得到输入句子向量；
步骤二，按照前面步骤得到两个输入句子的句子向量；将两个输入句子的句子向量输入到分类器中，得到这两个句子的相似度；
在步骤一之前，将带有相似度标签的语料文本分词，得到的词向量作为目标词向量；将目标词向量以网络堆叠的方式输入到lstm神经网络中，得到目标句子向量；将与输入句子向量具有相同语义的目标句子向量作为正样本，将除此之外的其他目标句子向量作为负样本；通过正样本、负样本和输入句子向量训练lstm神经网络模型和分类器，分别得到lstm神经网络参数和分类器的全连接层参数；
所述分类器包括依次连接的输入层、批处理层、拼接层、全连接层以及概率层；
所述输入层，用来输入包括输入句子向量特征、正样本和负样本在内的句子向量特征；
所述批处理层，用来对输入的句子向量特征进行批量归一化处理；
所述拼接层，用来将归一化处理后的句子向量拼接成为行向量；
所述全连接层，用来将行向量按照正样本和负样本进行二维对比；
所述概率层，用来得到行向量分别与正样本和负样本的相似概率。
2.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法，其特征在于：在步骤一之前，将输入句子分词并计算词向量，得到的词向量作为输入词向量。
3.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法，其特征在于：所述相似度分别针对正样本或者负样本，所述相似度包括针对同一样本相似和不相似的二维概率。
4.根据权利要求2所述的基于堆叠双向lstm神经网络的文本相似度计算方法，其特征在于：在分词后得到词向量时，采用word2vec进行词向量计算。
5.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法，其特征在于：所述拼接层拼接形成的行向量为：
[u,v,abs(u-v),element-wise product(u⊙v), cos similarity(u,v)]；
其中，u为句子1的输入句子向量特征，v为句子2的输入句子向量特征；
abs(u-v)代表u-v向量的绝对值；
element-wise product(u⊙v)代表u,v向量的元素积；
cos similarity(u,v)代表u,v向量的cos相似度。
6.根据权利要求1所述的基于堆叠双向lstm神经网络的文本相似度计算方法，其特征在于：建立目标优化函数，优化lstm神经网络参数和分类器的全连接层参数；所述目标优化函数为交叉熵或者Adam 迭代优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811075571.6A CN109344399B (zh) | 2018-09-14 | 2018-09-14 | 一种基于堆叠双向lstm神经网络的文本相似度计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811075571.6A CN109344399B (zh) | 2018-09-14 | 2018-09-14 | 一种基于堆叠双向lstm神经网络的文本相似度计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109344399A CN109344399A (zh) | 2019-02-15 |
| CN109344399B true CN109344399B (zh) | 2023-02-03 |
Family
ID=65305318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811075571.6A Active CN109344399B (zh) | 2018-09-14 | 2018-09-14 | 一种基于堆叠双向lstm神经网络的文本相似度计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344399B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992978B (zh) * | 2019-03-05 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 信息的传输方法、装置及存储介质 |
| CN109992772A (zh) * | 2019-03-13 | 2019-07-09 | 众安信息技术服务有限公司 | 一种文本相似度计算方法及装置 |
| CN111861610B (zh) * | 2019-04-30 | 2024-10-25 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN110941951B (zh) * | 2019-10-15 | 2022-02-15 | 平安科技（深圳）有限公司 | 文本相似度计算方法、装置、介质及电子设备 |
| CN111325029B (zh) * | 2020-02-21 | 2023-08-22 | 河海大学 | 一种基于深度学习集成模型的文本相似度计算方法 |
| CN111859988A (zh) * | 2020-07-28 | 2020-10-30 | 阳光保险集团股份有限公司 | 一种语义相似度评价方法、装置和计算机可读存储介质 |
| CN112085091B (zh) * | 2020-09-07 | 2024-04-26 | 中国平安财产保险股份有限公司 | 基于人工智能的短文本匹配方法、装置、设备及存储介质 |
| CN112328748A (zh) * | 2020-11-11 | 2021-02-05 | 上海昌投网络科技有限公司 | 一种用于保险配置意图识别的方法 |
| CN112632927A (zh) * | 2020-12-30 | 2021-04-09 | 上海犀语科技有限公司 | 一种基于语义处理的表格片段链接复原方法及系统 |
| CN113177406B (zh) * | 2021-04-23 | 2023-07-07 | 珠海格力电器股份有限公司 | 文本处理方法、装置、电子设备和计算机可读介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106295796A (zh) * | 2016-07-22 | 2017-01-04 | 浙江大学 | 基于深度学习的实体链接方法 |
| EP3156949A2 (en) * | 2015-10-16 | 2017-04-19 | Baidu USA LLC | Systems and methods for human inspired simple question answering (hisqa) |
| CN106997376A (zh) * | 2017-02-28 | 2017-08-01 | 浙江大学 | 一种基于多级特征的问题和答案句子相似度计算方法 |
| CN107729322A (zh) * | 2017-11-06 | 2018-02-23 | 广州杰赛科技股份有限公司 | 分词方法及装置、建立句子向量生成模型方法及装置 |
| CN107832400A (zh) * | 2017-11-01 | 2018-03-23 | 山东大学 | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 |
| CA3039517A1 (en) * | 2016-11-03 | 2018-05-11 | Salesforce.Com, Inc. | Joint many-task neural network model for multiple natural language processing (nlp) tasks |
| CN108427665A (zh) * | 2018-03-15 | 2018-08-21 | 广州大学 | 一种基于lstm型rnn模型的文本自动生成方法 |
-
2018
- 2018-09-14 CN CN201811075571.6A patent/CN109344399B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3156949A2 (en) * | 2015-10-16 | 2017-04-19 | Baidu USA LLC | Systems and methods for human inspired simple question answering (hisqa) |
| CN106295796A (zh) * | 2016-07-22 | 2017-01-04 | 浙江大学 | 基于深度学习的实体链接方法 |
| CA3039517A1 (en) * | 2016-11-03 | 2018-05-11 | Salesforce.Com, Inc. | Joint many-task neural network model for multiple natural language processing (nlp) tasks |
| CN106997376A (zh) * | 2017-02-28 | 2017-08-01 | 浙江大学 | 一种基于多级特征的问题和答案句子相似度计算方法 |
| CN107832400A (zh) * | 2017-11-01 | 2018-03-23 | 山东大学 | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 |
| CN107729322A (zh) * | 2017-11-06 | 2018-02-23 | 广州杰赛科技股份有限公司 | 分词方法及装置、建立句子向量生成模型方法及装置 |
| CN108427665A (zh) * | 2018-03-15 | 2018-08-21 | 广州大学 | 一种基于lstm型rnn模型的文本自动生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Deep Architecture for Semantic Matching;Shengxian Wan etc.;《Vol. 30 No. 1 (2016): Thirtieth AAAI Conference on Artificial Intelligence》;20160315;全文 * |
| IDENTIFYING RAGA SIMILARITY THROUGH EMBEDDINGS LEARNED;Joe Cheri Ross etc.;《ISMIR, 2017》;20171231;全文 * |
| 基于CNN与双向LSTM的中文文本蕴含识别方法;谭咏梅 等;《中文信息学报》;20180715;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109344399A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344399B (zh) | 一种基于堆叠双向lstm神经网络的文本相似度计算方法 | |
| CN111104794B (zh) | 一种基于主题词的文本相似度匹配方法 | |
| CN107133213B (zh) | 一种基于算法的文本摘要自动提取方法与系统 | |
| CN110442760B (zh) | 一种问答检索系统的同义词挖掘方法及装置 | |
| CN111221944B (zh) | 文本意图识别方法、装置、设备和存储介质 | |
| CN111325029B (zh) | 一种基于深度学习集成模型的文本相似度计算方法 | |
| CN110263325B (zh) | 中文分词系统 | |
| CN111125349A (zh) | 基于词频和语义的图模型文本摘要生成方法 | |
| CN111898374B (zh) | 文本识别方法、装置、存储介质和电子设备 | |
| CN107480200B (zh) | 基于词标签的词语标注方法、装置、服务器及存储介质 | |
| CN108509521B (zh) | 一种自动生成文本索引的图像检索方法 | |
| CN108920599B (zh) | 一种基于知识本体库的问答系统答案精准定位和抽取方法 | |
| CN113761868B (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
| CN113688954A (zh) | 一种计算文本相似度的方法、系统、设备和存储介质 | |
| CN111291188A (zh) | 一种智能信息抽取方法及系统 | |
| CN107895000A (zh) | 一种基于卷积神经网络的跨领域语义信息检索方法 | |
| CN113326702B (zh) | 语义识别方法、装置、电子设备及存储介质 | |
| CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN104008187A (zh) | 一种基于最小编辑距离的半结构化文本匹配方法 | |
| CN115203421A (zh) | 一种长文本的标签生成方法、装置、设备及存储介质 | |
| CN111191031A (zh) | 一种基于WordNet和IDF的非结构化文本的实体关系分类方法 | |
| CN115600597A (zh) | 基于注意力机制和词内语义融合的命名实体识别方法、装置、系统及存储介质 | |
| CN112699685A (zh) | 基于标签引导的字词融合的命名实体识别方法 | |
| Wang et al. | Named entity recognition method of brazilian legal text based on pre-training model | |
| CN112988970A (zh) | 一种服务于智能问答系统的文本匹配算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Qin Hong Hui Inventor after: Du Ruo Inventor after: Xiang Hai Inventor after: Hou Cong Inventor after: Liu Ke Inventor before: Qin Hong Hui |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240926 Address after: Room 209, First Floor, No. 364 Industrial Avenue Middle Road, Haizhu District, Guangzhou City, Guangdong Province, 510220 Patentee after: Guangzhou Youyi Information Technology Co.,Ltd. Country or region after: China Address before: 401120 No. 1, Floor 3, Building 11, Internet Industrial Park, No. 106, West Section of Jinkai Avenue, Yubei District, Chongqing Patentee before: CHONGQING XIEZHI TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |