[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111538841B - 基于知识互蒸馏的评论情感分析方法、装置及系统 - Google Patents

基于知识互蒸馏的评论情感分析方法、装置及系统 Download PDF

Info

Publication number
CN111538841B
CN111538841B CN202010654137.4A CN202010654137A CN111538841B CN 111538841 B CN111538841 B CN 111538841B CN 202010654137 A CN202010654137 A CN 202010654137A CN 111538841 B CN111538841 B CN 111538841B
Authority
CN
China
Prior art keywords
classifier
cost function
sentiment
prediction result
comment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010654137.4A
Other languages
English (en)
Other versions
CN111538841A (zh
Inventor
邬昌兴
曹柳文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongyue Information Technology Co ltd
Xiongju Digital Technology Zhejiang Co ltd
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202010654137.4A priority Critical patent/CN111538841B/zh
Publication of CN111538841A publication Critical patent/CN111538841A/zh
Application granted granted Critical
Publication of CN111538841B publication Critical patent/CN111538841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Creation or modification of classes or clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于知识互蒸馏的评论情感分析方法、装置及系统，所述方法包括：从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果；基于第二分类器计算得到第二情感预测结果，基于第三分类器计算得到第三情感预测结果；根据第一、第二、第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛。本发明中的三个分类器基于知识互蒸馏的方法互相学习、共同提高，同时利用用户和产品两种属性对评论文本情感的共同影响以及各自的单独影响，从实质上提高不同场合下评论情感分析的性能。

Description

基于知识互蒸馏的评论情感分析方法、装置及系统
技术领域
本发明涉及计算机智能分析处理技术领域，特别涉及一种基于知识互蒸馏的评论情感分析方法、装置及系统。
背景技术
文档级的情感分类是情感分析和意见挖掘领域一项基本且重要的任务。如何从实质上提高情感分析的性能，成为了专家学者们研究的主要课题。例如：某购物网站用户“张三”针对其购买的产品“华为P30”手机发表了评论“这个手机拍的照片挺清晰”，其中“张三”是这条评论的用户属性，“华为P30”是这条评论的产品属性。不同用户的用词习惯可能不同，其对不同产品的喜好程度也可能不同，因此在评论文本情感分析模型中有必要考虑上述两种属性信息。大量的研究工作已经证实，在用户针对产品的评论中，用户属性和产品属性对评论文本的情感影响很大，考虑这两种属性信息的模型比仅考虑评论文本的模型的性能更好。
目前，各种基于深度学习集成用户和产品属性信息的模型可以被粗略地分为两大类：（1）如图1（a）所示，此类模型通常基于一个神经网络把两种属性信息融合到一个评论文本特征表示
Figure 714833DEST_PATH_IMAGE001
中，其被用作特征预测分类概率
Figure 829420DEST_PATH_IMAGE002
。一般通过基于注意力机制的方法或者基于记忆网络的方法实现。从本质上来看，此类模型重点建模了两种属性对评论文本情感的共同影响。（2）如图1（b）所示，此类模型通常先通过两个单独的子网络分别学习一个融合了用户属性信息的文本特征表示
Figure 610294DEST_PATH_IMAGE003
和一个融合了产品属性信息的文本特征表示
Figure 595567DEST_PATH_IMAGE004
，然后融合
Figure 170905DEST_PATH_IMAGE003
和
Figure 507209DEST_PATH_IMAGE004
用于情感分类。此类模型可以认为是更有效地建模了单个属性对评论文本情感的影响，其出发点是：用户和产品属性信息对评论文本的影响本质上是不同的，应该分开集成。
对现有的评论分析模型而言，存在以下两个方面的缺陷：（1）三种评论文本表示
Figure 324730DEST_PATH_IMAGE001
、
Figure 695668DEST_PATH_IMAGE003
和
Figure 441907DEST_PATH_IMAGE004
可以看成从三个不同的角度对评论文本的描述，包含的信息是互补的。然而，现有模型没有有效地整合这三种文本表示，从而未能同时利用两种属性对文本情感的共同影响以及每种属性的单独影响进行综合评价。（2）不能很好地用于现实中常见的某一属性缺失的评论文本。例如，当一个网站允许用户匿名评论的时候或者因为用户隐私的问题，用户属性信息就无法获得。
发明内容
鉴于上述状况，有必要解决现有的情感分析模型中，由于没有整合三种文本表示，从而未能同时利用两种属性对文本情感的共同影响以及每种属性的单独影响进行综合评价，导致影响评论情感分析质量的问题。
本发明实施例提供了一种基于知识互蒸馏的评论情感分析方法，其中，所述方法包括如下步骤：
步骤一：从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入，其中所述用户属性表示发表评论文本所对应的不同用户，所述产品属性表示评论文本中的评论对象所指向的不同产品；
步骤二：在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入；
步骤三：根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛，其中所述真实类别标记为训练数据集中人工标注的情感类别，以用作分类器的训练目标之一，所述第一分类器用于带有用户和产品两种属性的评论情感分析，所述第二分类器用于仅有用户属性的评论情感分析，所述第三分类器用于仅有产品属性的评论情感分析。
所述基于知识互蒸馏的评论情感分析方法，其中，在所述步骤一中，所述当前训练实例表述为：
Figure 265507DEST_PATH_IMAGE005
Figure 122604DEST_PATH_IMAGE006
表示当前训练实例，
Figure 82470DEST_PATH_IMAGE007
表示当前训练实例的评论文本，
Figure 265190DEST_PATH_IMAGE008
表示当前训练实例的用户属性，
Figure 576085DEST_PATH_IMAGE009
表示当前训练实例的产品属性。
所述基于知识互蒸馏的评论情感分析方法，其中，基于第一分类器
Figure 236874DEST_PATH_IMAGE010
计算得到当前训练实例对应的第一情感预测结果表示为：
Figure 316825DEST_PATH_IMAGE011
其中，
Figure 404867DEST_PATH_IMAGE001
为融合了用户和产品属性的评论文本的特征表示，
Figure 937480DEST_PATH_IMAGE012
为第一分类器
Figure 401959DEST_PATH_IMAGE010
中分类层的参数，softmax为用于输出分类概率的归一化函数，
Figure 336417DEST_PATH_IMAGE013
为基于第一分类器
Figure 362404DEST_PATH_IMAGE010
计算得到的当前训练实例对应的第一情感预测结果；
第二分类器
Figure 382313DEST_PATH_IMAGE014
的输入为仅带有用户属性的评论文本
Figure 384904DEST_PATH_IMAGE015
，对应的第二情感预测结果为
Figure 173868DEST_PATH_IMAGE016
；
第三分类器
Figure 869292DEST_PATH_IMAGE017
的输入为仅带有产品属性的评论文本
Figure 642076DEST_PATH_IMAGE018
，对应的第三情感预测结果为
Figure 182778DEST_PATH_IMAGE019
；
其中，
Figure 91829DEST_PATH_IMAGE020
和
Figure 692574DEST_PATH_IMAGE021
均为占位符，分别用于表示缺失的产品属性和用户属性。
所述基于知识互蒸馏的评论情感分析方法，其中，在所述步骤三中，所述第一分类器对应的总体代价函数的计算方法包括如下步骤：
根据所述第一情感预测结果计算得到第一基础代价函数，并根据所述第一基础代价函数以及第一额外代价函数计算得到与所述第一分类器对应的总体代价函数；
所述第一基础代价函数表示为：
Figure 687075DEST_PATH_IMAGE022
其中，
Figure 31469DEST_PATH_IMAGE023
为所述第一基础代价函数，
Figure 795025DEST_PATH_IMAGE024
为第一分类器
Figure 97831DEST_PATH_IMAGE010
的参数集，
Figure 812584DEST_PATH_IMAGE025
表示真实类别标记
Figure 960668DEST_PATH_IMAGE026
的第
Figure 578731DEST_PATH_IMAGE027
个分量，
Figure 786859DEST_PATH_IMAGE028
表示第一情感预测结果
Figure 490372DEST_PATH_IMAGE029
的第
Figure 176569DEST_PATH_IMAGE027
个分量，
Figure 914718DEST_PATH_IMAGE030
指整个训练数据集，
Figure 559326DEST_PATH_IMAGE006
对应的真实类别标记为
Figure 750135DEST_PATH_IMAGE026
,
Figure 240023DEST_PATH_IMAGE026
为一个M维的one-hot编码向量，
Figure 567099DEST_PATH_IMAGE031
表示情感类别的数量；
所述第一额外代价函数表示为：
Figure 117029DEST_PATH_IMAGE032
Figure 795135DEST_PATH_IMAGE033
Figure 354292DEST_PATH_IMAGE034
其中，
Figure 302919DEST_PATH_IMAGE035
为第一额外代价函数，
Figure 758171DEST_PATH_IMAGE036
以及
Figure 923573DEST_PATH_IMAGE037
均指KL距离，
Figure 755263DEST_PATH_IMAGE036
用于衡量第一分类器
Figure 322510DEST_PATH_IMAGE010
与第二分类器
Figure 948664DEST_PATH_IMAGE014
的情感预测结果之间的匹配程度，
Figure 601362DEST_PATH_IMAGE037
用于衡量第一分类器
Figure 236743DEST_PATH_IMAGE010
与第三分类器
Figure 658497DEST_PATH_IMAGE017
的情感预测结果之间的匹配程度，
Figure 721131DEST_PATH_IMAGE038
表示第二情感预测结果
Figure 595546DEST_PATH_IMAGE039
的第
Figure 34617DEST_PATH_IMAGE027
个分量，
Figure 310878DEST_PATH_IMAGE040
表示第三情感预测结果
Figure 544413DEST_PATH_IMAGE041
的第
Figure 906124DEST_PATH_IMAGE027
个分量；
所述第一分类器
Figure 393562DEST_PATH_IMAGE010
对应的总体代价函数表示为：
Figure 524329DEST_PATH_IMAGE042
其中，
Figure 194344DEST_PATH_IMAGE043
为第一分类器
Figure 43352DEST_PATH_IMAGE010
对应的总体代价函数，
Figure 558647DEST_PATH_IMAGE044
表示第一额外代价函数占的比重，即第二分类器
Figure 809499DEST_PATH_IMAGE014
以及第三分类器
Figure 384837DEST_PATH_IMAGE017
提供的情感预测结果在第一分类器
Figure 721141DEST_PATH_IMAGE010
对应的总体代价函数中所占的比重。
所述基于知识互蒸馏的评论情感分析方法，其中，在所述步骤三中，所述第二分类器对应的总体代价函数的计算方法包括如下步骤：
根据第二情感预测结果计算得到第二基础代价函数，并根据所述第二基础代价函数以及第二额外代价函数计算得到与所述第二分类器对应的总体代价函数；
所述第二基础代价函数表示为：
Figure 40127DEST_PATH_IMAGE045
其中，
Figure 411065DEST_PATH_IMAGE046
为所述第二基础代价函数，
Figure 157304DEST_PATH_IMAGE047
是第二分类器
Figure 715324DEST_PATH_IMAGE014
的参数集，
Figure 838001DEST_PATH_IMAGE025
表示真实类别标记
Figure 797867DEST_PATH_IMAGE026
的第
Figure 216472DEST_PATH_IMAGE027
个分量，
Figure 527368DEST_PATH_IMAGE038
表示第二情感预测结果
Figure 188156DEST_PATH_IMAGE039
的第
Figure 268108DEST_PATH_IMAGE027
个分量，
Figure 621729DEST_PATH_IMAGE030
指代整个训练数据集，
Figure 154341DEST_PATH_IMAGE048
对应的真实类别标记为
Figure 618821DEST_PATH_IMAGE026
,
Figure 287699DEST_PATH_IMAGE026
为一个M维的one-hot编码向量，M表示情感类别的数量；
所述第二额外代价函数表示为：
Figure 812222DEST_PATH_IMAGE049
Figure 832130DEST_PATH_IMAGE050
Figure 834721DEST_PATH_IMAGE051
其中，
Figure 623686DEST_PATH_IMAGE052
为第二额外代价函数，
Figure 319109DEST_PATH_IMAGE053
以及
Figure 560735DEST_PATH_IMAGE054
均指KL距离，
Figure 131131DEST_PATH_IMAGE053
用于衡量第二分类器
Figure 40181DEST_PATH_IMAGE014
与第一分类器
Figure 640927DEST_PATH_IMAGE010
的情感预测结果之间的匹配程度，
Figure 635428DEST_PATH_IMAGE054
用于衡量第二分类器
Figure 245401DEST_PATH_IMAGE014
与第三分类器
Figure 8957DEST_PATH_IMAGE017
的情感预测结果之间的匹配程度。
所述基于知识互蒸馏的评论情感分析方法，其中，在所述步骤三中，所述第二分类器对应的总体代价函数表示为：
Figure 780604DEST_PATH_IMAGE055
其中，
Figure 262401DEST_PATH_IMAGE056
为第二分类器
Figure 676065DEST_PATH_IMAGE014
对应的总体代价函数，
Figure 294128DEST_PATH_IMAGE047
为第二分类器
Figure 502256DEST_PATH_IMAGE014
的参数集，
Figure 205769DEST_PATH_IMAGE044
表示第二额外代价函数占的比重，即第一分类器
Figure 157545DEST_PATH_IMAGE010
以及第三分类器
Figure 397159DEST_PATH_IMAGE017
提供的情感预测结果在第二分类器
Figure 510608DEST_PATH_IMAGE014
对应的总体代价函数中所占的比重。
所述基于知识互蒸馏的评论情感分析方法，其中，在所述步骤三中，所述第三分类器对应的总体代价函数的计算方法包括如下步骤：
根据第三情感预测结果计算得到第三基础代价函数，并根据所述第三基础代价函数以及第三额外代价函数计算得到与所述第三分类器对应的总体代价函数；
所述第三基础代价函数表示为：
Figure 701418DEST_PATH_IMAGE057
其中，
Figure 191305DEST_PATH_IMAGE058
为所述第三基础代价函数，
Figure 49540DEST_PATH_IMAGE059
是第三分类器
Figure 599470DEST_PATH_IMAGE017
的参数集，
Figure 277576DEST_PATH_IMAGE025
表示真实类别标记
Figure 305575DEST_PATH_IMAGE026
的第
Figure 752737DEST_PATH_IMAGE027
个分量，
Figure 739147DEST_PATH_IMAGE040
表示第三情感预测结果
Figure 904549DEST_PATH_IMAGE060
的第
Figure 736239DEST_PATH_IMAGE027
个分量，
Figure 303487DEST_PATH_IMAGE030
指整个训练数据集，
Figure 693754DEST_PATH_IMAGE061
对应的真实类别标记为
Figure 346453DEST_PATH_IMAGE026
,
Figure 716254DEST_PATH_IMAGE026
为一个M维的one-hot编码向量，
Figure 403587DEST_PATH_IMAGE031
表示情感类别的数量；
所述第三额外代价函数表示为：
Figure 466221DEST_PATH_IMAGE062
Figure 340636DEST_PATH_IMAGE063
Figure 779708DEST_PATH_IMAGE064
其中，
Figure 55968DEST_PATH_IMAGE065
为第三额外代价函数，
Figure 555083DEST_PATH_IMAGE066
及
Figure 916794DEST_PATH_IMAGE067
均指KL距离，
Figure 628398DEST_PATH_IMAGE066
用于衡量第三分类器
Figure 24744DEST_PATH_IMAGE017
与第一分类器
Figure 694760DEST_PATH_IMAGE010
的情感预测结果之间的匹配程度，
Figure 45232DEST_PATH_IMAGE067
用于衡量第三分类器
Figure 560527DEST_PATH_IMAGE017
与第二分类器
Figure 811380DEST_PATH_IMAGE014
的情感预测结果之间的匹配程度。
所述基于知识互蒸馏的评论情感分析方法，其中，在所述步骤三中，所述第三分类器对应的总体代价函数表示为：
Figure 652297DEST_PATH_IMAGE068
其中，
Figure 988601DEST_PATH_IMAGE069
为第三分类器
Figure 307586DEST_PATH_IMAGE017
对应的总体代价函数，
Figure 412946DEST_PATH_IMAGE044
表示第三额外代价函数占的比重，即第一分类器
Figure 159185DEST_PATH_IMAGE010
以及第二分类器
Figure 982784DEST_PATH_IMAGE014
提供的情感预测结果在第三分类器
Figure 105461DEST_PATH_IMAGE017
对应的总体代价函数中所占的比重。
本发明还提出一种基于知识互蒸馏的评论情感分析装置，其中，所述装置执行如所述的基于知识互蒸馏的评论情感分析方法，所述装置包括：
第一计算模块，用于从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入，其中所述用户属性表示发表评论文本所对应的不同用户，所述产品属性表示评论文本中的评论对象所指向的不同产品；
第二计算模块，用于在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入；
更新收敛模块，用于根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛，其中所述真实类别标记为训练数据集中人工标注的情感类别，以用作分类器的训练目标之一，所述第一分类器用于带有用户和产品两种属性的评论情感分析，所述第二分类器用于仅有用户属性的评论情感分析，所述第三分类器用于仅有产品属性的评论情感分析。
本发明还提出一种基于知识互蒸馏的评论情感分析系统，其中，所述系统包括一控制器，所述控制器执行如上所述的基于知识互蒸馏的评论情感分析方法。
本发明提出的基于知识互蒸馏的评论情感分析方法，综合第一分类器、第二分类器以及第三分类器，分别计算得到对应的第一情感预测结果、第二情感预测结果以及第三情感预测结果，再综合第一情感预测结果、第二情感预测结果以及第三情感预测结果，通过互蒸馏的方式，得到对应的总体代价函数，根据总体代价函数对对应的分类器的参数进行更新直至分析模型收敛，最后将分类器进行发布。与此同时，本发明提出的基于知识互蒸馏的评论情感分析方法，具有如下技术效果：
（1）能够同时利用用户和产品两种属性对评论文本情感的共同影响，以及每种属性对评论文本情感的单独影响，从而实质性地提高情感分析的性能；
（2）既能够用于预测具有用户和产品两种属性的评论文本的情感分类，又能够预测实际场景中常见的缺失了某种属性的评论文本的情感分类；
（3）不依赖于所采用的分类器，且可以很容易扩展到包含两种以上属性的分类任务，具有很强的适用性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为现有的情感评论模型示意图；
图2为本发明第一实施例提出的基于知识互蒸馏的评论情感分析方法的流程图；
图3为本发明第一实施例中集成用户和产品属性的评论文本表示学习神经网络的结构示意图；
图4为本发明第一实施例中知识互蒸馏模型的结构示意图；
图5为本发明第一实施例中知识互蒸馏模型的工作原理示意图；
图6为本发明第二实施例提出的基于知识互蒸馏的评论情感分析装置的结构示意图；
图7为本发明第三实施例提出的基于知识互蒸馏的评论情感分析系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
现有技术中，由于没有整合三种文本表示，从而未能同时利用两种属性对文本情感的共同影响以及每种属性的单独影响进行综合评价，导致影响评论分析的质量。
实施例一：
对于该技术问题，本发明提出一种基于知识互蒸馏的评论情感分析方法，请参阅图2至图5，本发明第一实施例提出的基于知识互蒸馏的评论情感分析方法。
在此需要说明的是，本发明提出的基于知识互蒸馏的评论情感分析方法，是基于集成用户和产品属性的评论文本表示学习神经网络实现的。如图3所示，层次注意力网络（Hierarchical Attention Network, HAN）用于学习评论文本（文档级）的语义表示；简单的多层前馈神经网络（Feed Forward Network, FFN）用于在词级别、句子级别和文档级别把用户属性信息集成到文本表示中；注意力机制（Attention Mechanism）用于把产品属性信息集成到文本表示中，以选择对当前产品重要的词和句子。
具体的，假设一个评论文本
Figure 65327DEST_PATH_IMAGE070
中有
Figure 982467DEST_PATH_IMAGE071
个句子
Figure 293363DEST_PATH_IMAGE072
，每个句子中含有
Figure 718266DEST_PATH_IMAGE073
个词。
Figure 532638DEST_PATH_IMAGE074
表示第i个句子中的所有词，这些词通过预训练好的词向量初始化为
Figure 886259DEST_PATH_IMAGE075
。用户属性
Figure 684451DEST_PATH_IMAGE076
映射为一个可学习的向量
Figure 883351DEST_PATH_IMAGE077
。类似地，产品属性
Figure 348967DEST_PATH_IMAGE078
也映射为一个可学习的向量
Figure 873489DEST_PATH_IMAGE079
。其中，
Figure 627819DEST_PATH_IMAGE077
和
Figure 161568DEST_PATH_IMAGE079
是分类模型的参数，在训练时随机进行初始化。
给定句子中词的向量表示
Figure 950533DEST_PATH_IMAGE075
，一个前馈神经网络
Figure 380377DEST_PATH_IMAGE080
和一个双向长短时记忆网络
Figure 887582DEST_PATH_IMAGE081
分别用于把用户信息和词所在句子中的上下文信息编码到词的表示
Figure 460908DEST_PATH_IMAGE082
中，如以下公式所示：
Figure 104379DEST_PATH_IMAGE083
Figure 970704DEST_PATH_IMAGE084
基于词的表示
Figure 699625DEST_PATH_IMAGE082
，一个融合了产品信息的词级别的注意力机制用于计算句子的向量表示
Figure 575177DEST_PATH_IMAGE085
，如下所示：
Figure 338734DEST_PATH_IMAGE086
Figure 110381DEST_PATH_IMAGE087
Figure 592178DEST_PATH_IMAGE088
其中，
Figure 5842DEST_PATH_IMAGE089
表示第
Figure 623905DEST_PATH_IMAGE090
个句子中的第
Figure 566453DEST_PATH_IMAGE091
个词与当前产品的相关性权重，
Figure 535546DEST_PATH_IMAGE092
表示词级别注意力机制的参数矩阵，
Figure 997576DEST_PATH_IMAGE093
表示对应的参数向量，可学习的词级别的上下文向量
Figure 470145DEST_PATH_IMAGE094
用于衡量句子中的词与当前产品的相关程度，
Figure 849174DEST_PATH_IMAGE095
表示其转置；“；”表示向量的拼接操作，
Figure 305563DEST_PATH_IMAGE096
是计算得到的每个词的相关程度。
给定评论文本中句子的向量表示
Figure 795450DEST_PATH_IMAGE085
，另一个前馈神经网络（
Figure 388106DEST_PATH_IMAGE080
）和另一个双向长短时记忆网络（
Figure 203615DEST_PATH_IMAGE081
）分别用于把用户信息和句子所在文档中的上下文信息编码到句子的表示中，如以下公式所示：
Figure 616142DEST_PATH_IMAGE097
Figure 909720DEST_PATH_IMAGE098
其中，
Figure 356882DEST_PATH_IMAGE099
表示融合了用户属性信息但尚未整合上下文信息的句子表示。
基于句子的表示
Figure 343292DEST_PATH_IMAGE100
，一个融合了产品信息的句子级别的注意力机制用于计算评论文本的向量表示
Figure 508694DEST_PATH_IMAGE007
，如下所示：
Figure 340384DEST_PATH_IMAGE101
Figure 143517DEST_PATH_IMAGE102
Figure 35250DEST_PATH_IMAGE103
其中，
Figure 687948DEST_PATH_IMAGE104
表示第
Figure 323329DEST_PATH_IMAGE090
个句子与当前产品的相关性权重，
Figure 745083DEST_PATH_IMAGE105
表示注意力机制的参数矩阵，
Figure 807717DEST_PATH_IMAGE106
表示对应的参数向量，可学习的句子级别的上下文向量
Figure 682132DEST_PATH_IMAGE107
用于衡量评论文本中的句子与当前产品的相关性程度，
Figure 121203DEST_PATH_IMAGE108
表示其转置，
Figure 397464DEST_PATH_IMAGE109
是计算得到的每个句子的相关程度。
学习到融合了用户和产品信息的评论文本的表示
Figure 630999DEST_PATH_IMAGE001
后，层叠一个softmax层用于计算分类的结果
Figure 992710DEST_PATH_IMAGE002
，如下所示：
Figure 969894DEST_PATH_IMAGE110
Figure 631819DEST_PATH_IMAGE111
其中，
Figure 534791DEST_PATH_IMAGE112
表示分类层的参数矩阵，
Figure 118219DEST_PATH_IMAGE113
表示对应的参数向量。
上述分类模型同时使用了用户和产品两种属性，我们称之为
Figure 164672DEST_PATH_IMAGE010
，对应的参数集
Figure 415525DEST_PATH_IMAGE024
包括：所有用户属性对应的参数向量
Figure 990863DEST_PATH_IMAGE114
，所有产品属性对应的参数向量
Figure 61587DEST_PATH_IMAGE115
，训练数据集中不同用户属性的数量
Figure 646152DEST_PATH_IMAGE116
，训练数据集中不同产品属性的数量
Figure 751512DEST_PATH_IMAGE117
，双向长短时记忆网络
Figure 497751DEST_PATH_IMAGE118
和
Figure 321350DEST_PATH_IMAGE119
中的参数，多层前馈神经网络
Figure 444027DEST_PATH_IMAGE120
、
Figure 669472DEST_PATH_IMAGE121
和
Figure 586612DEST_PATH_IMAGE122
中的参数，注意力机制中的参数
Figure 133394DEST_PATH_IMAGE123
和
Figure 59761DEST_PATH_IMAGE124
，以及分类层参数
Figure 139713DEST_PATH_IMAGE125
。其中，双向长短时记忆网络和多层前馈神经网络都是常用的神经网络结构，它们包含的具体参数在此不再赘述。
第二分类器
Figure 227754DEST_PATH_IMAGE014
同样采用上述网络结构，只需要以
Figure 760367DEST_PATH_IMAGE126
作为输入，学习评论文本的表示
Figure 490426DEST_PATH_IMAGE003
，并计算分类的结果
Figure 424884DEST_PATH_IMAGE127
；用参数向量
Figure 683827DEST_PATH_IMAGE020
代替
Figure 703735DEST_PATH_IMAGE024
中所有产品属性的参数向量表示
Figure 237485DEST_PATH_IMAGE128
即可得到
Figure 26449DEST_PATH_IMAGE014
的参数集
Figure 456293DEST_PATH_IMAGE047
。
类似地，第三分类器
Figure 963498DEST_PATH_IMAGE017
同样采用上述网络结构，只需要以
Figure 533895DEST_PATH_IMAGE126
作为输入，学习评论文本的表示
Figure 177365DEST_PATH_IMAGE129
，并计算分类的结果
Figure 43690DEST_PATH_IMAGE130
；用参数向量
Figure 772612DEST_PATH_IMAGE021
代替
Figure 382585DEST_PATH_IMAGE024
中所有用户属性的参数向量表示
Figure 146141DEST_PATH_IMAGE131
即可得到
Figure 183368DEST_PATH_IMAGE017
的参数集
Figure 399585DEST_PATH_IMAGE059
。需要说明的是，本发明提出模型不依赖于采用的分类器，具有很强的适用性。
进一步的，请参阅图2，本发明提出的基于知识互蒸馏的评论情感分析方法，包括如下步骤：
S101，从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入。
在本步骤中，上述当前训练实例对应的表达式为：
Figure 547670DEST_PATH_IMAGE005
Figure 431312DEST_PATH_IMAGE006
表示当前训练实例，
Figure 639440DEST_PATH_IMAGE007
表示当前训练实例的评论文本，
Figure 342954DEST_PATH_IMAGE008
表示当前训练实例的用户属性，
Figure 61773DEST_PATH_IMAGE009
表示当前训练实例的产品属性。在此需要说明的是，用户属性指的是发表评论文本的不同用户，对情感预测结果的影响。产品属性指的是评论文本中的评论对象所指向的不同产品对情感预测结果的影响。
基于第一分类器
Figure 534343DEST_PATH_IMAGE010
计算得到当前训练实例对应的第一情感预测结果表示为：
Figure 178951DEST_PATH_IMAGE011
其中，
Figure 369761DEST_PATH_IMAGE001
为融合了用户和产品属性的评论文本的特征表示，
Figure 859648DEST_PATH_IMAGE012
为第一分类器
Figure 452303DEST_PATH_IMAGE010
中分类层的参数，softmax为用于输出分类概率的归一化函数，
Figure 736654DEST_PATH_IMAGE013
为基于第一分类器
Figure 680339DEST_PATH_IMAGE010
计算得到的当前训练实例对应的第一情感预测结果。
S102，在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入。
在本步骤中，需要指出的是，第二分类器
Figure 973917DEST_PATH_IMAGE014
的输入为仅带有用户属性的评论文本
Figure 421079DEST_PATH_IMAGE126
，对应的第二预测结果为
Figure 141910DEST_PATH_IMAGE039
。第三分类器
Figure 307313DEST_PATH_IMAGE017
的输入为仅带有用户属性的评论文本
Figure 139002DEST_PATH_IMAGE018
，对应的第三预测结果为
Figure 204785DEST_PATH_IMAGE041
。
在此需要说明的是，
Figure 96518DEST_PATH_IMAGE020
和
Figure 483637DEST_PATH_IMAGE021
均为占位符，分别用于表示缺失的产品属性和用户属性。
S103，根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛。
其中上述的真实类别标记为训练数据集中人工标注的情感类别，用作分类器的训练目标之一。如上述步骤S101所述，在得到了第一分类器
Figure 384597DEST_PATH_IMAGE010
预测的第一情感预测结果
Figure 806351DEST_PATH_IMAGE029
之后，对于多分类任务，通常把预测的概率分布和真实的概率分布之间的交叉熵作为分类器的代价函数。在此对于第一分类器
Figure 868985DEST_PATH_IMAGE010
而言，约定称为第一基础代价函数。
第一基础代价函数表示为：
Figure 743400DEST_PATH_IMAGE022
其中，
Figure 182471DEST_PATH_IMAGE023
为第一基础代价函数，
Figure 458732DEST_PATH_IMAGE024
为第一分类器
Figure 692267DEST_PATH_IMAGE010
的参数集，
Figure 319557DEST_PATH_IMAGE025
表示真实类别标记
Figure 296741DEST_PATH_IMAGE026
的第
Figure 427508DEST_PATH_IMAGE027
个分量，
Figure 333409DEST_PATH_IMAGE028
表示第一情感预测结果
Figure 447996DEST_PATH_IMAGE029
的第
Figure 228870DEST_PATH_IMAGE027
个分量，
Figure 214143DEST_PATH_IMAGE030
指整个训练数据集。其中，训练实例对应的真实类别标记为
Figure 789481DEST_PATH_IMAGE026
,
Figure 391364DEST_PATH_IMAGE026
为一个M维的one-hot(一位)有效编码向量，
Figure 710350DEST_PATH_IMAGE031
表示情感类别的数量。
Figure 815709DEST_PATH_IMAGE031
的取值视具体情况而定，例如，如果是用于2分类（正向情感和负向情感），则M＝2；如果是用于5分类（给评论文本打1~5星），则M＝5；如果是用于10分类（给评论文本打1~10星），则M＝10。
为了更好地训练第一分类器
Figure 561948DEST_PATH_IMAGE010
，使其能够捕获用户属性对评论文本情感的单独影响以及产品属性的单独影响。模型利用第二分类器
Figure 651127DEST_PATH_IMAGE014
和第三分类器
Figure 508224DEST_PATH_IMAGE017
，以知识蒸馏的形式为第一分类器
Figure 468090DEST_PATH_IMAGE010
提供额外的情感预测结果。换言之，同时使用人工标记的类别和第二分类器
Figure 650810DEST_PATH_IMAGE014
和第三分类器
Figure 471959DEST_PATH_IMAGE017
预测的结果引导第一分类器
Figure 132748DEST_PATH_IMAGE010
的训练。因此，可以为第一分类器
Figure 212699DEST_PATH_IMAGE010
定义一个额外的代价函数，在此称为第一额外代价函数，可表示为：
Figure 300741DEST_PATH_IMAGE032
Figure 833354DEST_PATH_IMAGE033
Figure 563412DEST_PATH_IMAGE034
其中，
Figure 497870DEST_PATH_IMAGE035
为第一额外代价函数，
Figure 22392DEST_PATH_IMAGE036
以及
Figure 42301DEST_PATH_IMAGE037
均指KL距离，
Figure 44892DEST_PATH_IMAGE036
用于衡量第一分类器
Figure 833857DEST_PATH_IMAGE010
与第二分类器
Figure 794859DEST_PATH_IMAGE014
的情感预测结果之间的匹配程度，
Figure 803529DEST_PATH_IMAGE037
用于衡量第一分类器
Figure 344232DEST_PATH_IMAGE010
与第三分类器
Figure 253282DEST_PATH_IMAGE017
的情感预测结果之间的匹配程度，
Figure 119607DEST_PATH_IMAGE029
、
Figure 114107DEST_PATH_IMAGE039
以及
Figure 458501DEST_PATH_IMAGE041
分别为第一分类器
Figure 222058DEST_PATH_IMAGE010
、第二分类器
Figure 524863DEST_PATH_IMAGE014
以及第三分类器
Figure 741081DEST_PATH_IMAGE017
的情感预测结果，
Figure 889165DEST_PATH_IMAGE027
表示对应情感预测结果的第
Figure 507229DEST_PATH_IMAGE027
个分量。
最终，第一分类器
Figure 980935DEST_PATH_IMAGE010
对应的总体代价函数表示为：
Figure 684449DEST_PATH_IMAGE042
其中，
Figure 869180DEST_PATH_IMAGE043
为第一分类器
Figure 607329DEST_PATH_IMAGE010
对应的总体代价函数，
Figure 251937DEST_PATH_IMAGE044
表示第一额外代价函数占的比重，即第二分类器
Figure 442747DEST_PATH_IMAGE014
以及第三分类器
Figure 932634DEST_PATH_IMAGE017
提供的情感预测结果在第一分类器
Figure 259710DEST_PATH_IMAGE010
对应的总体代价函数中所占的比重。
类似地，第二分类器
Figure 75220DEST_PATH_IMAGE014
对应的总体代价函数的计算方法包括如下步骤：
根据第二情感预测结果计算得到第二基础代价函数，并根据第二基础代价函数以及第二额外代价函数计算得到与所述第二分类器
Figure 753326DEST_PATH_IMAGE014
对应的总体代价函数。
具体的，第二基础代价函数表示为：
Figure 46904DEST_PATH_IMAGE045
其中，
Figure 759645DEST_PATH_IMAGE046
为所述第二基础代价函数，
Figure 214897DEST_PATH_IMAGE047
是第二分类器
Figure 380299DEST_PATH_IMAGE014
的参数集，
Figure 211989DEST_PATH_IMAGE025
表示真实类别标记
Figure 546281DEST_PATH_IMAGE026
的第
Figure 172434DEST_PATH_IMAGE027
个分量，
Figure 825132DEST_PATH_IMAGE038
表示第二情感预测结果
Figure 726092DEST_PATH_IMAGE039
的第
Figure 882267DEST_PATH_IMAGE027
个分量，
Figure 944901DEST_PATH_IMAGE030
指代整个训练数据集。
第二额外代价函数表示为：
Figure 84895DEST_PATH_IMAGE049
Figure 523967DEST_PATH_IMAGE050
Figure 65807DEST_PATH_IMAGE051
其中，
Figure 299342DEST_PATH_IMAGE052
为第二额外代价函数，
Figure 926632DEST_PATH_IMAGE053
以及
Figure 402351DEST_PATH_IMAGE054
均指KL距离，
Figure 533118DEST_PATH_IMAGE053
用于衡量第二分类器
Figure 203133DEST_PATH_IMAGE014
与第一分类器
Figure 52141DEST_PATH_IMAGE010
的情感预测结果之间的匹配程度，
Figure 833015DEST_PATH_IMAGE054
用于衡量第二分类器
Figure 83868DEST_PATH_IMAGE014
与第三分类器
Figure 659206DEST_PATH_IMAGE017
的情感预测结果之间的匹配程度，
Figure 995509DEST_PATH_IMAGE029
、
Figure 314495DEST_PATH_IMAGE039
以及
Figure 685433DEST_PATH_IMAGE041
分别为第一分类器
Figure 431672DEST_PATH_IMAGE010
、第二分类器
Figure 989693DEST_PATH_IMAGE014
以及第三分类器
Figure 112370DEST_PATH_IMAGE017
的情感预测结果，
Figure 839279DEST_PATH_IMAGE027
表示对应情感预测结果的第
Figure 756420DEST_PATH_IMAGE027
个分量。
最终，第二分类器
Figure 67315DEST_PATH_IMAGE014
对应的总体代价函数表示为：
Figure 728104DEST_PATH_IMAGE055
其中，
Figure 542476DEST_PATH_IMAGE056
为第二分类器
Figure 161676DEST_PATH_IMAGE014
对应的总体代价函数，
Figure 694289DEST_PATH_IMAGE044
表示第二额外代价函数占的比重，即第一分类器
Figure 158768DEST_PATH_IMAGE010
以及第三分类器
Figure 827647DEST_PATH_IMAGE017
提供的情感预测结果在第二分类器
Figure 352169DEST_PATH_IMAGE014
对应的总体代价函数中所占的比重。
类似地，第三分类器
Figure 637657DEST_PATH_IMAGE017
对应的总体代价函数的计算方法包括如下步骤：
根据第三情感预测结果计算得到第三基础代价函数，并根据第三基础代价函数以及第三额外代价函数计算得到与所述第三分类器对应的总体代价函数。
具体的，第三基础代价函数表示为：
Figure 640248DEST_PATH_IMAGE057
其中，
Figure 429213DEST_PATH_IMAGE058
为所述第三基础代价函数，
Figure 623171DEST_PATH_IMAGE059
是第三分类器
Figure 864797DEST_PATH_IMAGE017
的参数集，
Figure 936658DEST_PATH_IMAGE025
表示真实类别标记
Figure 845708DEST_PATH_IMAGE026
的第
Figure 446454DEST_PATH_IMAGE027
个分量，
Figure 706534DEST_PATH_IMAGE040
表示第三情感预测结果
Figure 50927DEST_PATH_IMAGE060
的第
Figure 814484DEST_PATH_IMAGE027
个分量，
Figure 851710DEST_PATH_IMAGE030
指整个训练数据集，
Figure 333507DEST_PATH_IMAGE061
对应的真实类别标记为
Figure 747171DEST_PATH_IMAGE026
,
Figure 365234DEST_PATH_IMAGE026
为一个M维的one-hot编码向量，
Figure 340406DEST_PATH_IMAGE031
表示情感类别的数量；
第三额外代价函数表示为：
Figure 43919DEST_PATH_IMAGE062
Figure 995695DEST_PATH_IMAGE063
Figure 733844DEST_PATH_IMAGE064
其中，
Figure 847293DEST_PATH_IMAGE065
为第三额外代价函数，
Figure 38103DEST_PATH_IMAGE066
及
Figure 527990DEST_PATH_IMAGE067
均指KL距离，
Figure 386225DEST_PATH_IMAGE066
用于衡量第三分类器
Figure 936155DEST_PATH_IMAGE017
与第一分类器
Figure 614261DEST_PATH_IMAGE010
的情感预测结果之间的匹配程度，
Figure 642260DEST_PATH_IMAGE067
用于衡量第三分类器
Figure 355001DEST_PATH_IMAGE017
与第二分类器
Figure 586086DEST_PATH_IMAGE014
的情感预测结果之间的匹配程度。
所述基于知识互蒸馏的评论情感分析方法，其中，在所述步骤三中，所述第三分类器对应的总体代价函数表示为：
Figure 751488DEST_PATH_IMAGE068
其中，
Figure 848757DEST_PATH_IMAGE069
为第三分类器
Figure 150426DEST_PATH_IMAGE017
对应的总体代价函数，
Figure 42158DEST_PATH_IMAGE044
表示第三额外代价函数占的比重，即第一分类器
Figure 694856DEST_PATH_IMAGE010
以及第二分类器
Figure 330237DEST_PATH_IMAGE014
提供的情感预测结果在第三分类器
Figure 751991DEST_PATH_IMAGE017
对应的总体代价函数中所占的比重。
如上所述，在计算得到了第一分类器、第二分类器以及第三分类器对应的总体代价函数之后，根据总体代价函数对对应的分类器进行训练。如图4以及图5所示，在整个训练过程中，模型中的三个分类器协同进行训练。
具体地，为了节省训练时间，知识互蒸馏模型基于每组小批量（mini-batch）训练实例，而不是基于每个训练实例，计算梯度并更新一次参数。具体的，训练分类器的目标为最小化各总体代价函数，其具体方式为：根据各自的总体代价函数（最小化处理），利用后向传播算法计算分类器中参数对应的梯度，最后基于所得梯度以及给定的学习率，对分类器中的参数进行更新。在此需要补充说明的是，上述计算梯度并更新参数的步骤，类似于通过计算函数y基于自身变量x的导数。若函数中存在多个自变量，则求偏导数，将多个偏导数组合到一个向量中，则称为梯度。上述的函数指代的为各分类器对应的总体代价函数，上述的自变量指代的为各分类器中的参数。
在每一次迭代过程中，首先分别计算第一分类器
Figure 80204DEST_PATH_IMAGE010
、第二分类器
Figure 954619DEST_PATH_IMAGE014
以及第三分类器
Figure 393691DEST_PATH_IMAGE017
在当前批训练数据上的情感预测结果；然后根据训练数据的真实类别标记和任意两个分类器的情感预测结果计算第三个分类器的代价函数，最小化代价函数并更新其参数。三个分类器同步进行优化，直到收敛。在此需要说明的是，收敛的条件是各分类器的总体代价函数无法再下降，或达到最大的训练轮数K，其中K为人为指定超参数。
模型的具体训练过程如下述算法1所示：如果只有一个GPU可用，训练过程主要包括6个顺序执行的步骤（第5~10步）。如果有三个GPU可用，整个训练过程可以很容易地并行化，从而成倍地提高训练速度。例如，并行地在第一个GPU上执行步骤5和步骤8，在第二个GPU上执行步骤6和步骤9，在第3个GPU执行步骤7和步骤10；在三个GPU之间，仅需要交换分类器预测的结果。
算法1：
步骤1、输入人工标注好的训练数据集
Figure 669952DEST_PATH_IMAGE030
；
步骤2、 /*训练*/
步骤3、 重复以下步骤：
步骤4、 随机从训练数据中选择一批训练实例；
步骤5、 基于第一分类器
Figure 903487DEST_PATH_IMAGE010
计算评论文本情感预测结果
Figure 32242DEST_PATH_IMAGE002
；
步骤6、 忽略这一批训练实例的产品属性，并基于第二分类器
Figure 743846DEST_PATH_IMAGE014
计算评论文本情感预测结果
Figure 140192DEST_PATH_IMAGE127
；
步骤7、 忽略这一批训练实例的用户属性，并基于第三分类器
Figure 810208DEST_PATH_IMAGE017
计算评论文本情感预测结果
Figure 659216DEST_PATH_IMAGE130
；
步骤8、 基于三个情感预测结果
Figure 174510DEST_PATH_IMAGE002
、
Figure 425363DEST_PATH_IMAGE127
和
Figure 266280DEST_PATH_IMAGE130
以及真实的类别标记，计算第一分类器
Figure 602584DEST_PATH_IMAGE010
的总体代价函数
Figure 921570DEST_PATH_IMAGE043
，最小化
Figure 292508DEST_PATH_IMAGE043
并更新
Figure 38747DEST_PATH_IMAGE010
的参数；
步骤9、 基于三个情感预测结果
Figure 95303DEST_PATH_IMAGE002
、
Figure 483559DEST_PATH_IMAGE127
和
Figure 443424DEST_PATH_IMAGE130
以及真实的类别标记，计算第二分类器
Figure 360565DEST_PATH_IMAGE014
的总体代价函数
Figure 671460DEST_PATH_IMAGE056
，最小化
Figure 597828DEST_PATH_IMAGE056
并更新
Figure 412200DEST_PATH_IMAGE014
的参数；
步骤10、基于三个情感预测结果
Figure 765821DEST_PATH_IMAGE002
、
Figure 298434DEST_PATH_IMAGE127
和
Figure 762913DEST_PATH_IMAGE130
以及真实的类别标记，计算第三分类器
Figure 697371DEST_PATH_IMAGE017
的总体代价函数
Figure 221893DEST_PATH_IMAGE069
，最小化
Figure 976223DEST_PATH_IMAGE069
并更新
Figure 745858DEST_PATH_IMAGE017
的参数；
步骤11、直到三个分类器均收敛，则结束训练；
步骤12、/*发布*/
步骤13、发布分类器
Figure 800402DEST_PATH_IMAGE010
用于带有用户和产品属性的评论文本；
步骤14、发布分类器
Figure 230246DEST_PATH_IMAGE014
用于仅有用户的评论文本；
步骤15、发布分类器
Figure 737451DEST_PATH_IMAGE017
用于仅有产品属性的评论文本。
本发明提出的基于知识互蒸馏的评论情感分析方法，综合第一分类器、第二分类器以及第三分类器，分别计算得到对应的第一情感预测结果、第二情感预测结果以及第三情感预测结果；再综合第一情感预测结果、第二情感预测结果以及第三情感预测结果，通过互蒸馏的方式，得到对应的总体代价函数，根据总体代价函数对对应的分类器的参数进行更新直至分析模型收敛，最后发布三个分类器。本发明提出的基于知识互蒸馏的评论情感分析方法，具有如下技术效果：（1）能够同时利用用户和产品两种属性对评论文本情感的共同影响，以及每种属性对评论文本情感的单独影响，从而实质性地提高情感分析的性能；（2）既能够用于预测具有用户和产品两种属性的评论文本的情感得分，又能够预测实际场景中常见的缺失了某种属性的评论文本的情感得分；（3）不依赖于所采用的分类器，且可以很容易扩展到包含两种以上属性的分类任务，具有很强的适用性。
实施例二：
请参阅图6，本发明还提出一种基于知识互蒸馏的评论情感分析装置，其中，所述装置包括依次连接的第一计算模块111、第二计算模块112以及更新收敛模块113；
其中所述第一计算模块111具体用于：
用于从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入，其中所述用户属性表示发表评论文本所对应的不同用户，所述产品属性表示评论文本中的评论对象所指向的不同产品；
所述第二计算模块112具体用于：
在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入；
所述更新收敛模块113具体用于：
根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛，其中所述真实类别标记为训练数据集中人工标注的情感类别，以用作分类器的训练目标之一，所述第一分类器用于带有用户和产品两种属性的评论情感分析，所述第二分类器用于仅有用户属性的评论情感分析，所述第三分类器用于仅有产品属性的评论情感分析。
实施例三：
请参阅图7，本发明第三实施例还提出一种基于知识互蒸馏的评论情感分析系统，其中，所述系统包括一控制器11，所述控制器11与第一分类器21、第二分类器22以及第三分类器23电性连接，且各分类器与控制器11之间为双向数据传输。可以理解的，本实施例中中的控制器11，指代的即为第二实施例中的基于知识互蒸馏的评论情感分析装置。在本实施例中，控制器11执行如上述第一实施例所述的的基于知识互蒸馏的评论情感分析方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于知识互蒸馏的评论情感分析方法，其特征在于，所述方法包括如下步骤：
步骤一：从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入，其中所述用户属性表示发表评论文本所对应的不同用户，所述产品属性表示评论文本中的评论对象所指向的不同产品；
步骤二：在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入；
步骤三：根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛，其中所述真实类别标记为训练数据集中人工标注的情感类别，以用作分类器的训练目标之一，所述第一分类器用于带有用户和产品两种属性的评论情感分析，所述第二分类器用于仅有用户属性的评论情感分析，所述第三分类器用于仅有产品属性的评论情感分析。
2.根据权利要求1所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤一中，所述当前训练实例表述为：
Figure 387570DEST_PATH_IMAGE001
Figure 648918DEST_PATH_IMAGE002
表示当前训练实例，
Figure 225393DEST_PATH_IMAGE003
表示当前训练实例的评论文本，
Figure 89443DEST_PATH_IMAGE004
表示当前训练实例的用户属性，
Figure 510673DEST_PATH_IMAGE005
表示当前训练实例的产品属性。
3.根据权利要求2所述的基于知识互蒸馏的评论情感分析方法，其特征在于，基于第一分类器
Figure 801977DEST_PATH_IMAGE006
计算得到当前训练实例对应的第一情感预测结果表示为：
Figure 865748DEST_PATH_IMAGE007
其中，
Figure 408856DEST_PATH_IMAGE008
为融合了用户和产品属性的评论文本的特征表示，
Figure 546576DEST_PATH_IMAGE009
为第一分类器
Figure 133415DEST_PATH_IMAGE006
中分类层的参数，softmax为用于输出分类概率的归一化函数，
Figure 356586DEST_PATH_IMAGE010
为基于第一分类器
Figure 703385DEST_PATH_IMAGE006
计算得到的当前训练实例对应的第一情感预测结果；
第二分类器
Figure 695612DEST_PATH_IMAGE011
的输入为仅带有用户属性的评论文本
Figure 718932DEST_PATH_IMAGE012
，对应的第二情感预测结果为
Figure 429399DEST_PATH_IMAGE013
；
第三分类器
Figure 251992DEST_PATH_IMAGE014
的输入为仅带有产品属性的评论文本
Figure 488939DEST_PATH_IMAGE015
，对应的第三情感预测结果为
Figure 292946DEST_PATH_IMAGE016
；
其中，
Figure 369006DEST_PATH_IMAGE017
和
Figure 916662DEST_PATH_IMAGE018
均为占位符，分别用于表示缺失的产品属性和用户属性。
4.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤三中，所述第一分类器对应的总体代价函数的计算方法包括如下步骤：
根据所述第一情感预测结果计算得到第一基础代价函数，并根据所述第一基础代价函数以及第一额外代价函数计算得到与所述第一分类器对应的总体代价函数；
所述第一基础代价函数表示为：
Figure 8114DEST_PATH_IMAGE019
其中，
Figure 248603DEST_PATH_IMAGE020
为所述第一基础代价函数，
Figure 543449DEST_PATH_IMAGE021
为第一分类器
Figure 894796DEST_PATH_IMAGE006
的参数集，
Figure 106334DEST_PATH_IMAGE022
表示真实类别标记
Figure 517724DEST_PATH_IMAGE023
的第
Figure 299866DEST_PATH_IMAGE024
个分量，
Figure 189325DEST_PATH_IMAGE025
表示第一情感预测结果
Figure 255370DEST_PATH_IMAGE010
的第
Figure 837661DEST_PATH_IMAGE024
个分量，
Figure 107100DEST_PATH_IMAGE026
指整个训练数据集，
Figure 800249DEST_PATH_IMAGE002
对应的真实类别标记为
Figure 455221DEST_PATH_IMAGE023
,
Figure 208414DEST_PATH_IMAGE023
为一个M维的one-hot编码向量，M表示情感类别的数量；
所述第一额外代价函数表示为：
Figure 962219DEST_PATH_IMAGE027
Figure 459059DEST_PATH_IMAGE028
Figure 234117DEST_PATH_IMAGE029
其中，
Figure 892631DEST_PATH_IMAGE030
为第一额外代价函数，
Figure 136662DEST_PATH_IMAGE031
以及
Figure 906035DEST_PATH_IMAGE032
均指KL距离，
Figure 66758DEST_PATH_IMAGE031
用于衡量第一分类器
Figure 896174DEST_PATH_IMAGE006
与第二分类器
Figure 361921DEST_PATH_IMAGE011
的情感预测结果之间的匹配程度，
Figure 200564DEST_PATH_IMAGE032
用于衡量第一分类器
Figure 684635DEST_PATH_IMAGE006
与第三分类器
Figure 950531DEST_PATH_IMAGE014
的情感预测结果之间的匹配程度，
Figure 903575DEST_PATH_IMAGE033
表示第二情感预测结果
Figure 545909DEST_PATH_IMAGE034
的第
Figure 150066DEST_PATH_IMAGE024
个分量，
Figure 586863DEST_PATH_IMAGE035
表示第三情感预测结果
Figure 41851DEST_PATH_IMAGE036
的第
Figure 222297DEST_PATH_IMAGE024
个分量；
所述第一分类器
Figure 680960DEST_PATH_IMAGE006
对应的总体代价函数表示为：
Figure 288659DEST_PATH_IMAGE037
其中，
Figure 216295DEST_PATH_IMAGE038
为第一分类器
Figure 934852DEST_PATH_IMAGE006
对应的总体代价函数，
Figure 513601DEST_PATH_IMAGE039
表示第一额外代价函数占的比重，即第二分类器
Figure 292201DEST_PATH_IMAGE011
以及第三分类器
Figure 707133DEST_PATH_IMAGE014
提供的情感预测结果在第一分类器
Figure 229381DEST_PATH_IMAGE006
对应的总体代价函数中所占的比重。
5.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤三中，所述第二分类器对应的总体代价函数的计算方法包括如下步骤：
根据第二情感预测结果计算得到第二基础代价函数，并根据所述第二基础代价函数以及第二额外代价函数计算得到与所述第二分类器对应的总体代价函数；
所述第二基础代价函数表示为：
Figure 662637DEST_PATH_IMAGE040
其中，
Figure 612138DEST_PATH_IMAGE041
为所述第二基础代价函数，
Figure 248787DEST_PATH_IMAGE042
是第二分类器
Figure 574726DEST_PATH_IMAGE011
的参数集，
Figure 862488DEST_PATH_IMAGE022
表示真实类别
Figure 982891DEST_PATH_IMAGE023
的第
Figure 369485DEST_PATH_IMAGE024
个分量，
Figure 233536DEST_PATH_IMAGE043
表示第二情感预测结果
Figure 375804DEST_PATH_IMAGE034
的第
Figure 932688DEST_PATH_IMAGE024
个分量，
Figure 543929DEST_PATH_IMAGE026
指代整个训练数据集，
Figure 211670DEST_PATH_IMAGE044
对应的真实类别标记为
Figure 208445DEST_PATH_IMAGE023
,
Figure 936230DEST_PATH_IMAGE023
为一个M维的one-hot编码向量，M表示情感类别的数量；
所述第二额外代价函数表示为：
Figure 956138DEST_PATH_IMAGE045
Figure 37358DEST_PATH_IMAGE046
Figure 29585DEST_PATH_IMAGE047
其中，
Figure 52904DEST_PATH_IMAGE048
为第二额外代价函数，
Figure 497792DEST_PATH_IMAGE049
以及
Figure 382703DEST_PATH_IMAGE050
均指KL距离，
Figure 495015DEST_PATH_IMAGE049
用于衡量第二分类器
Figure 423657DEST_PATH_IMAGE011
与第一分类器
Figure 621420DEST_PATH_IMAGE006
的情感预测结果之间的匹配程度，
Figure 47372DEST_PATH_IMAGE050
用于衡量第二分类器
Figure 14191DEST_PATH_IMAGE011
与第三分类器
Figure 113734DEST_PATH_IMAGE014
的情感预测结果之间的匹配程度，
Figure 798793DEST_PATH_IMAGE025
表示第一情感预测结果
Figure 25506DEST_PATH_IMAGE051
的第
Figure 846832DEST_PATH_IMAGE024
个分量，
Figure 382856DEST_PATH_IMAGE035
表示第三情感预测结果
Figure 289632DEST_PATH_IMAGE036
的第
Figure 54456DEST_PATH_IMAGE024
个分量。
6.根据权利要求5所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤三中，所述第二分类器对应的总体代价函数表示为：
Figure 995868DEST_PATH_IMAGE052
其中，
Figure 437213DEST_PATH_IMAGE053
为第二分类器
Figure 831286DEST_PATH_IMAGE011
对应的总体代价函数，
Figure 134222DEST_PATH_IMAGE042
为第二分类器
Figure 930140DEST_PATH_IMAGE011
的参数集，
Figure 807966DEST_PATH_IMAGE039
表示第二额外代价函数占的比重，即第一分类器
Figure 954913DEST_PATH_IMAGE006
以及第三分类器
Figure 58611DEST_PATH_IMAGE014
提供的情感预测结果在第二分类器
Figure 709035DEST_PATH_IMAGE011
对应的总体代价函数中所占的比重。
7.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤三中，所述第三分类器对应的总体代价函数的计算方法包括如下步骤：
根据第三情感预测结果计算得到第三基础代价函数，并根据所述第三基础代价函数以及第三额外代价函数计算得到与所述第三分类器对应的总体代价函数；
所述第三基础代价函数表示为：
Figure 492184DEST_PATH_IMAGE054
其中，
Figure 126427DEST_PATH_IMAGE055
为所述第三基础代价函数，
Figure 240008DEST_PATH_IMAGE056
是第三分类器
Figure 869572DEST_PATH_IMAGE014
的参数集，
Figure 230147DEST_PATH_IMAGE022
表示真实类别
Figure 961473DEST_PATH_IMAGE023
的第
Figure 534537DEST_PATH_IMAGE024
个分量，
Figure 284187DEST_PATH_IMAGE035
表示第三情感预测结果
Figure 550084DEST_PATH_IMAGE057
的第
Figure 503127DEST_PATH_IMAGE024
个分量，
Figure 145461DEST_PATH_IMAGE026
指整个训练数据集，
Figure 749618DEST_PATH_IMAGE058
对应的真实类别标记为
Figure 920836DEST_PATH_IMAGE023
,
Figure 352387DEST_PATH_IMAGE023
为一个M维的one-hot编码向量，M表示情感类别的数量；
所述第三额外代价函数表示为：
Figure 267253DEST_PATH_IMAGE059
Figure 991496DEST_PATH_IMAGE060
Figure 599194DEST_PATH_IMAGE061
其中，
Figure 526830DEST_PATH_IMAGE062
为第三额外代价函数，
Figure 245388DEST_PATH_IMAGE063
及
Figure 824136DEST_PATH_IMAGE064
均指KL距离，
Figure 602737DEST_PATH_IMAGE063
用于衡量第三分类器
Figure 17669DEST_PATH_IMAGE014
与第一分类器
Figure 539917DEST_PATH_IMAGE006
的情感预测结果之间的匹配程度，
Figure 973172DEST_PATH_IMAGE064
用于衡量第三分类器
Figure 922674DEST_PATH_IMAGE014
与第二分类器
Figure 480694DEST_PATH_IMAGE011
的情感预测结果之间的匹配程度，
Figure 681999DEST_PATH_IMAGE025
表示第一情感预测结果
Figure 845127DEST_PATH_IMAGE051
的第
Figure 90164DEST_PATH_IMAGE024
个分量，
Figure 604322DEST_PATH_IMAGE033
表示第二情感预测结果
Figure 340809DEST_PATH_IMAGE034
的第
Figure 358444DEST_PATH_IMAGE024
个分量。
8.根据权利要求7所述的基于知识互蒸馏的评论情感分析方法，其特征在于，在所述步骤三中，所述第三分类器对应的总体代价函数表示为：
Figure 243223DEST_PATH_IMAGE065
其中，
Figure 854464DEST_PATH_IMAGE066
为第三分类器
Figure 256627DEST_PATH_IMAGE014
对应的总体代价函数，
Figure 518981DEST_PATH_IMAGE039
表示第三额外代价函数占的比重，即第一分类器
Figure 246765DEST_PATH_IMAGE006
以及第二分类器
Figure 1095DEST_PATH_IMAGE011
提供的情感预测结果在第三分类器
Figure 347893DEST_PATH_IMAGE014
对应的总体代价函数中所占的比重。
9.一种基于知识互蒸馏的评论情感分析装置，其特征在于，所述装置执行如上述权利要求1至8任意一项所述的基于知识互蒸馏的评论情感分析方法，所述装置包括：
第一计算模块，用于从训练数据集中确定一当前训练实例，基于第一分类器计算得到第一情感预测结果，其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入，其中所述用户属性表示发表评论文本所对应的不同用户，所述产品属性表示评论文本中的评论对象所指向的不同产品；
第二计算模块，用于在忽略所述当前训练实例的产品属性的情况下，基于第二分类器计算得到第二情感预测结果，以及在忽略所述当前训练实例的用户属性的情况下，基于第三分类器计算得到第三情感预测结果，其中所述第二分类器以仅有用户属性的评论文本作为输入，所述第三分类器以仅有产品属性的评论文本作为输入；
更新收敛模块，用于根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记，分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理，以对各分类器进行参数迭代更新实现最终收敛，其中所述真实类别标记为训练数据集中人工标注的情感类别，以用作分类器的训练目标之一，所述第一分类器用于带有用户和产品两种属性的评论情感分析，所述第二分类器用于仅有用户属性的评论情感分析，所述第三分类器用于仅有产品属性的评论情感分析。
10.一种基于知识互蒸馏的评论情感分析系统，其特征在于，所述系统包括一控制器，所述控制器执行如上述权利要求1至8任意一项所述的基于知识互蒸馏的评论情感分析方法。
CN202010654137.4A 2020-07-09 2020-07-09 基于知识互蒸馏的评论情感分析方法、装置及系统 Active CN111538841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010654137.4A CN111538841B (zh) 2020-07-09 2020-07-09 基于知识互蒸馏的评论情感分析方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010654137.4A CN111538841B (zh) 2020-07-09 2020-07-09 基于知识互蒸馏的评论情感分析方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111538841A CN111538841A (zh) 2020-08-14
CN111538841B true CN111538841B (zh) 2020-10-16

Family

ID=71976490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010654137.4A Active CN111538841B (zh) 2020-07-09 2020-07-09 基于知识互蒸馏的评论情感分析方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111538841B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395876B (zh) * 2021-01-21 2021-04-13 华东交通大学 基于知识蒸馏和多任务学习的篇章关系识别方法与装置
CN112988975A (zh) * 2021-04-09 2021-06-18 北京语言大学 一种基于albert和知识蒸馏的观点挖掘方法
CN113255796B (zh) * 2021-06-02 2022-11-04 北京理工大学 一种基于教学机制的情感分析方法
CN114185969A (zh) * 2021-12-10 2022-03-15 无锡道达科技有限公司 数据意见挖掘与情感分析纠偏方法与模块
TWI845959B (zh) * 2022-06-06 2024-06-21 國立大學法人橫濱國立大學 感情推定裝置、可攜式終端、可攜式感情推定裝置、及控制感情推定裝置之程式

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168945A (zh) * 2017-04-13 2017-09-15 广东工业大学 一种融合多特征的双向循环神经网络细粒度意见挖掘方法
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110134793A (zh) * 2019-05-28 2019-08-16 电子科技大学 文本情感分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100917784B1 (ko) * 2007-12-24 2009-09-21 한성주 콘텐트에 대한 코멘트를 기반으로 한 집단 감성 정보 검색방법 및 시스템
US10445668B2 (en) * 2017-01-04 2019-10-15 Richard Oehrle Analytical system for assessing certain characteristics of organizations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168945A (zh) * 2017-04-13 2017-09-15 广东工业大学 一种融合多特征的双向循环神经网络细粒度意见挖掘方法
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110134793A (zh) * 2019-05-28 2019-08-16 电子科技大学 文本情感分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Interpreting Social Media-based Substance Use;Tao Ding et al.;《2018 IEEE 30th International Conference on Tools with Artificial Intelligence》;20181107;全文 *

Also Published As

Publication number Publication date
CN111538841A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111538841B (zh) 基于知识互蒸馏的评论情感分析方法、装置及系统
CN109753566B (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN111339415B (zh) 一种基于多交互式注意力网络的点击率预测方法与装置
CN108763326B (zh) 一种基于特征多样化的卷积神经网络的情感分析模型构建方法
CN111274398B (zh) 一种方面级用户产品评论情感分析方法及系统
CN111177569A (zh) 基于人工智能的推荐处理方法、装置及设备
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
US10997369B1 (en) Systems and methods to generate sequential communication action templates by modelling communication chains and optimizing for a quantified objective
CN113095415A (zh) 一种基于多模态注意力机制的跨模态哈希方法及系统
CN110008339A (zh) 一种用于目标情感分类的深度记忆网络模型及其分类方法
CN112200638A (zh) 一种基于注意力机制与双向gru网络的水军评论检测系统及方法
CN113361258A (zh) 基于图卷积网络和选择注意力的方面级情感分析方法及系统
CN109766557A (zh) 一种情感分析方法、装置、存储介质及终端设备
CN112182362A (zh) 训练用于在线预测点击率的模型的方法、设备及推荐系统
CN114443899A (zh) 视频分类方法、装置、设备及介质
CN113987167B (zh) 基于依赖感知图卷积网络的方面级情感分类方法及系统
CN113420212A (zh) 基于深度特征学习的推荐方法、装置、设备及存储介质
CN113420221B (zh) 融合用户隐式物品偏好与显式特征偏好的可解释推荐方法
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
CN114722805B (zh) 基于大小导师知识蒸馏的少样本情感分类方法
CN114648031A (zh) 基于双向lstm和多头注意力机制的文本方面级情感识别方法
CN111966888B (zh) 融合外部数据的基于方面类别的可解释性推荐方法及系统
Rauf et al. Using bert for checking the polarity of movie reviews
CN113722439A (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
Chaudhuri Visual and text sentiment analysis through hierarchical deep learning networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240729

Address after: Room 2001-2, Building 1, Hengyuan International Wealth Center, No. 1515 Tonghui North Road, Ningwei Street, Xiaoshan District, Hangzhou City, Zhejiang Province (self declared)

Patentee after: Xiongju Digital Technology (Zhejiang) Co.,Ltd.

Country or region after: China

Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Patentee before: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region before: China

Effective date of registration: 20240729

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region after: China

Address before: No. 808, Shuanggang East Street, Nanchang Economic and Technological Development Zone, Jiangxi Province

Patentee before: East China Jiaotong University

Country or region before: China