[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111985243B - 情感模型的训练方法、情感分析方法、装置及存储介质 - Google Patents

情感模型的训练方法、情感分析方法、装置及存储介质 Download PDF

Info

Publication number
CN111985243B
CN111985243B CN201910436077.6A CN201910436077A CN111985243B CN 111985243 B CN111985243 B CN 111985243B CN 201910436077 A CN201910436077 A CN 201910436077A CN 111985243 B CN111985243 B CN 111985243B
Authority
CN
China
Prior art keywords
emotion
data
generator
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910436077.6A
Other languages
English (en)
Other versions
CN111985243A (zh
Inventor
柳圆圆
李家乐
闫兴安
汤煜
曹彬
何威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910436077.6A priority Critical patent/CN111985243B/zh
Publication of CN111985243A publication Critical patent/CN111985243A/zh
Application granted granted Critical
Publication of CN111985243B publication Critical patent/CN111985243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种情感模型的训练方法、情感分析方法、装置及存储介质;其中,方法包括:向生成器输入样本数据,输出情感特征,其中,样本数据包括文本数据和/或图片数据;以情感特征作为判别器的输入、以数据类型作为判别器的输出,训练判别器根据输入的情感特征判别相应的数据类型的性能;以情感特征作为情感分类器的输入、以情感类型作为情感分类器的输出,训练情感分类器根据输入的情感特征输出对应情感类型的性能;以样本数据作为生成器的输入、以情感特征作为生成器的输出,以数据类型及情感类型作为生成器的调节参数,训练生成器根据输入数据输出输入数据的情感特征的性能。应用本发明的所述方案,能够对两种不同类型的数据进行情感分析。

Description

情感模型的训练方法、情感分析方法、装置及存储介质
技术领域
本发明涉及情感分析技术,尤其涉及一种情感模型的训练方法、情感分析方法、装置及存储介质。
背景技术
情感分析最先应用于文本处理领域,对携带有主观情感倾向的文本进行情感极性分类,正向类如开心、高兴、愉悦等,负向类如伤心、抑郁和愤怒等,其在信息检索和推荐系统中具有重要作用。随着互联网技术的发展,有越来越多种类的数据可供研究,情感分析的研究范围也逐渐扩大,研究对象涉及图片、语音和视频等多种模态的数据,如图片情感分析主要是观察人们看到一张图片后的情感极性反应,如果人们感到高兴等积极的情绪,那么图片所传达的情感就是正类的,否则就是负类的。相关技术中,均是对不同种类的数据采取不同的情感分析方法,而不存在一种能够实现对两种不同种类的数据进行情感分析的方法。
发明内容
本发明实施例提供一种情感模型的训练方法、情感分析方法、装置及存储介质,既能够对文本进行情感分类,又能对图片进行情感分类。
本发明实施例的技术方案是这样实现的:
第一方面,本发明实施例提供一种基于情感分类模型的训练方法,所述情感模型包括生成器和情感分类器,所述方法包括:
向所述生成器输入样本数据,输出对应所述样本数据的情感特征;其中,所述样本数据包括文本数据和/或图片数据;
以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能;
以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练所述情感分类器根据输入的情感特征输出对应情感类型的性能;
以所述样本数据作为生成器的输入、以所述情感特征作为所述生成器的输出,以所述判别器输出的数据类型及所述情感分类器输出的情感类型作为所述生成器的调节参数,训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
上述方案中,所述向所述生成器输入样本数据之前,还包括:
获取源数据对应的向量,所述源数据包括图片源数据和/或文本源数据;
对所述源数据对应的向量进行截断处理或填充处理,得到预设数据大小的所述样本数据。
上述方案中,所述向所述生成器输入样本数据,输出对应所述样本数据的情感特征,包括:
当输入的所述样本数据为文本数据时,使用所述生成器的神经网络模型得到对应所述文本数据的词向量序列;
使用所述生成器的注意力模型为所述词向量序列中的词向量分配注意力概率;
将所述向量序列中的词向量与分配的所述注意力概率进行加权求和,得到对应所述文本数据的文本向量。
上述方案中,所述向所述生成器输入样本数据,输出对应所述样本数据的情感特征,包括:
当输入的所述样本数据为图片数据时,使用所述生成器的神经网络模型得到对应所述图片数据的多个特征向量;
使用所述生成器的注意力模型为多个所述特征向量分配注意力概率;
将各所述特征向量与分配的所述注意力概率进行加权求和,得到对应图片数据的图片向量。
上述方案中,所述以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能,包括:
初始化所述判别器包括的第一全连接层和第二全连接层;
构建训练样本集合,所述训练样本集合包括所述生成器输出的所述情感特征及所述样本数据的数据类型;
初始化基于判别器输入、判别器输出以及判别器参数构建的损失函数;
以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能。
上述方案中,所述以所述样本数据作为生成器的输入、以所述情感特征作为所述生成器的输出,以所述判别器输出的数据类型及所述情感分类器输出的情感类型作为所述生成器的调节参数,训练所述生成器根据输入数据输出所述输入数据的情感特征的性能,包括:
初始化所述生成器包括的输入层、中间层和输出层;
构建训练样本集合,所述训练样本集合包括样本数据及对应样本数据的情感特征;
初始化基于所述生成器的输入、所述生成器的输出、以及模型训练参数构建的损失函数,所述模型训练参数包括:所述判别器输出的数据类型及所述情感分类器输出的情感类型;
以所述样本数据作为输入、以所述情感特征作为输出,采用梯度下降算法训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
第二方面,本发明实施例提供一种基于情感模型的情感分析方法,包括:
获取训练得到的情感模型;其中,
所述情感模型包括生成器和情感分类器;
所述生成器为以样本数据作为生成器的输入、以情感特征作为所述生成器的输出,训练得到的;
所述情感分类器为以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练得到的;
输入待分析的数据至训练得到的所述生成器,输出对应待分析的数据的情感特征;
输入生成器输出的情感特征至训练得到的所述情感分类器,输出对应所述情感特征的情感类型。
第三方面,本发明实施例提供一种情感模型的训练装置,所述情感模型包括生成器和情感分类器,包括:
第一输出单元,用于向所述生成器输入样本数据,输出对应所述样本数据的情感特征;其中,所述样本数据包括文本数据和/或图片数据;
第一训练单元,用于以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能;
第二训练单元,用于以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练所述情感分类器根据输入的情感特征输出对应情感类型的性能;
第三训练单元,用于以所述样本数据作为生成器的输入、以所述情感特征作为所述生成器的输出,以所述判别器输出的数据类型及所述情感分类器输出的情感类型作为所述生成器的调节参数,训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
上述方案中,所述装置还包括:预处理单元,用于获取源数据对应的向量,所述源数据包括图片源数据和/或文本源数据;对所述源数据对应的向量进行截断处理或填充处理,得到预设数据大小的所述样本数据。
上述方案中,所述第一输出单元,具体用于当输入的所述样本数据为文本数据时,使用所述生成器的神经网络模型得到对应所述文本数据的词向量序列;使用所述生成器的注意力模型为所述词向量序列中的词向量分配注意力概率;将所述向量序列中的词向量与分配的所述注意力概率进行加权求和,得到对应所述文本数据的文本向量;
以及,当输入的所述样本数据为图片数据时,使用所述生成器的神经网络模型得到对应所述图片数据的多个特征向量;使用所述生成器的注意力模型为多个所述特征向量分配注意力概率;将各所述特征向量与分配的所述注意力概率进行加权求和,得到对应图片数据的图片向量。
上述方案中,所述第一训练单元,具体用于初始化所述判别器包括的第一全连接层和第二全连接层;构建训练样本集合,所述训练样本集合包括所述生成器输出的所述情感特征及所述样本数据的数据类型;初始化基于判别器输入、判别器输出以及判别器参数构建的损失函数;以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能。
上述方案中,所述第三训练单元,具体用于初始化所述生成器包括的输入层、中间层和输出层;构建训练样本集合,所述训练样本集合包括样本数据及对应样本数据的情感特征;初始化基于所述生成器的输入、所述生成器的输出、以及模型训练参数构建的损失函数,所述模型训练参数包括:所述判别器输出的数据类型及所述情感分类器输出的情感类型;以所述样本数据作为输入、以所述情感特征作为输出,采用梯度下降算法训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
第四方面,本发明实施例提供一种基于情感模型的情感分析装置,包括:
第一获取单元,用于获取训练得到的情感模型;其中,
所述情感模型包括生成器和情感分类器;
所述生成器为以样本数据作为生成器的输入、以情感特征作为所述生成器的输出,训练得到的;
所述情感分类器为以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练得到的;
第一输入单元,用于输入待分析的数据至所述训练得到的生成器;
第二输出单元,用于输出对应待分析的数据的情感特征;
第二输入单元,用于输入生成器输出的情感特征至训练得到的所述情感分类器;
第三输出单元,用于输出对应所述情感特征的情感类型。
第五方面,本发明实施例提供一种情感模型的训练装置,包括:存储器和处理器;其中,
所述存储器,用于存储能够在所述处理器上运行的计算机程序;
所述处理器,用于在运行所述计算机程序时,执行上述方案中的情感模型的训练方法。
第六方面,本发明实施例提供一种存储介质,所述存储介质存储有计算机程序,当所述计算机程序被至少一个处理器执行时,实现上述方案中的情感模型的训练方法。
本发明实施例提供一种所述情感模型,包括生成器和情感分类器,该方法包括:向所述生成器输入样本数据,输出对应所述样本数据的情感特征;其中,所述样本数据包括文本数据和/或图片数据;以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能;以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练所述情感分类器根据输入的情感特征输出对应情感类型的性能;以所述样本数据作为生成器的输入、以所述情感特征作为所述生成器的输出,以所述判别器输出的数据类型及所述情感分类器输出的情感类型作为所述生成器的调节参数,训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。如此,本发明实施例通过以判别器输出的数据类型及情感分类器输出的情感类型作为生成器的调节参数,训练生成器根据输入数据输出输入数据的情感特征的性能,由于生成器与判别器组成生成对抗网络,实现使用极大极小二元博弈的思想来调节生成器和判别器,能够缩小图片数据与文本数据之间的差异,使得该生成器能够准确地对图片和文本两种数据的特征提取,从而实现基于本发明实施例提供的训练方法得到的情感模型能够准确的对两种数据进行情感分析。
附图说明
图1是本发明实施例提供的基于情感模型的情感分析系统架构的结构示意图;
图2是本发明实施例提供的情感模型的训练装置的硬件结构示意图;
图3是本发明实施例提供的情感模型的训练方法的流程示意图;
图4是本发明实施例提供的文本源数据处理的流程示意图;
图5是本发明实施例提供的图片源数据处理的流程示意图;
图6是本发明实施例提供的文本向量的结构示意图;
图7是本发明实施例提供的生成器的结构示意图;
图8是本发明实施例提供的判别器的结构示意图;
图9是本发明实施例提供的基于情感模型的情感分析方法的流程示意图;
图10是本发明实施例提供的情感模型的训练装置的组成结构示意图;
图11是本发明实施例提供的基于情感模型的情感分析装置的组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
相关技术中,无论是利用传统的机器学习方法,还是利用深度学习方法,都是根据大量有标签的图片数据或文本数据,分别训练一个分类器,对测试集中无标签的数据进行情感分类。也就是说,现有技术方案只适用于图片数据,或只适用于文本数据,若强行将图片数据训练得到的分类器应用于文本数据,那么基于该模型的情感分析的准确率将急剧下降。其原因在于:一方面,图片属于二维数据,文本属于一维数据,二者之间存在较大差异;另一方面,图片的低级视觉特征与高级情感语义之间难以建立直接联系,存在巨大的语义鸿沟,文本的表达通常较为含蓄,一般需要结合上下文语境才能准确判断其传达的情感极性,导致为图片或文本设计的特征提取方法,往往带有一定的领域局限性,在其他种类的数据上分类表现通常较差。
基于此,在本发明实施例中提供一种情感模型的训练方法,通过生成器与判别器组成生成对抗网络,使用极大极小二元博弈的思想来调节生成器和判别器,能够缩小图片数据与文本数据之间的差异,使得该生成器能够准确地对图片和文本两种数据的特征提取,从而实现基于本发明实施例提供的训练方法得到的情感模型能够准确的对两种数据进行情感分析。
首先对本发明实施例提供的基于情感模型的情感分析系统进行说明,参见图1,本发明实施例提供的情感分析系统包括终端和/或服务器,在实施本发明实施例的情感模型的训练方法及基于情感模型的情感分析方法均可以由终端实施,也可以由服务器实施,或者由终端、服务器协同实施。
在一应用场景中,终端上设置有情感分析程序(APP,Application),服务器上设置有情感模型的训练装置,服务器基于本发明实施例提供的情感模型的训练方法训练得到情感模型,用户在终端上的情感分析APP中输入文本和/或图片,情感分析APP向服务器提交文本和/或图片,然后服务器上的情感模型对情感分析APP提交的文本和/或图片进行分析,并将分析结果返回至终端。
在另一应用场景中,终端上设置有情感分析APP及情感模型的训练装置,终端基于本发明实施例提供的情感模型的训练方法训练得到情感模型,然后采用训练得到的情感模型更新自身的情感分析APP,当用户基于更新后的情感分析APP输入文本和/或图片时,情感模型对文本或图片进行分析,输出相应的分析结果。
接下来对本发明实施例提供的情感模型的训练装置及基于情感模型的情感分析装置进行说明。本发明实施例的情感模型的训练装置及基于情感模型的情感分析装置,均可以以各种形式来实施,如:由智能手机、平板电脑和台式机等终端单独实施,或者由终端、服务器协同实施。本发明实施例提供的情感模型的训练装置及基于情感模型的情感分析装置,均可以实施为硬件或者软硬件结合的方式,以本发明实施例的情感模型的训练装置为例,下面对本发明实施例的情感模型的训练装置做详细说明,可以理解,图2仅仅示出了情感模型的训练装置的示例性结构而非全部结构,根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的情感模型的训练装置100包括:至少一个处理器101、存储器102、用户接口103和至少一个网络接口104。情感模型的训练装置100中的各个组件通过总线系统105耦合在一起。可以理解,总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统105。
其中,用户接口103可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解,存储器102可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。
本发明实施例中的存储器102用于存储各种类型的数据以支持情感模型的训练装置100的操作。这些数据的示例包括:用于在情感模型的训练装置100上操作的任何可执行指令,如可执行指令,实现本发明实施例的情感模型的训练方法的程序可以包含在可执行指令中。
本发明实施例揭示的情感模型的训练方法可以应用于处理器101中,或者由处理器101实现。处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,情感模型的训练方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器(DSP,Digital SignalProcessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器101可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器102,处理器101读取存储器102中的信息,结合其硬件完成本发明实施例提供的情感模型的训练方法的步骤。
下面对本发明实施例提供的情感模型的训练方法进行说明,本发明实施例提供一种情感模型的训练方法,其中,情感模型包括生成器和情感分类器,图3为本发明实施例提供的一种情感模型的训练方法的实现流程示意图,该方法主要包括以下步骤:
步骤201:向生成器输入样本数据,输出对应样本数据的情感特征;其中,样本数据包括文本数据和/或图片数据。
在一些实施例中,样本数据可以通过以下方式获得:获取源数据对应的向量,所述源数据包括图片源数据和/或文本源数据;对所述源数据对应的向量进行截断处理或填充处理,得到预设数据大小的样本数据。
需要说明的是,当源数据为文本源数据时,通过截断处理或填充处理得到预设数目的单词,利用word2vec技术得到处理后的文本中每个单词对应的词向量,将得到的词向量按照不同方式进行排序,得到对应的不同文本向量,将不同的文本向量进行组合,得到预设数据大小的样本数据。如图4所示,假设处理后的单词数目为m,词向量维度为n,按照k种不同方式对词向量进行排序,得到数据大小为m*n*k的样本数据,其中,word2vec是用于产生词向量的相关模型,通过训练,可以将每个单词映射到一个向量;当源数据为图片源数据时,通过裁剪处理或填充处理得到统一大小的图片,抽取各个颜色通道的像素值作为样本数据。如图5所示,假设处理后的图片大小为m*n,颜色通道数为k,那么可以得到一个数据大小为m*n*k的样本数据。
在实际应用中,利用word2vec技术相应的词向量可以通过以下方式:从文本源数据中提取情感词,如:beautiful,sad,happy等,形成一个基于文本源数据的情感词典,将基于文本源数据的情感词典、SentiWordNet中的同义词(SynsetTerms)与形容词名词对(ANP,Adjective Noun Pairs)合并成一个文本情感词典。其中,SentiWordNet是国外情感分析建立的词典,里面包括11万多条记录,其中一条记录的格式为:POS(词性,包括4类:名词n、形容词a、动词v和副词r)、ID(词条编号)、PosScore(正向情感值)、NegScore(负向情感值)、SynsetTerms(同义词词条名)和Gloss(注释);ANP是Borth等人整理标记的数据集,数据集为形容词名词对的集合,例如:beautiful flowers、sad eyes等。将从文本源数据中提取的情感词、SentiWordNet中的同义词、以及ANP进行合并得到的文本情感词典实际是单词或词组的集合,例如{beautiful,sad,happy,good,beautiful flowers,sad eyes}等单词或词组的集合,采用word2vec技术对得到的集合进行训练,以获得集合中各个单词对应的词向量,其中,每个单词的词向量维度相同。
在实际应用中,可以按照以下方式对得到的文本词向量进行排序:假设截断处理或填充处理后得到的单词数目为m,将处理后的文本表示为d=(word1,word2,…wordm),其中,word表示文本中的单词,那么处理后的文本对应的词向量为[v1,v2,…,vm],vm表示wordm对应的词向量,词向量的维度为n。假设需要得到一个数据大小为m*n*k的样本数据,那么按照k种排序方式对词向量进行排序,以得到k个文本向量,那么,第1种排序方式可以是将文本词向量按照在文本中出现的先后顺序正向排列,其对应的文本向量为vec1=[v1,v2,…,vm];第2种排序方式可以是按照单词在文本中出现的先后顺序反向排列,其对应的文本向量为vec2=[vm,vm-1,…,v1];第k种排序方式可以是将从文本末尾往前数的k个词放在文档首部,其他词的顺序不变,其对应的文本向量为veck=[vm-k+1,…,vm-1,vm,v1,v2,…vm-k]。如图6所示,将得到的k个文本向量组合在一起,就能够得到一个数据大小为m*n*k的样本数据,可以表示为[vec1,vec2,…,veck]。
本发明实施例通过对源数据进行截断处理或填充处理,能够将文本数据和图片数据处理成相同大小的数据,有利于模型的训练。另外,本发明实施例还提供了一种新的文本向量生成方法,通过按照不同顺序对词向量进行排列,得到不同的文本向量,将其组合在一起,得到一个多维的样本数据,如此,能够丰富文本数据的特征。
在一些实施例中,当输入的样本数据为文本数据时,使用生成器的神经网络模型得到对应文本数据的词向量序列;使用生成器的注意力模型为词向量序列中的词向量分配注意力概率;将向量序列中的词向量与分配的注意力概率进行加权求和,得到对应文本数据的文本向量。
在一些实施例中,当输入的样本数据为图片数据时,使用生成器的神经网络模型得到对应所述图片数据的多个特征向量;使用生成器的注意力模型为多个所述特征向量分配注意力概率;将各特征向量与分配的所述注意力概率进行加权求和,得到对应图片数据的图片向量。
需要说明的是,图7是本发明实施例一种可选的生成器,该生成器是基于注意力模型的卷积神经网络,包括第一卷积层、第一池化层、第二卷积层、第二池化层和注意力模型输出层。通过注意力模型对神经网络第二池化层输出的特征向量进行加权,当输入的样本数据是文本数据时,对文本的词向量进行加权处理;当输入的样本数据是图片数据时,对图片数据的特征向量进行加权处理。
通常,注意力模型的理想结果是:能够对文本的情感词等关系到最终情感标签的特征维度加大权重,对无关的特征(如句子主语等)降低权重;对于图片而言,一般认为图片的主体内容对情感标签影响更大,例如:图片为人脸图片,那么在人脸区域尤其是嘴部和眼睛区域的权重增大,降低其他地方的权重。
本发明实施例在生成器中加入注意力模型,通过注意力模型加大对情感标签影响较大的特征的权重,能够提取更加合适的情感特征,进而提升情感分类的准确率。
需要说明的是,生成器输出的情感特征与输入的样本数据类型是相互关联的,当输入的样本数据为文本数据时,输出的情感特征通常为情感词,如good、bad、以及可能会存在的否定词,当输入的样本数据为图片数据时,输出的情感特征通常为图片的像素点、明暗、亮度等特征,输出的情感特征反映在特征向量上就是不同维度(列)的值,其更倾向于隐式特征,无法与实际的某个因素一一对应,情感特征的格式就是一个一维的向量,每个维度的数值在0~1之间。
步骤202:以生成器输出的情感特征作为判别器的输入、以样本数据的数据类型作为判别器的输出,训练判别器根据输入的情感特征判别相应的数据类型的性能。
这里,将生成器输出的情感特征输入至判别器中,判别器根据输入的情感特征输出相应的数据类型的标签,如,图片对应输出“1”,文本对应输出“0”,将用户提供的数据类型的标签作为判别器输出的标准结果,训练判别器根据情感特征根据输入的情感特征判别相应的数据类型的性能。
在一些实施例中,初始化判别器包括的第一全连接层和第二全连接层;构建训练样本集合,训练样本集合包括生成器输出的情感特征及样本数据的数据类型;初始化基于判别器输入、判别器输出以及判别器参数构建的损失函数;以生成器输出的情感特征作为判别器的输入、以样本数据的数据类型作为判别器的输出,训练判别器根据输入的情感特征判别相应的数据类型的性能。
需要说明的是,本发明实施例提供的一种判别器,如图8所示,判别器包括两个全连接层,第一全连接层采用修正线性单元(ReLU,Rectified Linear Unit)作为激活函数,第二全连接层采用Softmax函数作为激活函数,通过Sof tmax函数得到样本数据的数据类型属于图片数据或文本数据的概率。
步骤203:以生成器输出的情感特征作为情感分类器的输入、以对应情感特征的情感类型作为情感分类器的输出,训练情感分类器根据输入的情感特征输出对应情感类型的性能。
这里,对应情感特征的情感类型为样本数据的情感类型,将生成器输出的情感特征输入至情感分类器,情感分类器根据输入的情感特征输出相应的情感类型的标签,如,正向情感输出“1”,负向情感输出“0”,将用户提供的样本数据的情感类型作为情感分类器输出的标准结果,训练情感分类器根据输入的情感特征输出相应情感类型的性能。通常,情感分类器的激活函数也选用Softmax函数,以获得样本数据对应的情感类型属于正类或负类的概率。
步骤204:以样本数据作为生成器的输入、以情感特征作为生成器的输出,以判别器输出的数据类型及情感分类器输出的情感类型作为生成器的调节参数,训练生成器根据输入数据输出输入数据的情感特征的性能。
在一些实施例中,初始化生成器包括的输入层、中间层和输出层;构建训练样本集合,训练样本集合包括样本数据及对应样本数据的情感特征;初始化基于所述生成器的输入、所述生成器的输出、以及模型训练参数构建的损失函数,所述模型训练参数包括:判别器输出的数据类型及情感分类器输出的情感类型;以样本数据作为输入、以情感特征作为输出,采用梯度下降算法训练生成器根据输入数据输出所述输入数据的情感特征的性能。
这里,基于生成器的输入、生成器的输出、以及模型训练参数构建的损失函数包括情感分类器的损失、判别器的损失以及参数的L2范数,那么,损失函数表示为:
Loss=Lclassifier+Ldiscriminator+γL2(w)
其中,Lclassifier为情感分类器的损失,Ldiscriminator为判别器的损失,L2(w)为参数的L2范数,w是能够使Lclassifier+Ldiscriminator取最小值的值;
目标函数为:
w*=argminw(Loss)
当损失函数值小于预设损失阈值后,停止训练,预设损失阈值为经验值(如0.001)。
在实际应用中,采用梯度下降算法训练所述生成器根据输入数据输出所述输入数据的情感特征的性能可以通过Adam算法实现,Adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法,能基于训练数据迭代地更新神经网络权重。
本发明实施例同时将判别器输出的数据类型和情感分类器输出的情感类型对生成器作为训练参数训练生成器,能够缩小图片数据和文本数据之间的差异,使其能够提取两种不同数据类型的数据,同时使生成器提取的情感特征有利于情感分类器的分类,提高情感分类的准确性。
如图9所示,本发明实施例提供一种基于情感模型的情感分析方法,包括:
步骤301:获取训练得到的情感模型。
其中,情感模型包括生成器和情感分类器;生成器为以样本数据作为生成器的输入、以情感特征作为生成器的输出,训练得到的;情感分类器为以生成器输出的情感特征作为情感分类器的输入、以对应情感特征的情感类型作为情感分类器的输出,训练得到的。
需要说明的是,本发明实施例的情感模型是根据上述情感模型的训练方法训练得到的。
步骤302:输入待分析的数据至训练得到的生成器,输出对应待分析的数据的情感特征。
步骤303:输入生成器输出的情感特征至训练得到的情感分类器,输出对应情感特征的情感类型。
本发明实施例还提供一种情感模型的训练装置,情感模型包括生成器和情感分类器,如图10所示,图10为本发明实施例提供的情感模型的训练装置的组成结构示意图,包括:
第一输出单元401,用于向生成器输入样本数据,输出对应样本数据的情感特征;其中,样本数据包括文本数据和/或图片数据;
第一训练单元402,用于以生成器输出的情感特征作为判别器的输入、以样本数据的数据类型作为判别器的输出,训练判别器根据输入的情感特征判别相应的数据类型的性能;
第二训练单元403,用于以生成器输出的情感特征作为情感分类器的输入、以对应情感特征的情感类型作为情感分类器的输出,训练情感分类器根据输入的情感特征输出对应情感类型的性能;
第三训练单元404,用于以样本数据作为生成器的输入、以情感特征作为生成器的输出,以判别器输出的数据类型及情感分类器输出的情感类型作为生成器的调节参数,训练生成器根据输入数据输出输入数据的情感特征的性能。
在一些实施例中,情感模型的训练装置还包括:预处理单元,用于获取源数据对应的向量,源数据包括图片源数据和/或文本源数据,对源数据对应的向量进行截断处理或填充处理,得到预设数据大小的样本数据。
在一些实施例中,所述第一输出单元401,具体用于当输入的样本数据为图片数据时,使用生成器的神经网络模型得到对应图片数据的多个特征向量;使用生成器的注意力模型为多个特征向量分配注意力概率;将各特征向量与分配的注意力概率进行加权求和,得到对应图片数据的图片向量;当输入的样本数据为文本数据时,使用生成器的神经网络模型得到对应文本数据的词向量序列;使用生成器的注意力模型为词向量序列中的词向量分配注意力概率;将向量序列中的词向量与分配的注意力概率进行加权求和,得到对应文本数据的文本向量。
在一些实施例中,所述第一训练单元402,具体用于初始化判别器包括的第一全连接层和第二全连接层;构建训练样本集合,训练样本集合包括生成器输出的情感特征及样本数据的数据类型;初始化基于判别器输入、判别器输出以及判别器参数构建的损失函数;以生成器输出的情感特征作为判别器的输入、以样本数据的数据类型作为判别器的输出,训练判别器根据输入的情感特征判别相应的数据类型的性能。
在一些实施例中,第三训练单元404,具体用于初始化生成器包括的输入层、中间层和输出层;构建训练样本集合,训练样本集合包括样本数据及对应样本数据的情感特征;初始化基于生成器的输入、生成器的输出、以及模型训练参数构建的损失函数,模型训练参数包括:判别器输出的数据类型及情感分类器输出的情感类型;以样本数据作为输入、以情感特征作为输出,采用梯度下降算法训练生成器根据输入数据输出输入数据的情感特征的性能。
本发明实施例还提供一种基于情感模型的情感分析装置,如图11所示,图11为本发明实施例提供的基于情感模型的情感分析装置的组成结构示意图,包括:
第一获取单元501,用于获取训练得到的情感模型;其中,情感模型包括生成器和情感分类器;生成器为以样本数据作为生成器的输入、以情感特征作为生成器的输出,训练得到的;情感分类器为以生成器输出的情感特征作为情感分类器的输入、以对应情感特征的情感类型作为情感分类器的输出,训练得到的;
第一输入单元502,用于输入待分析的数据至训练得到的生成器;
第二输出单元503,用于输出对应待分析的数据的情感特征;
第二输入单元504,用于输入生成器输出的情感特征至训练得到的情感分类器;
第三输出单元505,用于输出对应情感特征的情感类型。
本发明实施例提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本发明实施例提供的情感模型的训练方法,例如,如图3示出的方法。
在一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,通过本发明实施例提出了一种新的文本向量生成方法,能够丰富文本的特征,并通过截断处理或填充处理的方式,将文本数据和图片数据转换成相同大小的数据,有利于输入模型。并且,本发明实施例还提出了基于生成器和判别器组成的生成对抗网络的训练方式,通过极大极小二元博弈的思想来调节生成器和判别器,缩小图片和文本之间的差异,使得模型适用于两种不同的数据类型。进一步,本发明实施例在生成器中加入注意力模型,使其着重关注对情感类型影响较大的特征,提升了情感特征提取的有效性,进而提升了情感分类的准确率。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。

Claims (15)

1.一种情感模型的训练方法,其特征在于,所述情感模型包括生成器和情感分类器,所述方法包括:
向所述生成器输入样本数据,输出对应所述样本数据的情感特征;其中,所述样本数据包括文本数据和/或图片数据;
以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能;
以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练所述情感分类器根据输入的情感特征输出对应情感类型的性能;
以所述样本数据作为生成器的输入、以所述情感特征作为所述生成器的输出,以所述判别器输出的数据类型及所述情感分类器输出的情感类型,训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
2.根据权利要求1所述方法,其特征在于,所述向所述生成器输入样本数据之前,还包括:
获取源数据对应的向量,所述源数据包括图片源数据和/或文本源数据;
对所述源数据对应的向量进行截断处理或填充处理,得到预设数据大小的所述样本数据。
3.根据权利要求1所述方法,其特征在于,所述向所述生成器输入样本数据,输出对应所述样本数据的情感特征,包括:
当输入的所述样本数据为文本数据时,使用所述生成器的神经网络模型得到对应所述文本数据的词向量序列;
使用所述生成器的注意力模型为所述词向量序列中的词向量分配注意力概率;
将所述向量序列中的词向量与分配的所述注意力概率进行加权求和,得到对应所述文本数据的文本向量。
4.根据权利要求1所述方法,其特征在于,所述向所述生成器输入样本数据,输出对应所述样本数据的情感特征,包括:
当输入的所述样本数据为图片数据时,使用所述生成器的神经网络模型得到对应所述图片数据的多个特征向量;
使用所述生成器的注意力模型为多个所述特征向量分配注意力概率;
将各所述特征向量与分配的所述注意力概率进行加权求和,得到对应图片数据的图片向量。
5.根据权利要求1所述方法,其特征在于,所述以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能,包括:
初始化所述判别器包括的第一全连接层和第二全连接层;
构建训练样本集合,所述训练样本集合包括所述生成器输出的所述情感特征及所述样本数据的数据类型;
初始化基于判别器输入、判别器输出以及判别器参数构建的损失函数;
以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能。
6.根据权利要求1所述方法,其特征在于,所述以所述样本数据作为生成器的输入、以所述情感特征作为所述生成器的输出,以所述判别器输出的数据类型及所述情感分类器输出的情感类型,训练所述生成器根据输入数据输出所述输入数据的情感特征的性能,包括:
初始化所述生成器包括的输入层、中间层和输出层;
构建训练样本集合,所述训练样本集合包括样本数据;
初始化基于所述生成器的输入、所述生成器的输出、以及模型训练参数构建的损失函数,所述模型训练参数包括:所述判别器输出的数据类型及所述情感分类器输出的情感类型;所述模型训练参数为用于计算损失函数的预测值;
以所述样本数据作为输入、以所述情感特征作为输出,采用梯度下降算法训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
7.一种基于情感模型的情感分析方法,其特征在于,所述方法包括:
获取训练得到的情感模型;其中,
所述情感模型包括生成器和情感分类器;
所述生成器为以样本数据作为生成器的输入、以情感特征作为所述生成器的输出,以判别器输出的数据类型及所述情感分类器输出的情感类型,训练得到的;
所述情感分类器为以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练得到的;
输入待分析的数据至训练得到的所述生成器,输出对应待分析的数据的情感特征;
输入生成器输出的情感特征至训练得到的所述情感分类器,输出对应所述情感特征的情感类型。
8.一种情感模型的训练装置,其特征在于,所述情感模型包括生成器和情感分类器,所述装置包括:
第一输出单元,用于向所述生成器输入样本数据,输出对应所述样本数据的情感特征;其中,所述样本数据包括文本数据和/或图片数据;
第一训练单元,用于以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能;
第二训练单元,用于以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练所述情感分类器根据输入的情感特征输出对应情感类型的性能;
第三训练单元,用于以所述样本数据作为生成器的输入、以所述情感特征作为所述生成器的输出,以所述判别器输出的数据类型及所述情感分类器输出的情感类型,训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
9.根据权利要求8所述装置,其特征在于,所述装置还包括:
预处理单元,用于获取源数据对应的向量,所述源数据包括图片源数据和/或文本源数据;对所述源数据对应的向量进行截断处理或填充处理,得到预设数据大小的所述样本数据。
10.根据权利要求8所述装置,其特征在于,
所述第一输出单元,具体用于当输入的所述样本数据为文本数据时,使用所述生成器的神经网络模型得到对应所述文本数据的词向量序列;使用所述生成器的注意力模型为所述词向量序列中的词向量分配注意力概率;将所述向量序列中的词向量与分配的所述注意力概率进行加权求和,得到对应所述文本数据的文本向量;
以及,当输入的所述样本数据为图片数据时,使用所述生成器的神经网络模型得到对应所述图片数据的多个特征向量;使用所述生成器的注意力模型为多个所述特征向量分配注意力概率;将各所述特征向量与分配的所述注意力概率进行加权求和,得到对应图片数据的图片向量。
11.根据权利要求8所述装置,其特征在于,
所述第一训练单元,具体用于初始化所述判别器包括的第一全连接层和第二全连接层;构建训练样本集合,所述训练样本集合包括所述生成器输出的所述情感特征及所述样本数据的数据类型;初始化基于判别器输入、判别器输出以及判别器参数构建的损失函数;以所述生成器输出的所述情感特征作为判别器的输入、以所述样本数据的数据类型作为所述判别器的输出,训练所述判别器根据输入的情感特征判别相应的数据类型的性能。
12.根据权利要求8所述装置,其特征在于,
所述第三训练单元,具体用于初始化所述生成器包括的输入层、中间层和输出层;构建训练样本集合,所述训练样本集合包括样本数据;初始化基于所述生成器的输入、所述生成器的输出、以及模型训练参数构建的损失函数,所述模型训练参数包括:所述判别器输出的数据类型及所述情感分类器输出的情感类型;所述模型训练参数为用于计算损失函数的预测值;以所述样本数据作为输入、以所述情感特征作为输出,采用梯度下降算法训练所述生成器根据输入数据输出所述输入数据的情感特征的性能。
13.一种基于情感模型的情感分析装置,其特征在于,所述装置包括:
第一获取单元,用于获取训练得到的情感模型;其中,
所述情感模型包括生成器和情感分类器;
所述生成器为以样本数据作为生成器的输入、以情感特征作为所述生成器的输出,以判别器输出的数据类型及所述情感分类器输出的情感类型,训练得到的;
所述情感分类器为以所述生成器输出的所述情感特征作为所述情感分类器的输入、以对应所述情感特征的情感类型作为所述情感分类器的输出,训练得到的;
第一输入单元,用于输入待分析的数据至所述训练得到的生成器;
第二输出单元,用于输出对应待分析的数据的情感特征;
第二输入单元,用于输入生成器输出的情感特征至训练得到的所述情感分类器;
第三输出单元,用于输出对应所述情感特征的情感类型。
14.一种情感模型的训练装置,其特征在于,所述装置包括:存储器和处理器;其中,
所述存储器,用于存储能够在所述处理器上运行的计算机程序;
所述处理器,用于在运行所述计算机程序时,执行权利要求1至6任一项所述的情感模型的训练方法。
15.一种存储介质,所述存储介质存储有计算机程序,当所述计算机程序被至少一个处理器执行时,实现如权利要求1至6中任一项所述的情感模型的训练方法。
CN201910436077.6A 2019-05-23 2019-05-23 情感模型的训练方法、情感分析方法、装置及存储介质 Active CN111985243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910436077.6A CN111985243B (zh) 2019-05-23 2019-05-23 情感模型的训练方法、情感分析方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910436077.6A CN111985243B (zh) 2019-05-23 2019-05-23 情感模型的训练方法、情感分析方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111985243A CN111985243A (zh) 2020-11-24
CN111985243B true CN111985243B (zh) 2023-09-08

Family

ID=73437203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910436077.6A Active CN111985243B (zh) 2019-05-23 2019-05-23 情感模型的训练方法、情感分析方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111985243B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112885432A (zh) * 2021-02-06 2021-06-01 北京色彩情绪健康科技发展有限公司 一种情绪分析管理系统
CN113010675A (zh) * 2021-03-12 2021-06-22 出门问问信息科技有限公司 一种动基于gan的文本信息分类方法、装置及存储介质
CN116418686A (zh) * 2021-12-31 2023-07-11 华为技术有限公司 模型的数据处理方法及装置
CN115982473B (zh) * 2023-03-21 2023-06-23 环球数科集团有限公司 一种基于aigc的舆情分析编排系统
CN118228156B (zh) * 2024-03-15 2024-10-01 北京航空航天大学 一种混合模型架构的多特征融合视觉对话情感分析方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679580A (zh) * 2017-10-21 2018-02-09 桂林电子科技大学 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
CN107818084A (zh) * 2017-10-11 2018-03-20 北京众荟信息技术股份有限公司 一种融合点评配图的情感分析方法
WO2018060993A1 (en) * 2016-09-27 2018-04-05 Faception Ltd. Method and system for personality-weighted emotion analysis
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN108388544A (zh) * 2018-02-10 2018-08-10 桂林电子科技大学 一种基于深度学习的图文融合微博情感分析方法
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
CN108959322A (zh) * 2017-05-25 2018-12-07 富士通株式会社 信息处理方法和基于文本生成图像的装置
CN109117482A (zh) * 2018-09-17 2019-01-01 武汉大学 一种面向中文文本情感倾向性检测的对抗样本生成方法
CN109213876A (zh) * 2018-08-02 2019-01-15 宁夏大学 基于生成对抗网络的跨模态检索方法
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109376775A (zh) * 2018-10-11 2019-02-22 南开大学 在线新闻多模态情感分析方法
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN109783798A (zh) * 2018-12-12 2019-05-21 平安科技(深圳)有限公司 文本信息添加图片的方法、装置、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205103B2 (en) * 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018060993A1 (en) * 2016-09-27 2018-04-05 Faception Ltd. Method and system for personality-weighted emotion analysis
CN108959322A (zh) * 2017-05-25 2018-12-07 富士通株式会社 信息处理方法和基于文本生成图像的装置
CN107818084A (zh) * 2017-10-11 2018-03-20 北京众荟信息技术股份有限公司 一种融合点评配图的情感分析方法
CN107679580A (zh) * 2017-10-21 2018-02-09 桂林电子科技大学 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN108388544A (zh) * 2018-02-10 2018-08-10 桂林电子科技大学 一种基于深度学习的图文融合微博情感分析方法
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
CN109213876A (zh) * 2018-08-02 2019-01-15 宁夏大学 基于生成对抗网络的跨模态检索方法
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109117482A (zh) * 2018-09-17 2019-01-01 武汉大学 一种面向中文文本情感倾向性检测的对抗样本生成方法
CN109376775A (zh) * 2018-10-11 2019-02-22 南开大学 在线新闻多模态情感分析方法
CN109783798A (zh) * 2018-12-12 2019-05-21 平安科技(深圳)有限公司 文本信息添加图片的方法、装置、终端及存储介质
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于表示学习的跨模态检索模型与特征抽取研究综述;李志义,黄子风,许晓绵;情报学报;第37卷(第4期);422-435 *

Also Published As

Publication number Publication date
CN111985243A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111191078B (zh) 基于视频信息处理模型的视频信息处理方法及装置
Keneshloo et al. Deep reinforcement learning for sequence-to-sequence models
CN111985243B (zh) 情感模型的训练方法、情感分析方法、装置及存储介质
CN112131350B (zh) 文本标签确定方法、装置、终端及可读存储介质
CN111027327A (zh) 机器阅读理解方法、设备、存储介质及装置
CN113011186B (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
CN114676234A (zh) 一种模型训练方法及相关设备
CN114358203A (zh) 图像描述语句生成模块的训练方法及装置、电子设备
EP3732592A1 (en) Intelligent routing services and systems
CN113505193A (zh) 一种数据处理方法及相关设备
CN112101042A (zh) 文本情绪识别方法、装置、终端设备和存储介质
Huang et al. C-Rnn: a fine-grained language model for image captioning
CN112988963A (zh) 基于多流程节点的用户意图预测方法、装置、设备及介质
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN112784573A (zh) 文本情感内容分析方法、装置、设备及存储介质
CN112507124A (zh) 一种基于图模型的篇章级别事件因果关系抽取方法
Dilawari et al. Neural attention model for abstractive text summarization using linguistic feature space
CN116320607A (zh) 智能视频生成方法、装置、设备及介质
CN114722832A (zh) 一种摘要提取方法、装置、设备以及存储介质
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
Long et al. Cross-domain personalized image captioning
CN112132075A (zh) 图文内容处理方法及介质
Patankar et al. Image Captioning with Audio Reinforcement using RNN and CNN
CN115240713A (zh) 基于多模态特征和对比学习的语音情感识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant