CN110826466B - 基于lstm音像融合的情感识别方法、装置及存储介质 - Google Patents
基于lstm音像融合的情感识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110826466B CN110826466B CN201911058176.1A CN201911058176A CN110826466B CN 110826466 B CN110826466 B CN 110826466B CN 201911058176 A CN201911058176 A CN 201911058176A CN 110826466 B CN110826466 B CN 110826466B
- Authority
- CN
- China
- Prior art keywords
- data
- lstm
- emotion
- emotion recognition
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 230000008451 emotion Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims description 46
- 230000014509 gene expression Effects 0.000 claims description 40
- 230000007246 mechanism Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006854 communication Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002902 bimodal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于LSTM音像融合的情感识别方法、装置及存储介质，使采用了LSTM的模型，用更加细致的帧级特征来训练模型，得到的情感识别准确。同时，采用了决策融合结合后期融合的方法，对语音情感识别的特征和面部表情识别的特征，能够更加有效的融合两种模态的识别结果，计算得到更加精准的情感识别结果。使得本专利提出的方法能够更准确得到对预测对象的情感状态，提高了情感识别的准确性和鲁棒性。
Description
技术领域
本申请涉及语音识别技术领域，尤其涉及一种基于LSTM音像融合的情感识别方法、系统、装置及存储介质。
背景技术
情感是人们在沟通过程中重要的信息，通常以面部表情、言语、文字、肢体动作等作为表达的载体。随着信息技术的迅速发展，人们对智能设备的需求越来越旺盛，人机交互等智能化的越来越重要，情感识别技术在人机交互、汽车和飞机驾驶、医疗护理方面有着广泛的应用和前景。
情感表达的模态包括面部表情、语音、文字、生理信号、姿势等。目前主流的情感计算的方法主要分为单一模态的情感识别和多模态的情感识别两种。
对于单一模态的特征做情感预测，有信息量不足和鲁棒性差，容易受到外界各种因素干扰的问题。当前主流的情感识别方法主要为以面部表情为主，但单一模态的情感识别容易被干扰，比如低头、面部有遮挡物时，单一模态的情感识别受到限制。同时，单一使用表情识别的情况下，对更加细微的表情不能够充分地识别出来。多模态的情感识别方法，充分利用语音信息和表情信息的互补，能够捕捉更加细微的情感状态，能够有效地提高情感识别的准确率和抗干扰性。
赵小明、张石清提出了一种基于压缩感知的鲁棒性语音情感识别方法，提供一种噪声背景下的鲁棒性语音情感识别方法；充分考虑到不同类型特征参数的有效性，将特征参数的提取从韵律特征和音质特征两方面，扩充到梅尔频率倒谱系数MFCC，进一步提高特征参数的抗噪声效果，但是仍未解决声学通道无法获得信号时的情感识别。
发明内容
为了解决上述技术问题，本申请实施例提供一种基于LSTM音像融合的情感识别方法、系统、装置及存储介质。
本申请实施例第一方面提供了一种基于LSTM音像融合的情感识别方法，可包括：
获取不同情感类别的视频数据，建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集；
对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
将语音数据和图像数据的新的特征进行融合，利用融合后的特征训练次级分类器模型；
获取待识别视频数据的语音特征和图像特征，利用上述步骤获取融合后的特征作为输入数据，利用分类器模型得到最终预测的情感识别结果。
进一步地，所述获取不同情感类别的视频数据，建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集包括：
获取不同情感类别的视频数据，并对视频数据添加类型标签；所述类型标签为表情的类型；
将视频数据的语音数据和图像数据分别抽离；
将所获取的视频数据建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集。
进一步地，所述对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征包括：
对语音数据进行预加重处理后再进行分帧加窗处理；
提取语音特征，将有标签的语音特征数据作为训练集，训练基于语音特征的识别模型；所述识别模型采用带有自注意力机制的双向LSTM模型。
进一步地，所述对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征包括：
读取视频中每帧的图像，利用人脸检测器检测图像中的人脸位置并截取人脸图像；
对图像缩放到目标大小，并随机调整亮度；
利用表情数据库作为训练样本训练一个基于可分离卷积神经网络的模型，将图像数据作为输入数据进行训练；
对带有自注意力机制的双向LSTM模型训练表情图像特征。
进一步地，利用该基于可分离卷积神经网络的预训练模型提取网络的瓶颈特征作为表情图像特征。
进一步地，所述双向LSTM模型为改进的带peephole设计门，由一个两层的双向LSTM、自注意力机制层、丢弃层和全连接层构成。
进一步地，所述将语音数据和图像数据的新的特征进行融合，利用融合后的特征训练次级分类器模型包括：
融合语音数据和图像数据的新的特征以及模型最终的预测结果，并训练次级分类器，得到最后情感分类结果。
进一步地，所述获取待识别视频数据的语音特征和图像特征，利用上述步骤获取融合后的特征作为输入数据，利用分类器模型得到最终预测的情感识别结果包括：
对于待识别视频数据，将视频数据的语音数据和图像数据分别抽离；
通过对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
将语音数据和图像数据的新的特征进行融合，利用作为输入数据，利用分类器模型得到最终预测的情感识别结果。
本申请实施例第二方面提供了一种基于LSTM音像融合的情感识别系统，包括：
数据库建立单元，用于获取不同情感类别的视频数据，建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集；
语音数据特征提取单元，用于对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
图像数据特征提取单元，用于对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
分类器训练单元，用于将语音数据和图像数据的新的特征进行融合，利用融合后的特征训练次级分类器模型；
识别输出单元，获取待识别视频数据的语音特征和图像特征，利用上述步骤获取融合后的特征作为输入数据，利用分类器模型得到最终预测的情感识别结果。
进一步地，所述数据库建立单元包括：
数据获取单元，用于获取不同情感类别的视频数据，并对视频数据添加类型标签；所述类型标签为表情的类型；
数据剥离单元，用于将视频数据的语音数据和图像数据分别抽离；
建模单元，用于将所获取的视频数据建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集。
进一步地，所述语音数据特征提取单元包括：
预处理单元，对语音数据进行预加重处理后再进行分帧加窗处理；
语音特征获取单元，用于提取语音特征，将有标签的语音特征数据作为训练集，训练基于语音特征的识别模型；所述识别模型采用带有自注意力机制的双向LSTM模型。
进一步地，所述图像数据特征提取单元包括：
人脸获取单元，用于读取视频中每帧的图像，利用人脸检测器检测图像中的人脸位置并截取人脸图像；
图像处理单元，用于对图像缩放到目标大小，并随机调整亮度；
图像特征获取单元，用于利用表情数据库作为训练样本训练一个基于可分离卷积神经网络的模型，将图像数据作为输入数据进行训练；对带有自注意力机制的双向LSTM模型训练表情图像特征。
进一步地，所述识别输出单元包括：
数据剥离单元，用于对于待识别视频数据，将视频数据的语音数据和图像数据分别抽离；
待识别语音特征单元，用于通过对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
待识别图像特征单元，用于对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
融合输出单元，用于将语音数据和图像数据的新的特征进行融合，利用作为输入数据，利用分类器模型得到最终预测的情感识别结果。
第三方面，本申请实施例提供了一种识别装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现第一方面的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面的方法。
本申请基于LSTM的语音-表情融合的双模态情感识别的方法，使采用了LSTM的模型，用更加细致的帧级特征来训练模型，得到的情感识别准确。同时，采用了决策融合结合后期融合的方法，对语音情感识别的特征和面部表情识别的特征，能够更加有效的融合两种模态的识别结果，计算得到更加精准的情感识别结果。使得本专利提出的方法能够更准确得到对预测对象的情感状态，提高了情感识别的准确性和鲁棒性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的方法流程示意图；
图2是图1的方法流程简图；
图3是本方法中的语音预处理及特征提取示意图；
图4是本申请中的语音/表情情感识别模型框架示意图；
图5是本发明基于LSTM的语音-表情融合的双模态情感识别的方法的最后识别结果的对比示意图；
图6是本申请实施例提供的一种识别装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
参见图1，是本申请实施例提供的一种基于LSTM音像融合的情感识别方法的示意流程图，如图1所示该方法可包括：
101：获取不同情感类别的视频数据，并对视频数据添加类型标签，将视频数据的语音数据和图像数据分别抽离；将所获取的视频数据建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集。
可以理解的是，这里利用现有已知的视频数据作为训练样本，用于后面的模型训练，其中数据库中的视频的情感类别，包括：愤怒、厌恶、恐惧、快乐、悲伤和惊奇。
102：对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征。
可以理解的是，建立基于语音模态的情感识别主要包括：对所述语音信号样本进行预处理、对预处理后的语音提取特征，训练基于语音特征的情感识别模型。对所述语音样本的预处理主要包括以下具体步骤：
步骤102-1：预加重处理，采用高通滤波器H(z)＝1-αz-1对信号的高频部分的功率进行补偿，放大语音信号的高频部分，其中H(z)为语音信号的功率函数，z为频率，α为预加重系数且0.9≤α≤1。
步骤102-2：对上述数据再次进行分帧加窗处理，其中窗函数采用汉明窗。
本实施例中，将语音信号看做短时平稳的，对语音信号以40ms为帧长，10ms为帧移。
步骤102-3：提取语音特征包括：梅尔倒谱系数及其一阶导数，基音频率、短时过零率、线性预测系数、静音比率。
步骤102-4：训练基于语音特征的识别模型，采用带有自注意力机制的双向LSTM模型。
将有标签的语音数据作为训练集，经过如上步骤102-1)，102-2)，102-3)的处理后，即可转化为用神经网络训练分类模型的问题。
网络主要使用了常用的循环网络：长短期记忆LSTM模型，将每一帧的语音特征作为输入，计算出每个时序的LSTM模型输出的新特征hi，将得到的新特征输入Attention层，计算任意两个时序中LSTM输出特征hi与hj之间的相关性(可采用的方法有点积、Cosine相似性和MLP网络)，表示为eij＝f(hi，hj)，产生的相关性数值eij根据具体产生方法的不同其取值范围也不同，因此引入类似Softmax的计算方法对其进行归一化处理，得到第i帧数据与其他帧数据对应的Self-Attention权重系数N表示总帧数，再对应所有特征进行加权求和即可得到Attention层输出的新特征。
经过Attention层后接全连接层，最后的输出为进过Softmax后的输出，Softmax函数的定义为：该函数是概率分布函数，最后得到6个概率值，这6个概率值之和为1，其中ex为计算每个类别的值，/>为计算k个类别的值之和。
通过对每个分类的概率值进行比较，得到最大的类别作为该语音的情感类别，进而通过与真实标签比较，来训练该神经网络，优化参数。
本步骤中采用的LSTM模型为改进的带peephole设计门，由一个两层的双向LSTM、自注意力机制层、丢弃层和全连接层构成。全连接层输出单元为128和6，其中目标情感类别为6类，获取最终两个全连接层的输出，作为语音情感识别模块的输出特征，为后续特征融合做准备。其结构如下：
(1)输入门：输入门的作用是决定记忆单元中要存储哪些信息，包括两个部分，第一部分是先由输入门sigmoid层决定需要更新的信息；第二部分为通过非线性函数结构tanh的一个新的更新记忆单元状态的新状态向量其具体表达式如下：it＝σ(Wixxt+Wihht-1+bi)，/>xt代表当前时刻输入的特征，ht-1代表上一时刻的隐藏状态，ct代表当前时刻的状态，σ为sigmoid激活函数。
(2)遗忘门：LSTM决定的是舍弃记忆单元的哪些信息，表示形式为ft＝σ(Wfxxt+Wfhht-1+bf)，可以看到这里的ft由输入的xt和ht-1得到，用来控制ct-1中信息的遗忘程度，ft的取值范围在0-1之间，为1表示保留全部信息，0表示遗忘全部信息。
(3)输出门：输出门决定输出哪些信息。
第一步，当前的新状态ct由下式计算得到，简单来说就是遗忘一些旧信息，更新一些新信息，表达式如下：
第二步，采用sigmoid层计算LSTM模块要输出的结果，表达式如下：ot＝σ(Wotxt+Wotht-1+bo)；
第三步，计算当前时刻的隐藏层状态
其中σ代表sigmoid函数，表示tanh函数，“·”表示点乘，{W**，b*}代表LSTM的参数。W代表线性关系的权重，b代表偏置，是LSTM网络中需要优化和学习的参数，且上述LSTM的内容均属于现有技术中的基本内容，定义与现有公知的内容一致。
103：对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征。
可以理解的是，本步骤与102的内容类似，针对的对象是图像数据，即表情数据。
建立基于表情模态的情感识别主要包括：
步骤103-1对视频帧的人脸图像提取：读取视频中每帧的图像，利用人脸检测器检测图像中的人脸位置并截取人脸图像。
步骤103-2对每帧视频图像的预处理：对图像缩放到目标大小，并随机调整亮度。
步骤103-3表情特征提取的预训练模型的训练：利用表情数据库训练一个基于可分离卷积神经网络的模型，利用表情数据库作为训练样本训练得到模型，保存。
步骤103-4利用步骤103-2得到的图像作为输入送入步骤103-3得到的模型，利用该基于可分离卷积神经网络的预训练模型提取网络的瓶颈特征，作为表情图像特征。
本步骤中用于特征提取的预训练的模型，采用了MobileNet结构的多层基于可分离卷积神经网络的结构。
104：将语音数据和图像数据的新的特征进行融合，利用融合后的特征训练次级分类器模型。
本步骤中融合语音和表情两个模型的特征以及模型最终的预测结果，并借此训练次级分类器支持向量机(SVM)/全连接层网络(DNN)，得到最后情感分类结果。
105：获取待识别视频数据的语音特征和图像特征，利用上述步骤获取融合后的特征作为输入数据，利用分类器模型得到最终预测的情感识别结果。
可以理解的是，在前述的几个步骤中将分类器训练好之后，本步骤将所需要识别的视频数据，利用步骤102/103中的处理方式，分别提取语音和表情模型的新特征，该新特征为单一模态模型的分类结果和倒数第二层全连接层的输出的合并。融合语音和表情的新特征后，通过次级分类器获取最终情感分类结果。
如图5所示的实施例的结果示意图，相比于单一特征，多模态的特征包含了更多、更丰富的特征信息，利用多模态之间的互补性，能够剔除模态间的冗余，从而经过神经网络之后能学习到更准确的特征表示。可以看到，采用融合特征进行的分类结果明显优于单独使用音频或图像特征的情况。
图6是本申请实施例提供的一种识别设备的结构示意图。该对象检测设备4000包括处理器41，还可以包括输入装置42、输出装置43和存储器44。该输入装置42、输出装置43、存储器44和处理器41之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
可以理解的是，图6仅仅示出了对象检测设备的简化设计。在实际应用中，动作识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。
Claims (10)
1.一种基于LSTM音像融合的情感识别方法，其特征在于，包括：
获取不同情感类别的视频数据，建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集；
对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
将语音数据和图像数据的新的特征进行融合，利用融合后的特征训练次级分类器模型；
获取待识别视频数据的语音特征和图像特征，利用上述步骤获取融合后的特征作为输入数据，利用分类器模型得到最终预测的情感识别结果。
2.根据权利要求1所述的基于LSTM音像融合的情感识别方法，其特征在于，
所述获取不同情感类别的视频数据，建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集包括：
获取不同情感类别的视频数据，并对视频数据添加类型标签；所述类型标签为表情的类型；
将视频数据的语音数据和图像数据分别抽离；
将所获取的视频数据建立数据库，将数据库中不同情感类别的数据打乱，随机划分训练集合测试集。
3.根据权利要求2所述的基于LSTM音像融合的情感识别方法，其特征在于，
所述对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征包括：
对语音数据进行预加重处理后再进行分帧加窗处理；
提取语音特征，将有标签的语音特征数据作为训练集，训练基于语音特征的识别模型；所述识别模型采用带有自注意力机制的双向LSTM模型。
4.根据权利要求3所述的基于LSTM音像融合的情感识别方法，其特征在于，
所述对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征包括：
读取视频中每帧的图像，利用人脸检测器检测图像中的人脸位置并截取人脸图像；
对图像缩放到目标大小，并随机调整亮度；
利用表情数据库作为训练样本训练一个基于可分离卷积神经网络的模型，将图像数据作为输入数据进行训练；
对带有自注意力机制的双向LSTM模型训练表情图像特征。
5.根据权利要求4所述的基于LSTM音像融合的情感识别方法，其特征在于，
利用该基于可分离卷积神经网络的预训练模型提取网络的瓶颈特征作为表情图像特征。
6.根据权利要求4所述的基于LSTM音像融合的情感识别方法，其特征在于，
所述双向LSTM模型为改进的带peephole设计门，由一个两层的双向LSTM、自注意力机制层、丢弃层和全连接层构成。
7.根据权利要求6所述的基于LSTM音像融合的情感识别方法，其特征在于，
所述将语音数据和图像数据的新的特征进行融合，利用融合后的特征训练次级分类器模型包括：
融合语音数据和图像数据的新的特征以及模型最终的预测结果，并训练次级分类器，得到最后情感分类结果。
8.根据权利要求7所述的基于LSTM音像融合的情感识别方法，其特征在于，
所述获取待识别视频数据的语音特征和图像特征，利用上述步骤获取融合后的特征作为输入数据，利用分类器模型得到最终预测的情感识别结果包括：
对于待识别视频数据，将视频数据的语音数据和图像数据分别抽离；
通过对数据集上的语音数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
对数据集上的图像数据提取特征，并输入基于带注意力机制的LSTM的表情情感识别模型，得到待识别情感类别状态的新的特征；
将语音数据和图像数据的新的特征进行融合，利用作为输入数据，利用分类器模型得到最终预测的情感识别结果。
9.一种识别装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-8任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911058176.1A CN110826466B (zh) | 2019-10-31 | 2019-10-31 | 基于lstm音像融合的情感识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911058176.1A CN110826466B (zh) | 2019-10-31 | 2019-10-31 | 基于lstm音像融合的情感识别方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110826466A CN110826466A (zh) | 2020-02-21 |
| CN110826466B true CN110826466B (zh) | 2023-10-03 |
Family
ID=69552155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911058176.1A Active CN110826466B (zh) | 2019-10-31 | 2019-10-31 | 基于lstm音像融合的情感识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826466B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401147B (zh) * | 2020-02-26 | 2024-06-04 | 中国平安人寿保险股份有限公司 | 基于视频行为数据的智能分析方法、装置及存储介质 |
| CN111401268B (zh) * | 2020-03-19 | 2022-11-15 | 内蒙古工业大学 | 一种面向开放环境的多模态情感识别方法及装置 |
| CN113496156B (zh) * | 2020-03-20 | 2023-12-19 | 阿里巴巴集团控股有限公司 | 一种情感预测方法及其设备 |
| CN111553295B (zh) * | 2020-05-01 | 2023-05-09 | 北京邮电大学 | 基于自注意力机制的多模态情感识别方法 |
| CN111625098B (zh) * | 2020-06-01 | 2022-11-18 | 广州市大湾区虚拟现实研究院 | 一种基于多通道信息融合的虚拟化身智能交互方法和装置 |
| CN111832651B (zh) * | 2020-07-14 | 2023-04-07 | 清华大学 | 视频多模态情感推理方法和装置 |
| CN113591525B (zh) * | 2020-10-27 | 2024-03-01 | 蓝海（福建）信息科技有限公司 | 一种深度融合面部表情和语音的驾驶员路怒症识别方法 |
| CN112466336B (zh) * | 2020-11-19 | 2023-05-05 | 平安科技（深圳）有限公司 | 基于语音的情绪识别方法、装置、设备及存储介质 |
| CN112465935A (zh) * | 2020-11-19 | 2021-03-09 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
| CN112699785B (zh) * | 2020-12-29 | 2022-06-07 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
| CN112765323B (zh) * | 2021-01-24 | 2021-08-17 | 中国电子科技集团公司第十五研究所 | 基于多模态特征提取与融合的语音情感识别方法 |
| CN113076847B (zh) * | 2021-03-29 | 2022-06-17 | 济南大学 | 一种多模态情感识别方法及系统 |
| CN113255800B (zh) * | 2021-06-02 | 2021-10-15 | 中国科学院自动化研究所 | 基于音视频的鲁棒情感建模系统 |
| CN113343860A (zh) * | 2021-06-10 | 2021-09-03 | 南京工业大学 | 一种基于视频图像和语音的双模态融合情感识别方法 |
| CN113571050A (zh) * | 2021-07-28 | 2021-10-29 | 复旦大学 | 一种基于Attention与Bi-LSTM的语音抑郁状态识别方法 |
| CN113744731B (zh) * | 2021-08-10 | 2023-07-21 | 浙江大学 | 多模态语音识别方法、系统及计算机可读存储介质 |
| CN113807249B (zh) * | 2021-09-17 | 2024-01-12 | 广州大学 | 基于多模态特征融合的情感识别方法、系统、装置及介质 |
| CN118116392A (zh) * | 2024-04-30 | 2024-05-31 | 江西软件职业技术大学 | 一种数字会议语音处理方法、系统、存储介质及计算机 |
| CN118380020B (zh) * | 2024-06-21 | 2024-11-08 | 吉林大学 | 一种基于多模态的审讯对象情绪变化的识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN109614895A (zh) * | 2018-10-29 | 2019-04-12 | 山东大学 | 一种基于attention特征融合的多模态情感识别的方法 |
-
2019
- 2019-10-31 CN CN201911058176.1A patent/CN110826466B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学（武汉） | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
| CN109614895A (zh) * | 2018-10-29 | 2019-04-12 | 山东大学 | 一种基于attention特征融合的多模态情感识别的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110826466A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826466B (zh) | 基于lstm音像融合的情感识别方法、装置及存储介质 | |
| Fahad et al. | A survey of speech emotion recognition in natural environment | |
| Sun | End-to-end speech emotion recognition with gender information | |
| CN112259106B (zh) | 声纹识别方法、装置、存储介质及计算机设备 | |
| Chibelushi et al. | A review of speech-based bimodal recognition | |
| Hu et al. | Temporal multimodal learning in audiovisual speech recognition | |
| US20190341025A1 (en) | Integrated understanding of user characteristics by multimodal processing | |
| CN111833845B (zh) | 多语种语音识别模型训练方法、装置、设备及存储介质 | |
| US10762417B2 (en) | Efficient connectionist temporal classification for binary classification | |
| CN112581979A (zh) | 一种基于语谱图的语音情绪识别方法 | |
| CN112949708A (zh) | 情绪识别方法、装置、计算机设备和存储介质 | |
| Shen et al. | WISE: Word-Level Interaction-Based Multimodal Fusion for Speech Emotion Recognition. | |
| CN110459207A (zh) | 唤醒语音关键短语分割 | |
| CN113053410B (zh) | 声音识别方法、装置、计算机设备和存储介质 | |
| Gupta et al. | Speech emotion recognition using SVM with thresholding fusion | |
| Salekin et al. | Distant emotion recognition | |
| Jiang et al. | Speech Emotion Recognition Using Deep Convolutional Neural Network and Simple Recurrent Unit. | |
| Yunxiang et al. | Design of efficient speech emotion recognition based on multi task learning | |
| Korkmaz et al. | milVAD: A bag-level MNIST modelling of voice activity detection using deep multiple instance learning | |
| Gilke et al. | MFCC-based vocal emotion recognition using ANN | |
| CN113160823B (zh) | 基于脉冲神经网络的语音唤醒方法、装置及电子设备 | |
| CN112466284B (zh) | 一种口罩语音鉴别方法 | |
| JP7170594B2 (ja) | 同一事象に対して時系列に発生した異なるメディアデータを統合した学習モデルを構築するプログラム、装置及び方法 | |
| CN112951270B (zh) | 语音流利度检测的方法、装置和电子设备 | |
| Ashraf et al. | On the Audio-Visual Emotion Recognition using Convolutional Neural Networks and Extreme Learning Machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230904 Address after: 710000, Room 707, Building B, Xi'an International Enterprise Center, Fengcheng Fourth Road, Xi'an Economic and Technological Development Zone, Shaanxi Province Applicant after: Shaanxi Li'ai Internet Technology Co.,Ltd. Address before: Room 216, 2nd Floor, Building 9, Zhihui Business Garden, No. 19, Xinghuo Road, Jiangbei New District, Nanjing City, Jiangsu Province, 210032 Applicant before: Nanjing Lizhi psychological big data Industry Research Institute Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |