CN112185389B - 语音生成方法、装置、存储介质和电子设备 - Google Patents
语音生成方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN112185389B CN112185389B CN202011003603.9A CN202011003603A CN112185389B CN 112185389 B CN112185389 B CN 112185389B CN 202011003603 A CN202011003603 A CN 202011003603A CN 112185389 B CN112185389 B CN 112185389B
- Authority
- CN
- China
- Prior art keywords
- text
- voice
- emotion
- model
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008451 emotion Effects 0.000 claims abstract description 317
- 230000001149 cognitive effect Effects 0.000 claims abstract description 77
- 230000004044 response Effects 0.000 claims abstract description 74
- 238000013145 classification model Methods 0.000 claims abstract description 38
- 238000001228 spectrum Methods 0.000 claims abstract description 27
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开是关于一种语音生成方法、装置、存储介质、电子设备，该方法包括：通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和该输入语音对应的语义文本，确定该输入语音对应的语音情绪标签；从该语义文本中提取认知信息；根据预设的情绪关联模型、预设的文本关联模型、该语音情绪标签和该认知信息确定该语音情绪标签对应的回应情绪标签和该语义文本对应的回复文本；根据该回应情绪标签确定的语调和该回复文本生成针对该输入语音的回复语音。能够获取输入语音的语音情绪和语义文本，并以该语音情绪对应的回应情绪和所述语义文本对应的回复文本生成相应的回复语音，提高智能语音交互的智能化程度。
Description
技术领域
本公开涉及人工智能领域，尤其涉及一种语音生成方法、装置、存储介质、电子设备。
背景技术
在苹果公司的智能语音助手Siri开创智能语音助手的先河后，各个科技公司的语音交互系统或智能语音聊天系统等智能语音交互系统也如雨后春笋般蓬勃发展。该智能语音交互系统设置于移动终端或智能家电等电子设备中。在智能语音交互的相关技术中，在接收用户的输入语音，通常需要通过该智能语音交互系统，对输入语音本身的语义进行分析，并根据输入语音的语义生成与输入语音对应的回复语音，进而通过该回复语音与用户进行语音交流或者辅助用户对移动终端或智能家电进行控制。
发明内容
为克服相关技术中存在的问题，本公开提供一种语音生成方法、装置、存储介质、电子设备。
根据本公开实施例的第一方面，提供一种语音生成方法，所述方法包括：
接收输入语音；
通过预设训练后的情绪分类模型，根据所述输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签；
从所述语义文本中提取认知信息，所述认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；
根据预设的情绪关联模型、预设的文本关联模型、所述语音情绪标签和所述认知信息，确定所述语音情绪标签对应的回应情绪标签和所述语义文本对应的回复文本；所述情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，所述文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；
根据所述回复情绪标签和所述回复文本生成针对所述输入语音的回复语音，所述回复语音对应的语义文本为所述回复文本，并且所述回复语音的语调特征为根据所述回应情绪标签确定的语调特征；
输出所述回复语音。
可选的，所述情绪分类模型包括：语音解码器、文本解码器、音频处理模型、语音识别模型和分类预测模型，所述分类预测模型包括连接层和Softmax层，所述通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签，包括：
通过所述音频处理模型获取所述输入语音对应的声音频谱特征，将所述声音频谱特征输入所述语音解码器获取对应的第一特征向量；
通过所述语音识别模型识别所述输入语音中的语义文本，将所述语义文本输入所述文本解码器获取对应的第二特征向量；
通过所述连接层将所述第一特征向量和所述第二特征向量拼接为第三特征向量；
将所述第三特征向量输入所述Softmax层，获取所述第三特征向量对应的情绪标签，作为所述语音情绪标签。
可选的，在所述通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签之前，所述方法还包括：
通过预设的语音情绪训练数据对预设的分类预测模型进行训练，以获取训练后的分类预测模型；
通过所述语音解码器、所述文本解码器、所述音频处理模型、所述语音识别模型和所述训练后的分类预测模型，构建所述情绪分类模型；其中，
所述语音识别模型的输出为所述语音解码器的输入，所述语音识别模型的输出为所述文本解码器的输入，所述分类预测模型的输入包括：所述语音解码器的输出和所述文本解码器的输出。
可选的，所述从所述语义文本中提取认知信息，包括：
从所述语义文本中提取用于描述个人信息和/或兴趣信息的第一文本元素，以将所述第一文本元素对应的文本特征作为所述用户画像信息；
从语义文本中提取用于描述事件处理流程和/或事物发展规律的第二文本元素，以将所述第二文本元素对应的文本特征作为所述事件流程信息；和/或，
识别所述语义文本中用于描述事件决策条件的第三文本元素；
通过预设的贝叶斯网络模型根据所述第三文本元素确定所述事件决策条件导致每种事件结果发生的事件概率，以将所述每种事件结果和所述每种事件结果对应事件概率作为所述事件决策信息。
可选的，所述根据预设的情绪关联模型、预设的文本关联模型、所述语音情绪标签和所述认知信息确定所述语音情绪标签对应的回应情绪标签和所述语义文本对应的回复文本，包括：
将所述语音情绪标签和所述认知信息分别输入所述情绪关联模型和所述文本关联模型，获取所述情绪关联模型输出的第一概率集和所述文本关联模型输出的第二概率集；其中，所述第一概率集包含多个情绪标签和每个所述情绪标签对应的第一概率，所述第一概率集包含多个文本和每个所述文本对应的第一概率；
将所述多个情绪标签中对应于最高的第一概率的情绪标签作为所述回应情绪标签；以及，
将所述多个文本中对应于最高的第二概率的文本作为所述回复文本。
可选的，所述根据所述回复情绪标签和所述回复文本生成针对所述输入语音的回复语音，包括：
根据所述回应情绪标签输入预设的语调关联模型，获取所述语调关联模型输出的所述回应情绪标签对应的语调特征；
通过预设的从文本到语音TTS算法，将所述语调特征和所述回复文本合成为所述回复语音。
根据本公开实施例的第二方面，提供一种语音生成装置，所述装置包括：
语音接收模块，被配置为接收输入语音；
标签确定模块，被配置为通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签；
信息提取模块，被配置为从所述语义文本中提取认知信息，所述认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；
信息确定模块，被配置为根据预设的情绪关联模型、预设的文本关联模型、所述语音情绪标签和所述认知信息，确定所述语音情绪标签对应的回应情绪标签和所述语义文本对应的回复文本；所述情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，所述文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；
语音合成模块，被配置为根据所述回复情绪标签和所述回复文本生成针对所述输入语音的回复语音，所述回复语音对应的语义文本为所述回复文本，并且所述回复语音的语调特征为根据所述回应情绪标签确定的语调特征；
语音输出模块，被配置为输出所述回复语音。
可选的，所述情绪分类模型包括：语音解码器、文本解码器、音频处理模型、语音识别模型和分类预测模型，所述分类预测模型包括连接层和Softmax层，所述标签确定模块，被配置为：
通过所述音频处理模型获取所述输入语音对应的声音频谱特征，将所述声音频谱特征输入所述语音解码器获取对应的第一特征向量；
通过所述语音识别模型识别所述输入语音中的语义文本，将所述语义文本输入所述文本解码器获取对应的第二特征向量；
通过所述连接层将所述第一特征向量和所述第二特征向量拼接为第三特征向量；
将所述第三特征向量输入所述Softmax层，获取所述第三特征向量对应的情绪标签，作为所述语音情绪标签。
可选的，所述装置还包括：
模型训练模块，被配置为通过预设的语音情绪训练数据对预设的分类预测模型进行训练，以获取训练后的分类预测模型；
模型构建模块，被配置为通过所述语音解码器、所述文本解码器、所述音频处理模型、所述语音识别模型和所述训练后的分类预测模型，构建所述情绪分类模型；其中，
所述语音识别模型的输出为所述语音解码器的输入，所述语音识别模型的输出为所述文本解码器的输入，所述分类预测模型的输入包括：所述语音解码器的输出和所述文本解码器的输出。
可选的，所述信息提取模块，被配置为：
从所述语义文本中提取用于描述个人信息和/或兴趣信息的第一文本元素，以将所述第一文本元素对应的文本特征作为所述用户画像信息；
从语义文本中提取用于描述事件处理流程和/或事物发展规律的第二文本元素，以将所述第二文本元素对应的文本特征作为所述事件流程信息；和/或，
识别所述语义文本中用于描述事件决策条件的第三文本元素；
通过预设的贝叶斯网络模型根据所述第三文本元素确定所述事件决策条件导致每种事件结果发生的事件概率，以将所述每种事件结果和所述每种事件结果对应事件概率作为所述事件决策信息。
可选的，所述信息确定模块，被配置为：
将所述语音情绪标签和所述认知信息分别输入所述情绪关联模型和所述文本关联模型，获取所述情绪关联模型输出的第一概率集和所述文本关联模型输出的第二概率集；其中，所述第一概率集包含多个情绪标签和每个所述情绪标签对应的第一概率，所述第一概率集包含多个文本和每个所述文本对应的第一概率；
将所述多个情绪标签中对应于最高的第一概率的情绪标签作为所述回应情绪标签；以及，
将所述多个文本中对应于最高的第二概率的文本作为所述回复文本。
可选的，所述语音合成模块，被配置为：
根据所述回应情绪标签输入预设的语调关联模型，获取所述语调关联模型输出的所述回应情绪标签对应的语调特征；
通过预设的从文本到语音TTS算法，将所述语调特征和所述回复文本合成为所述回复语音。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的语音生成方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，所述电子设备中设置有语音交互系统；所述电子设备，包括：本公开第二方面所提供的语音生成装置。
本公开的实施例所提供的技术方案，能够通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和该输入语音对应的语义文本，确定该输入语音对应的语音情绪标签；从该语义文本中提取认知信息，该认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；根据预设的情绪关联模型、预设的文本关联模型、该语音情绪标签和该认知信息确定该语音情绪标签对应的回应情绪标签和该语义文本对应的回复文本，该情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，该文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；根据该回复情绪标签对应的语音情绪和该回复文本生成针对该输入语音的回复语音，该回复语音对应的语义文本为该回复文本，并且该回复语音的语调为根据该回应情绪标签确定的语调。能够获取输入语音的语音情绪和语义文本，并以该语音情绪对应的回应情绪和所述语义文本对应的回复文本生成相应的回复语音，提高智能语音交互的智能化程度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种语音生成方法的流程图；
图2是根据图1示出的一种确定语音情绪标签的方法的流程图；
图3是根据图2示出的另一种语音生成方法的流程图；
图4是根据图1示出的又一种语音生成方法的流程图；
图5是根据图1示出的一种确定回应情绪标签和回复文本的方法的流程图；
图6是根据图1示出的一种语音合成方法的流程图；
图7是根据一示例性实施例示出的一种语音生成装置的框图；
图8是根据图7示出的另一种语音生成装置的框图；
图9是根据一示例性实施例示出的一种用于语音生成的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的语音互动方法之前，首先对本公开中各个实施例所涉及的目标应用场景进行介绍，该目标应用场景包括一电子设备，该电子设备中设置有音频输出和输出设备，该电子设备可以为，例如，个人电脑、笔记本电脑、智能手机、平板电脑、智能电视、智能手表、PDA(英文：Personal Digital Assistant，中文：个人数字助理)等电子设备。该电子设备内部设置有基于类脑认知模型的智能语音交互系统。
示例地，该类脑认知模型通常包括感知单元、记忆单元、学习单元和决策单元。其中，该感知单元用于感知用户主动输入或者电子设备主动监测到的语音音频信息、图像信息、甚至气味信息，并对这些信息进行提取和分析，以模拟人类对于视觉、听觉、嗅觉和触觉等。在本公开实施例中，该感知单元包括情绪分析模型，该情绪分类模型能够根据输入语音的音频特征确定输入语音本身的语义以及语音内包含的情绪信息。该记忆单元用于从获取到的多种信息中提取和记忆用于表征用户个人特性的不同纬度的用户个人信息和兴趣爱好信息等。该学习单元用于从获取到的多种信息中提取用于表征用户参与某一事件(例如，购买火车票、网约车出行等)的整个流程的事件流程信息。该决策单元主要通过贝叶斯网络的构建进行实现，用于从该感知单元获取到的多种信息中提取用于事件决策的不同实体，并根据这些实体之间的因果关系构建相应的贝叶斯网络。对于不同实体之间互相导致发生的概率，会存储在贝叶斯网络对应的固定的条件概率表中，并在需要进行多种实体条件的决策时，根据多个实体条件在条件概率表中对应的触发概率确定多个实体导致的结果实体。
图1是根据一示例性实施例示出的一种语音生成方法的流程图，如图1所示，应用于上述应用场景所述的电子设备，该方法包括以下步骤：
步骤101，接收输入语音。
步骤102，通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和该输入语音对应的语义文本，确定该输入语音对应的语音情绪标签。
示例地，一段语音包含的语义文本和语音中的语调(或称语气)是决定一段语音的实际含义的基础，不同的一段语义文本在不同的语调下可能会呈现出完全相反的实际含义，而语调则决定于用户说出这段语音时所想要表达的情绪。基于此，在本公开实施例中，需要通过该输入语音中包含的两种信息确定针对于该输入语音的回复语音。这两种信息包含输入语音的语义文本以及输入语音所对应的情绪，该情绪可以为，例如，痛苦、感激或快乐等。在步骤102中，在通过该感知单元中的语音采集单元接收到一端输入语音后，首先需要通过预设训练后的情绪分类模型确定该输入语音对应的情绪标签。该情绪分类模型包括两部分，一部分用于对输入语音的音频特征的特征向量的提取，另一部分用于对输入语音的语义文本的文本特征的特征向量的提取。此后，将该语音特征和文本特征的特征向量作为训练后的分类预测模型的输入，即可获得该输入语音对应的语音情绪标签，该语音情绪标签用于表征这段输入语音中包含的情绪。该语音情绪标签在实际实施过程中可以以编号的形式进行记录和传输。
步骤103，从该语义文本中提取认知信息。
示例地，除获取到输入语音对应的语音情绪标签之外，还需要对输入语音的语义文本中包含的内容进行分析。可以将上述步骤102中通过该情绪分类模型提取到的输入语音的语义文本的文本特征沿用至该步骤103中，进而从该文本特征中获取能够表达语义的认知信息。该认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者。
示例地，在实际的执行过程中会出现该语义文本中不包含任何认知信息的情况，因此，除了从接收到的输入语音的语音文本中提取该认知信息外，还可以通过感知单元中的其他信息采集单元获取的信息确定该认知信息。具体地，在接收到该输入语音的同时，可以激活上述的其他信息采集单元，例如，图像采集单元、日期时间信息采集单元和历史行为采集单元等。之后，这些信息采集单元采集到的图像信息、日期时间信息和/或历史行为信息等转换为能够被识别的特征向量，进而根据这些特征向量确定上述的认知信息。
步骤104，根据预设的情绪关联模型、预设的文本关联模型、该语音情绪标签和该认知信息确定该语音情绪标签对应的回应情绪标签和该语义文本对应的回复文本。
其中，该情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，该文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系。
示例地，该情绪关联模型(或者该文本关联模型)可以为预先训练后的分类预测模型，将该语音情绪标签和认知信息作为该分类预测模型的输入，即可得到该分类预测模型输出的多个情绪标签(或者多个文本)和每个情绪标签对应的预测概率(或者每个文本对应的预测概率)，之后再根据该预测概率从多个情绪标签(或者多个文本)中确定该回应情绪标签(或者该回复文本)。或者，该情绪关联模型(或者该文本关联模型)还可以为关联关系对照表，该对照表包含有语音情绪标签、回应情绪标签(或者回复文本)和认知信息三者之间的关联关系。在确定该语音情绪标签和认知信息后，可以直接查询该对照表以确定该回应情绪标签(或者回复文本)。
步骤105，根据该回复情绪标签和该回复文本生成针对该输入语音的回复语音。
步骤106，输出该回复语音。
其中，该回复语音对应的语义文本为该回复文本，并且该回复语音的语调特征为根据该回应情绪标签确定的语调特征。
示例地，语调特征和文本特征均为TTS(TextToSpeech，从文本到语音)算法中的变量。在该步骤105中，需要先确定该回复情绪标签对应的语调特征，再将该回复情绪标签对应的语调特征和该回复文本对应的文本特征作为变量输入上述TTS算法，进而得到合成后的回复语音。在得到该回复语音后，可以在上述步骤106中通过上述应用场景所述的电子设备的声音输出设备输出该回复语音与用户进行交互。
综上所述，本公开的实施例所提供的技术方案，能够通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和该输入语音对应的语义文本，确定该输入语音对应的语音情绪标签；从该语义文本中提取认知信息，该认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；根据预设的情绪关联模型、预设的文本关联模型、该语音情绪标签和该认知信息确定该语音情绪标签对应的回应情绪标签和该语义文本对应的回复文本，该情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，该文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；根据该回复情绪标签对应的语音情绪和该回复文本生成针对该输入语音的回复语音，该回复语音对应的语义文本为该回复文本，并且该回复语音的语调为根据该回应情绪标签确定的语调。能够获取输入语音的语音情绪和语义文本，并以该语音情绪对应的回应情绪和所述语义文本对应的回复文本生成相应的回复语音，提高智能语音交互的智能化程度。
图2是根据图1示出的一种确定语音情绪标签的方法的流程图，如图2所示，该情绪分类模型包括：语音解码器、文本解码器、音频处理模型、语音识别模型和分类预测模型，该分类预测模型为Softmax逻辑回归模型，包括连接层和Softmax层，该步骤102可以包括：
该步骤1021，通过该音频处理模型获取该输入语音对应的声音频谱特征，将该声音频谱特征输入该语音解码器获取对应的第一特征向量。
示例地，该语音处理模型用于对语音进行预处理，该预处理过程可以包括：预加重处理、分帧处理、加窗处理和FFT(Fast Fourier Transform，快速傅里叶变换)处理。其中，该预加重处理用于对输入语音的高频部分进行加重并去除口唇辐射的影响，以增加语音的高频分辨率。另外，因为人的语音有短时平稳性，在10-30ms范围内都可以认为语音信号是稳定的，在该分帧处理过程中，可以以不少于20ms为一帧，1/2左右时长为帧移对该语音信号进行分帧。其中，帧移是相邻两帧之间的重叠区域，用于避免相邻两帧的变化过大。分帧处理后的每一帧的起始段和末尾端会出现不连续的地方，所以分帧越多与原始信号的误差也就越大。加窗处理能够减小上述误差，使分帧处理后的信号变得连续，进而使得每一帧语音信号能够表现出周期函数的特征。该FFT处理用于将时域音频信号变换到频域音谱信号。该语音处理模型的最终输出为该输入语音对应的声音频谱特征。另外，该语音解码器可以包含一组卷积神经网络，该卷积神经网络也包含一个卷积层和一个池化层。
该步骤1022，通过该语音识别模型识别该输入语音中的语义文本，将该语义文本输入该文本解码器获取对应的第二特征向量。
示例地，该语音识别模型为端到端的ASR(Automatic Speech Recognition，自动语音识别)模型，在该ASR模型中，输入语音经过编码和解码的过程之后被转换为一段文本，即该输入语音的语义文本。该语音解码器可以包含两组卷积神经网络，每组卷积神经网络包含一个卷积层和一个池化层，前一组卷积神经网络的池化层的输出为后一组卷积神经网络的卷积层的输入。
该步骤1023，通过该连接层将该第一特征向量和该第二特征向量拼接为第三特征向量。
该步骤1024，将该第三特征向量输入该Softmax层，获取该第三特征向量对应的情绪标签，作为该语音情绪标签。
示例地，上述的步骤1021可以与步骤1022同时执行，进而同时生成该第一特征向量和该第二特征向量。在通过步骤1021和1022获取到该第一特征向量和该第二特征向量后，可以将这两个特征向量合成为同一特征向量(即第三特征向量)。该第三特征向量能够反映输入语音的原始音频的语义特性和声音频谱特性。此后，将该第三特征向量输入预先训练后的Softmax层，获取该Softmax层输出的情绪标签，作为该语音情绪标签
图3是根据图2示出的另一种语音生成方法的流程图，如图3所示，在该步骤101之前，该方法还可以包括：
该步骤107，通过预设的语音情绪训练数据对预设的分类预测模型进行训练，以获取训练后的分类预测模型。
该步骤108，通过该语音解码器、该文本解码器、该音频处理模型、该语音识别模型和该训练后的分类预测模型，构建该情绪分类模型。
其中，该语音识别模型的输出为该语音解码器的输入，该语音识别模型的输出为该文本解码器的输入，该分类预测模型的输入包括：该语音解码器的输出和该文本解码器的输出。
示例地，该情绪分类模型构建过程可以采取两种构建方式，其一为上述步骤107和108所述的方式，即，首先通过预设的包含大量语音情绪训练数据的训练数据集对分类预测模型进行训练；在完成对分类预测模型的训练后，通过该语音解码器、该文本解码器、该音频处理模型、该语音识别模型和该训练后的分类预测模型，构建该情绪分类模型。其中，每个语音情绪训练数据均为由两组语音特征向量(形式与该第一特征向量和该第二特征向量相同)和情绪标签组成的二元组。
示例地，该情绪分类模型的另一种构建方式包括：步骤a，先通过该语音解码器、该文本解码器、该音频处理模型、该语音识别模型和预设的分类预测模型，构建一个初始情绪分类模型；步骤b，将大量的由语音音频和情绪标签组成的二元组作为训练数据输入该初始情绪分类模型，以获取训练后的情绪分类模型。可以理解的是，在该构建方式中，输入该初始情绪分类模型的二元组中的语音音频被分别输入至该音频处理模型和该语音识别模型，再分别通过该语音解码器、该文本解码器、该音频处理模型和该语音识别模型得到两个特征向量后，再将这两个特征向量和该二元组中的情绪标签同时输入预设的分类预测模型，以对分类预测模型进行训练。可以理解的是，基于该构建方式，对该分类预测模型的训练的完成也就意味着对整个情绪分类模型构建的完成。
图4是根据图1示出的又一种语音生成方法的流程图，如图4所示，该步骤103可以包括：该步骤1031、该步骤1032和/或该步骤1033和该步骤1034。
该步骤1031，从该语义文本中提取用于描述个人信息和/或兴趣信息的第一文本元素，以将该第一文本元素对应的文本特征作为该用户画像信息。
该步骤1032，从语义文本中提取用于描述事件处理流程和/或事物发展规律的第二文本元素，以将该第二文本元素对应的文本特征作为该事件流程信息。
该步骤1033，识别该语义文本中用于描述事件决策条件的第三文本元素。
该步骤1034，通过预设的贝叶斯网络模型根据该第三文本元素确定该事件决策条件导致每种事件结果发生的事件概率，以将每种事件结果和每种事件结果对应事件概率作为该事件决策信息。
示例地，该用户画像信息可以包括：年龄、感情状态、性别、出生地、工作、最爱的人、最常听的歌曲以及最爱的运动等。该事件流程信息可以包括：制作某道菜肴的流程信息、火车购票事件的流程信息以及四季轮转日夜更替的流程信息等人类从事各种社会活动的流程信息或者自然界事物发展规律的流程信息。具体地，以火车购票事件为例，其流程信息可以包括：由购票时间、购票金额、起点站、目标地、乘车时间和到达时间等节点信息组成的信息树，该信息树的每个节点为上述的节点信息。该事件决策信息与该事件流程信息的区别在于，该事件决策信息包含人类活动过程中由于某个决策条件发生进而导致某个事件结果的因果信息。该事件决策信息可以包括：对今天是否带伞、是否点外卖以及是否看电视等的决策信息。以对今天是否带伞的决策信息为例，第一决策条件可以为路上打伞的人较多，第二决策条件可以为今天下雨，基于该第一决策条件和该第二决策条件可以确定该决策时间对应的事件结果，即需要带伞。上述的第一文本元素、第二文本元素和第三文本元素可以为段语义文本中的某个词语或文本。针对于上述的该用户画像信息、该事件流程信息和事件决策条件，该类脑认知模型均存在相应的语料库。在该步骤1031、该步骤1032和该步骤1033中，可以通过相应的语料库和预设的文本识别算法识别出上述的第一文本元素、第二文本元素和第三文本元素。
图5是根据图1示出的一种确定回应情绪标签和回复文本的方法的流程图，如图5所示，该步骤104可以包括：
该步骤1041，将该语音情绪标签和该认知信息分别输入该情绪关联模型和该文本关联模型，获取该情绪关联模型输出的第一概率集和该文本关联模型输出的第二概率集。
其中，该第一概率集包含多个情绪标签和每个该情绪标签对应的第一概率，该第一概率集包含多个文本和每个该文本对应的第一概率。
该步骤1042，将上述多个情绪标签中对应于最高的第一概率的情绪标签作为该回应情绪标签。
该步骤1043，将上述多个文本中对应于最高的第二概率的文本作为该回复文本。
示例地，该情绪关联模型和该文本关联模型可以为分类预测模型，该概率识别模型可以为具备不同结构的神经网络模型。以该情绪关联模型为例，可以将该语音情绪标签和该认知信息作为该神经网络模型的输入端训练数据，并将与该语音情绪标签和该认知信息绑定的情绪标签作为该神经网络模型的输出端训练数据，对该神经网络模型进行训练。其中，每个情绪标签相当于一个分类，该训练后的神经网络模型(该情绪关联模型)输出的概率为当前的语音情绪标签和认知信息处于每个分类(对应于每个情绪标签)的分类预测概率。
图6是根据图1示出的一种语音合成方法的流程图，如图6所示，该步骤105可以包括：
该步骤1051，根据该回应情绪标签输入预设的语调关联模型，获取该语调关联模型输出的该回应情绪标签对应的语调特征。
该步骤1052，通过预设的从文本到语音TTS算法，将该语调特征和该回复文本合成为该回复语音。
示例地，TTS算法以该语调特征和该回复文本为合成该回复语音的依据，因此，在该步骤1052之前，需要通过能够体现情绪标签和语调特征的对应关系的语调关联模型确定该回应情绪标签对应的语调特征。该语调关联模型同样可以为关联关系对照表或者预先训练后的分类预测模型。在确定该回应情绪标签后，可以在步骤1051中通过查询对照表或输入模型进行分类预测的方式确定该语调特征。
综上所述，本公开的实施例所提供的技术方案，能够通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和该输入语音对应的语义文本，确定该输入语音对应的语音情绪标签；从该语义文本中提取认知信息，该认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；根据预设的情绪关联模型、预设的文本关联模型、该语音情绪标签和该认知信息确定该语音情绪标签对应的回应情绪标签和该语义文本对应的回复文本，该情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，该文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；根据该回复情绪标签对应的语音情绪和该回复文本生成针对该输入语音的回复语音，该回复语音对应的语义文本为该回复文本，并且该回复语音的语调为根据该回应情绪标签确定的语调。能够获取输入语音的语音情绪和语义文本，并以该语音情绪对应的回应情绪和所述语义文本对应的回复文本生成相应的回复语音，提高智能语音交互的智能化程度。
图7是根据一示例性实施例示出的一种语音生成装置的框图，如图7所示，应用于上述应用场景该的电子设备，该装置700可以包括：
语音接收模块710，被配置为接收输入语音；
标签确定模块720，被配置为通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和该输入语音对应的语义文本，确定该输入语音对应的语音情绪标签；
信息提取模块730，被配置为从该语义文本中提取认知信息，该认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；
信息确定模块740，被配置为根据预设的情绪关联模型、预设的文本关联模型、该语音情绪标签和该认知信息确定该语音情绪标签对应的回应情绪标签和该语义文本对应的回复文本，该情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，该文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；
语音合成模块750，被配置为根据该回复情绪标签和该回复文本生成针对该输入语音的回复语音，该回复语音对应的语义文本为该回复文本，并且该回复语音的语调特征为根据该回应情绪标签确定的语调特征；
语音输出模块760，被配置为输出该回复语音。。
可选的，该情绪分类模型包括：语音解码器、文本解码器、音频处理模型、语音识别模型和分类预测模型，该分类预测模型包括连接层和Softmax层，该标签确定模块720，被配置为：
通过该音频处理模型获取该输入语音对应的声音频谱特征，将该声音频谱特征输入该语音解码器获取对应的第一特征向量；
通过该语音识别模型识别该输入语音中的语义文本，将该语义文本输入该文本解码器获取对应的第二特征向量；
通过该连接层将该第一特征向量和该第二特征向量拼接为第三特征向量；
将该第三特征向量输入该Softmax层，获取该第三特征向量对应的情绪标签，作为该语音情绪标签。
图8是根据图7示出的另一种语音生成装置的框图，如图8所示，该装置700还可以包括；
模型训练模块770，被配置为通过预设的语音情绪训练数据对预设的分类预测模型进行训练，以获取训练后的分类预测模型；
模型构建模块780，被配置为通过该语音解码器、该文本解码器、该音频处理模型、该语音识别模型和该训练后的分类预测模型，构建该情绪分类模型；其中，
该语音识别模型的输出为该语音解码器的输入，该语音识别模型的输出为该文本解码器的输入，该分类预测模型的输入包括：该语音解码器的输出和该文本解码器的输出。
可选的，该信息提取模块730，被配置为：
从该语义文本中提取用于描述个人信息和/或兴趣信息的第一文本元素，以将该第一文本元素对应的文本特征作为该用户画像信息；
从语义文本中提取用于描述事件处理流程和/或事物发展规律的第二文本元素，以将该第二文本元素对应的文本特征作为该事件流程信息；和/或，
识别该语义文本中用于描述事件决策条件的第三文本元素；
通过预设的贝叶斯网络模型根据该第三文本元素确定该事件决策条件导致每种事件结果发生的事件概率，以将每种事件结果和每种事件结果对应事件概率作为该事件决策信息。
可选的，该信息确定模块740，被配置为：
将该语音情绪标签和该认知信息分别输入该情绪关联模型和该文本关联模型，获取该情绪关联模型输出的第一概率集和该文本关联模型输出的第二概率集；其中，该第一概率集包含多个情绪标签和每个该情绪标签对应的第一概率，该第一概率集包含多个文本和每个该文本对应的第一概率；
将上述多个情绪标签中对应于最高的第一概率的情绪标签作为该回应情绪标签；以及，
将上述多个文本中对应于最高的第二概率的文本作为该回复文本。
可选的，该语音合成模块750，被配置为：
根据该回应情绪标签输入预设的语调关联模型，获取该语调关联模型输出的该回应情绪标签对应的语调特征；
通过预设的从文本到语音TTS算法，将该语调特征和该回复文本合成为该回复语音。
综上所述，本公开的实施例所提供的技术方案，能够通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和该输入语音对应的语义文本，确定该输入语音对应的语音情绪标签；从该语义文本中提取认知信息，该认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；根据预设的情绪关联模型、预设的文本关联模型、该语音情绪标签和该认知信息确定该语音情绪标签对应的回应情绪标签和该语义文本对应的回复文本，该情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，该文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；根据该回复情绪标签对应的语音情绪和该回复文本生成针对该输入语音的回复语音，该回复语音对应的语义文本为该回复文本，并且该回复语音的语调为根据该回应情绪标签确定的语调。能够获取输入语音的语音情绪和语义文本，并以该语音情绪对应的回应情绪和所述语义文本对应的回复文本生成相应的回复语音，提高智能语音交互的智能化程度。
图9是根据一示例性实施例示出的一种用于语音生成的装置900的框图。例如，装置900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电力组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的语音生成方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在装置900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件906为装置900的各种组件提供电力。电力组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当装置900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到装置900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的语音生成方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述的语音生成方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的语音生成方法的代码部分。
本公开的实施例所提供的用于语音生成的装置，能够获取输入语音的语音情绪和语义文本，并以该语音情绪对应的回应情绪和所述语义文本对应的回复文本生成相应的回复语音，提高智能语音交互的智能化程度。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种语音生成方法，其特征在于，所述方法包括：
接收输入语音；
通过预设训练后的情绪分类模型，根据所述输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签；
从所述语义文本中提取认知信息，所述认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；
根据预设的情绪关联模型、预设的文本关联模型、所述语音情绪标签和所述认知信息，确定所述语音情绪标签对应的回应情绪标签和所述语义文本对应的回复文本；所述情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，所述文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；
根据所述回应情绪标签和所述回复文本生成所述输入语音的回复语音，所述回复语音对应的语义文本为所述回复文本，并且所述回复语音的语调特征为根据所述回应情绪标签确定的语调特征；
输出所述回复语音；
所述根据预设的情绪关联模型、预设的文本关联模型、所述语音情绪标签和所述认知信息确定所述语音情绪标签对应的回应情绪标签和所述语义文本对应的回复文本，包括：
将所述语音情绪标签和所述认知信息输入所述情绪关联模型，并将所述语音情绪标签和所述认知信息输入所述文本关联模型，获取所述情绪关联模型输出的第一概率集和所述文本关联模型输出的第二概率集；其中，所述第一概率集包含多个情绪标签和每个所述情绪标签对应的第一概率，所述第二概率集包含多个文本和每个所述文本对应的第二概率；
将所述多个情绪标签中对应于最高的第一概率的情绪标签作为所述回应情绪标签；以及，
将所述多个文本中对应于最高的第二概率的文本作为所述回复文本。
2.根据权利要求1所述的方法，其特征在于，所述情绪分类模型包括：语音解码器、文本解码器、音频处理模型、语音识别模型和分类预测模型，所述分类预测模型包括连接层和Softmax层，所述通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签，包括：
通过所述音频处理模型获取所述输入语音对应的声音频谱特征，将所述声音频谱特征输入所述语音解码器获取对应的第一特征向量；
通过所述语音识别模型识别所述输入语音中的语义文本，将所述语义文本输入所述文本解码器获取对应的第二特征向量；
通过所述连接层将所述第一特征向量和所述第二特征向量拼接为第三特征向量；
将所述第三特征向量输入所述Softmax层，获取所述第三特征向量对应的情绪标签，作为所述语音情绪标签。
3.根据权利要求1所述的方法，其特征在于，在所述通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签之前，所述方法还包括：
通过预设的语音情绪训练数据对预设的分类预测模型进行训练，以获取训练后的分类预测模型；
通过所述语音解码器、所述文本解码器、所述音频处理模型、所述语音识别模型和所述训练后的分类预测模型，构建所述情绪分类模型；其中，
所述语音识别模型的输出为所述语音解码器的输入，所述语音识别模型的输出为所述文本解码器的输入，所述分类预测模型的输入包括：所述语音解码器的输出和所述文本解码器的输出。
4.根据权利要求1所述的方法，其特征在于，所述从所述语义文本中提取认知信息，包括：
从所述语义文本中提取用于描述个人信息和/或兴趣信息的第一文本元素，以将所述第一文本元素对应的文本特征作为所述用户画像信息；
从语义文本中提取用于描述事件处理流程和/或事物发展规律的第二文本元素，以将所述第二文本元素对应的文本特征作为所述事件流程信息；和/或，
识别所述语义文本中用于描述事件决策条件的第三文本元素；
通过预设的贝叶斯网络模型根据所述第三文本元素确定所述事件决策条件导致每种事件结果发生的事件概率，以将所述每种事件结果和所述每种事件结果对应事件概率作为所述事件决策信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述回应情绪标签和所述回复文本生成所述输入语音的回复语音，包括：
根据所述回应情绪标签输入预设的语调关联模型，获取所述语调关联模型输出的所述回应情绪标签对应的语调特征；
通过预设的从文本到语音TTS算法，将所述语调特征和所述回复文本合成为所述回复语音。
6.一种语音生成装置，其特征在于，所述装置包括：
语音接收模块，被配置为接收输入语音；
标签确定模块，被配置为通过预设训练后的情绪分类模型，根据输入语音的声音频谱特征和所述输入语音对应的语义文本，确定所述输入语音对应的语音情绪标签；
信息提取模块，被配置为从所述语义文本中提取认知信息，所述认知信息包括：用户画像信息、事件流程信息和事件决策信息三者中的至少一者；
信息确定模块，被配置为根据预设的情绪关联模型、预设的文本关联模型、所述语音情绪标签和所述认知信息，确定所述语音情绪标签对应的回应情绪标签和所述语义文本对应的回复文本；所述情绪关联模型用于表征语音情绪标签、回应情绪标签和认知信息三者之间的关联关系，所述文本关联模型用于表征语音情绪标签、回复文本和认知信息三者之间的关联关系；
语音合成模块，被配置为根据所述回应情绪标签和所述回复文本生成针对所述输入语音的回复语音，所述回复语音对应的语义文本为所述回复文本，并且所述回复语音的语调特征为根据所述回应情绪标签确定的语调特征；
语音输出模块，被配置为输出所述回复语音；
所述信息确定模块，被配置为：
将所述语音情绪标签和所述认知信息输入所述情绪关联模型，并将所述语音情绪标签和所述认知信息输入所述文本关联模型，获取所述情绪关联模型输出的第一概率集和所述文本关联模型输出的第二概率集；其中，所述第一概率集包含多个情绪标签和每个所述情绪标签对应的第一概率，所述第二概率集包含多个文本和每个所述文本对应的第二概率；
将所述多个情绪标签中对应于最高的第一概率的情绪标签作为所述回应情绪标签；以及，
将所述多个文本中对应于最高的第二概率的文本作为所述回复文本。
7.根据权利要求6所述的装置，其特征在于，所述情绪分类模型包括：语音解码器、文本解码器、音频处理模型、语音识别模型和分类预测模型，所述分类预测模型包括连接层和Softmax层，所述标签确定模块，被配置为：
通过所述音频处理模型获取所述输入语音对应的声音频谱特征，将所述声音频谱特征输入所述语音解码器获取对应的第一特征向量；
通过所述语音识别模型识别所述输入语音中的语义文本，将所述语义文本输入所述文本解码器获取对应的第二特征向量；
通过所述连接层将所述第一特征向量和所述第二特征向量拼接为第三特征向量；
将所述第三特征向量输入所述Softmax层，获取所述第三特征向量对应的情绪标签，作为所述语音情绪标签。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
模型训练模块，被配置为通过预设的语音情绪训练数据对预设的分类预测模型进行训练，以获取训练后的分类预测模型；
模型构建模块，被配置为通过所述语音解码器、所述文本解码器、所述音频处理模型、所述语音识别模型和所述训练后的分类预测模型，构建所述情绪分类模型；其中，
所述语音识别模型的输出为所述语音解码器的输入，所述语音识别模型的输出为所述文本解码器的输入，所述分类预测模型的输入包括：所述语音解码器的输出和所述文本解码器的输出。
9.根据权利要求6所述的装置，其特征在于，所述信息提取模块，被配置为：
从所述语义文本中提取用于描述个人信息和/或兴趣信息的第一文本元素，以将所述第一文本元素对应的文本特征作为所述用户画像信息；
从语义文本中提取用于描述事件处理流程和/或事物发展规律的第二文本元素，以将所述第二文本元素对应的文本特征作为所述事件流程信息；和/或，
识别所述语义文本中用于描述事件决策条件的第三文本元素；
通过预设的贝叶斯网络模型根据所述第三文本元素确定所述事件决策条件导致每种事件结果发生的事件概率，以将所述每种事件结果和所述每种事件结果对应事件概率作为所述事件决策信息。
10.根据权利要求6所述的装置，其特征在于，所述语音合成模块，被配置为：
根据所述回应情绪标签输入预设的语调关联模型，获取所述语调关联模型输出的所述回应情绪标签对应的语调特征；
通过预设的从文本到语音TTS算法，将所述语调特征和所述回复文本合成为所述回复语音。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
12.一种电子设备，其特征在于，所述电子设备中设置有语音交互系统；
所述电子设备，包括：权利要求6-10中任一项所述的语音生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003603.9A CN112185389B (zh) | 2020-09-22 | 2020-09-22 | 语音生成方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003603.9A CN112185389B (zh) | 2020-09-22 | 2020-09-22 | 语音生成方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112185389A CN112185389A (zh) | 2021-01-05 |
| CN112185389B true CN112185389B (zh) | 2024-06-18 |
Family
ID=73955767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011003603.9A Active CN112185389B (zh) | 2020-09-22 | 2020-09-22 | 语音生成方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112185389B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112765981A (zh) * | 2021-02-09 | 2021-05-07 | 珠海格力电器股份有限公司 | 一种文本信息的生成方法和装置 |
| CN112992147A (zh) * | 2021-02-26 | 2021-06-18 | 平安科技（深圳）有限公司 | 语音处理方法、装置、计算机设备和存储介质 |
| CN112967725A (zh) * | 2021-02-26 | 2021-06-15 | 平安科技（深圳）有限公司 | 语音对话数据处理方法、装置、计算机设备及存储介质 |
| CN113506586B (zh) * | 2021-06-18 | 2023-06-20 | 杭州摸象大数据科技有限公司 | 用户情绪识别的方法和系统 |
| CN113645364B (zh) * | 2021-06-21 | 2023-08-22 | 国网浙江省电力有限公司金华供电公司 | 面向电力调度的智能语音外呼方法 |
| CN113539261B (zh) * | 2021-06-30 | 2024-10-08 | 大众问问(北京)信息科技有限公司 | 人机语音交互方法、装置、计算机设备和存储介质 |
| CN113593521B (zh) * | 2021-07-29 | 2022-09-20 | 北京三快在线科技有限公司 | 语音合成方法、装置、设备及可读存储介质 |
| CN116758908B (zh) * | 2023-08-18 | 2023-11-07 | 中国工业互联网研究院 | 基于人工智能的交互方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784414A (zh) * | 2019-01-24 | 2019-05-21 | 出门问问信息科技有限公司 | 一种电话客服中客户情绪检测方法、装置及电子设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004090109A (ja) * | 2002-08-29 | 2004-03-25 | Sony Corp | ロボット装置およびロボット装置の対話方法 |
| US20050144002A1 (en) * | 2003-12-09 | 2005-06-30 | Hewlett-Packard Development Company, L.P. | Text-to-speech conversion with associated mood tag |
| CN102385858B (zh) * | 2010-08-31 | 2013-06-05 | 国际商业机器公司 | 情感语音合成方法和系统 |
| US20140365208A1 (en) * | 2013-06-05 | 2014-12-11 | Microsoft Corporation | Classification of affective states in social media |
| KR102222122B1 (ko) * | 2014-01-21 | 2021-03-03 | 엘지전자 주식회사 | 감성음성 합성장치, 감성음성 합성장치의 동작방법, 및 이를 포함하는 이동 단말기 |
| CN104063427A (zh) * | 2014-06-06 | 2014-09-24 | 北京搜狗科技发展有限公司 | 一种基于语义理解的表情输入方法和装置 |
| WO2019102884A1 (ja) * | 2017-11-21 | 2019-05-31 | 日本電信電話株式会社 | ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体 |
| CN108197115B (zh) * | 2018-01-26 | 2022-04-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
| CN111368609B (zh) * | 2018-12-26 | 2023-10-17 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| CN109859772B (zh) * | 2019-03-22 | 2023-03-28 | 平安科技（深圳）有限公司 | 情绪识别方法、装置及计算机可读存储介质 |
| CN110827797B (zh) * | 2019-11-06 | 2022-04-12 | 北京沃东天骏信息技术有限公司 | 语音应答事件分类处理方法和装置 |
| CN111028827B (zh) * | 2019-12-10 | 2023-01-24 | 深圳追一科技有限公司 | 基于情绪识别的交互处理方法、装置、设备和存储介质 |
-
2020
- 2020-09-22 CN CN202011003603.9A patent/CN112185389B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784414A (zh) * | 2019-01-24 | 2019-05-21 | 出门问问信息科技有限公司 | 一种电话客服中客户情绪检测方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112185389A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112185389B (zh) | 语音生成方法、装置、存储介质和电子设备 | |
| CN109599128B (zh) | 语音情感识别方法、装置、电子设备和可读介质 | |
| CN113362812B (zh) | 一种语音识别方法、装置和电子设备 | |
| CN111524521B (zh) | 声纹提取模型训练方法和声纹识别方法、及其装置和介质 | |
| CN111612070B (zh) | 基于场景图的图像描述生成方法及装置 | |
| CN107274903B (zh) | 文本处理方法和装置、用于文本处理的装置 | |
| CN113362813B (zh) | 一种语音识别方法、装置和电子设备 | |
| CN110633470A (zh) | 命名实体识别方法、装置及存储介质 | |
| CN112562675A (zh) | 语音信息处理方法、装置及存储介质 | |
| CN115039169A (zh) | 一种语音指令识别方法、电子设备以及非瞬态计算机可读存储介质 | |
| CN113488022B (zh) | 一种语音合成方法和装置 | |
| CN114333804B (zh) | 音频分类识别方法、装置、电子设备及存储介质 | |
| CN113539233A (zh) | 一种语音处理方法、装置和电子设备 | |
| CN113409765B (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
| CN113345452B (zh) | 语音转换方法、语音转换模型的训练方法、装置和介质 | |
| CN112818841B (zh) | 一种识别用户情绪的方法及相关装置 | |
| CN110930977B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN112948565A (zh) | 人机对话方法、装置、电子设备及存储介质 | |
| CN113919293B (zh) | 一种公式识别模型的训练方法及装置 | |
| CN111667829B (zh) | 信息处理方法及装置、存储介质 | |
| CN113901832A (zh) | 人机对话方法、装置、存储介质及电子设备 | |
| CN114550691A (zh) | 一种多音字消歧方法、装置、电子设备及可读存储介质 | |
| CN114155849A (zh) | 一种虚拟对象的处理方法、装置和介质 | |
| CN113254611A (zh) | 提问推荐方法及装置、电子设备及存储介质 | |
| CN112668340B (zh) | 一种信息处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |