CN105244042A - 一种基于有限状态自动机的语音情感交互装置与方法 - Google Patents

Abstract

本发明公开了一种基于有限状态自动机的语音情感交互装置与方法。所述装置包括：语音采集模块，用于设置录音源、采样率、音频通道、音频数据格式，完成后向原始文件写入裸数据生成文件A；对文件A进行语音情感识别的语音情感识别模块；通过情感的载体进行情感交互的语音情感交互模块。语音情感交互模块包括：有限状态自动机模型的构建模块，用于采用有限状态机描述语音情感状态及其转换过程；情感交互状态转换表的建立模块，用于有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；转换矩阵模块，用于在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。本发明还公开所述装置的基于有限状态自动机的语音情感交互方法。

Description

一种基于有限状态自动机的语音情感交互装置与方法

技术领域

本发明涉及一种基于Android客户端语音情感交互方法，尤其涉及一种基于有限状态自动机的语音情感交互装置、及基于有限状态自动机的语音情感交互方法。

背景技术

随着移动互联网的蓬勃发展，智能手机的不断普及，智能手机的人机交互越来越受到人们的重视，人们日夜与电脑、手机为伴，“人-人互动”逐渐减少，“人-机互动”不断增加，在人机交互中人们都情感的需求提出了更高的要求，即情感交互越来越受到人们的关注。

语音是人类交流的重要媒介，尤其是语音技术更加受到世界著名企业的青睐。如：Apple公司移动设备(iPhone、iPad以及iPod)中的语音助手Siri、Google公司可穿戴设备(如GoogleGlass)和装有Google服务的Android智能设备中的语音助手GoogleNow以及Microsoft公司WindowsPhone移动设备上的Cortana私人数字助手等等，这些功能极大的提高了人机语音交互的机会。

语音情感交互的研究对于增加计算机的智能化、个性化，开发智能新型人机交互环境，推动机器学习学科的发展，具有重要意义。

目前语音情感交互技术在不断发展和完善，给人们的生活、学习和工作带来显著影响。在个人生活方面，语音情感交互可以记录个人的情绪波动曲线，总结出适合自己工作学习的最佳时间段，提高效率；在教育界，语音情感交互技术应用于幼教产品，可以教儿童如何讲话，甚至可以教他们如何把话讲的自然而富有感情；在娱乐界，语音情感交互技术可以构筑更加拟人化的风格和更加逼真的游戏场景，给用户更全面的感官享受；在工业界，智能家用电器、汽车等能够理解我们的情感，并做出响应，为我们的工作和生活提供优质的服务；在医学界，可以对部分心理病症(如抑郁症、焦虑症等心理疾病)和空巢家庭中的老年人的情感变化进行检测并提供相应帮助。语音情感交互又是语音交互的重要的研究方向，可想而知语音情感交互的发展势必会伴随着移动互联网的浪潮迎来一个崭新的阶段。

语音情感交互中，语音情感识别是基础，情感交互是关键。目前，语音情感识别的研究已经取得一定进步，研究者大多关注语音特征提取、语音识别模型的构建等研究内容，而语音情感交互方法的研究较少涉及。目前大部分社交产品和娱乐游戏中的人机交互界面大多采用文本的方式，部分产品加入了语音输入功能，但也是淡出的录音传话，无法判断社交对象的情感，更谈不上情感交互。因此，如何构建应用于不同应用场景的情感交互模型，实现语音情感交互功能，是语音情感交互领域中一个亟待解决的重要问题。

发明内容

本发明针对以上问题，提出一种基于有限自动机模型的语音情感交互装置、及基于有限自动机模型的语音情感交互方法，本发明用于语音情感交互，能够较好地反映语音情感的交互状态。

本发明是通过以下技术方案实现的：一种基于有限状态自动机的语音情感交互装置，其包括：语音采集模块，其用于设置录音源、采样率、音频通道、音频数据格式四个基本参数，参数设置完成后向原始文件写入裸数据，生成文件A；语音情感识别模块，其用于对文件A进行语音情感识别获得情感类型；语音情感交互模块，其用于通过情感的载体进行情感的交互；

其中：所述语音情感交互模块包括：有限状态自动机模型的构建模块，其用于采用有限状态机描述语音情感状态及其转换过程；情感交互状态转换表的建立模块，其用于有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；转换矩阵模块，其用于在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。

作为上述方案的进一步改进，针对构建模块，确定性的有限状态机M是一个五元组，如式(1)所示：M＝(Q，Σ，δ，q₀,F)(1)；其中，Q是指有限状态集合，Q＝{q_1,q₂,…,q_n}；Σ是指系统能接收的所有事件的集合，Σ＝{σ_1,σ₂,…,σ_n}；δ是指状态转移函数，δ：Q×Σ→Q；q₀是指初始状态，q₀∈Q；F是终止状态，

作为上述方案的进一步改进，针对建立模块，情感交互的过程如下：令状态机在时间t的状态为q_t，条件反馈状态为σ_t，在离散时间内，情感交互模型下一时刻的状态为q_t+1，则有公式(2)：q_t+1＝δ(q_t,q_t)(2)，即情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。

作为上述方案的进一步改进，针对转换矩阵模块，在有限状态自动机模型中，状态转换函数用状态转换矩阵描述；令描述情感状态转移的矩阵有公式(3)的如下形式：

$p=\left[\begin{array}{cccc}{f}_{11}& f_{12}& ...& f_{1r}\\ f_{21}& f_{22}& ...& f_{2r}\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ f_{r1}& f_{r2}& f_{r3}& f_{rr}\end{array}\right]---\left(3\right),$ 其中0≤f_ij≤1表示从状态q_i转移到状态q_j的概率；f_ij取值根据情感库样本分析统计得到，f_ij＝p(q_j|q_i,σ_i)i＝1,2,…,n；j＝1,2,…,n。

本发明还提供一种基于有限状态自动机的语音情感交互方法，其包括以下步骤：(1)设置录音源、采样率、音频通道、音频数据格式四个基本参数，参数设置完成后向原始文件写入裸数据，生成文件A；(2)对文件A进行语音情感识别获得情感类型；(3)通过情感的载体进行情感的交互；

其中：步骤(3)包括以下步骤：(3.1)采用有限状态机描述语音情感状态及其转换过程；(3.2)有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；(3.3)在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。

作为上述方案的进一步改进，在步骤(3.1)中，确定性的有限状态机M是一个五元组，如公式(1)所示：M＝(Q，Σ，δ，q₀,F)(1)；其中，Q是指有限状态集合，Q＝{q_1,q₂,…,q_n}；Σ是指系统能接收的所有事件的集合，Σ＝{σ_1,σ₂,…,σ_n}；δ是指状态转移函数，δ：Q×Σ→Q；q₀是指初始状态，q₀∈Q；F是终止状态，

作为上述方案的进一步改进，在步骤(3.2)中，情感交互的过程如下：令状态机在时间t的状态为q_t，条件反馈状态为σ_t，在离散时间内，情感交互模型下一时刻的状态为q_t+1，则有公式(2)：q_t+1＝δ(q_t,σ_t)(2)，即情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。

作为上述方案的进一步改进，在步骤(3.3)中，在有限状态自动机模型中，状态转换函数用状态转换矩阵描述；令描述情感状态转移的矩阵有公式(3)的如下形式：

$p=\left[\begin{array}{cccc}{f}_{11}& f_{12}& ...& f_{1r}\\ f_{21}& f_{22}& ...& f_{2r}\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ f_{r1}& f_{r2}& f_{r3}& f_{rr}\end{array}\right]---\left(3\right),$ 其中0≤f_ij≤1表示从状态q_i转移到状态q_j的概率；f_ij取值根据情感库样本分析统计得到，f_ij＝p(q_j|q_i,σ_i)i＝1,2,…,n；j＝1,2,…,n。

本发明提出情感交互的有限状态自动机模型，建立了情感交互模型，应用于人机语音情感交互。与现有技术相比，本发明有益效果体现在：提出有限情感状态自动机模型，应用于人机语音情感交互，该技术可以应用于智能家电、医学辅助治疗等方面，可以为人类提供更为人性化、情感化的产品和服务。

附图说明

图1本发明较佳实施例提供的基于有限状态自动机的语音情感交互装置的结构框图。

图2是图1中语音采集模块的流程图。

图3是图1中语音情感识别模块的语音感情识别框图。

图4是图1中情感交互模块建立的情感交互模型图。

图5是图1中情感交互模块得到情感交互的状态转换图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明主要包括三个方面：语音采集、语音情感识别、语音情感交互。语音情感交互是本发明的关键技术。如图1所示，基于有限状态自动机的语音情感交互装置包括语音采集模块、语音情感识别模块以及语音情感交互模块。

每个模块的具体实施方式如下。

(1)语音采集模块

语音采集模块的流程图如图2所示。具体实施如下：在采集语音步骤中需要设置四个基本参数：第一个参数是录音源，其在Android手机中主要有四种声音来源分别是麦克风、通话、通话上行通道和通话下行通道，Android平板中能用到的组要有麦克风来源，此方法默认采用麦克风源；第二个参数是采样率，44100Hz是目前可以运行在所有设备的通用频率，当然也有其他的一些频率如22050Hz，16000Hz，11025Hz可以工作在某些设备上，此方法默认采用44100Hz；第三个参数是音频通道，音频通道有单通道和立体声两种，其中单通道可以运行在所有的Android设备上，此方法默认采用单声道；第四个参数是音频数据格式，采样来的数据采用PCM编码，PCM通过抽样、量化、编码三个步骤将连续变化的模拟信号转换为数字编码，采样大小16bit或者8bit，此方法采用16bit。参数设置完成后向文件写入裸数据，生成文件A。

(2)语音情感识别模块

如图3所示，本发明通过多特征融合方法提高语音情感识别结果。首先提取傅里叶参数特征、小波包系数特征和梅尔倒谱频率特征，然后构建不同分类器模型。针对本发明提取的不同特征参数，经过特征选择后找出每种特征参数的最优特征子集，构建情感识别模型，然后采取相应策略构建多特征多模型融合的识别模型。将(1)采集的语音信号经过语音情感识别模块进行识别，获得情感类型。

(3)情感交互模块

情感是认知的基础，对外界刺激做出最基本的、快速的智能反应。情感通过情感的载体(人、计算机等)进行情感的交互。从工程的角度出发，建立情感交互模型，当情感载体在进行情感交互时，该模型能够再现情感的动态变化。本模块包括有限状态自动机模型的构建模块、情感交互状态转换表的建立模块和转换矩阵模块的确定三个部分。

①有限状态自动机模型的构建模块

本模块构建有限状态机情感交互模型，采用有限状态机描述语音情感状态及其转换过程。确定性的有限状态机M是一个五元组,如式(1)所示：

M＝(Q，Σ，δ，q₀,F)(1)

其中，Q是指有限状态集合，Q＝{q_1,q₂,…,q_n}；Σ是指系统能接收的所有事件的集合，Σ＝{σ_1,σ₂,…,σ_n}；δ是指状态转移函数，δ：Q×Σ→Q；q₀是指初始状态，q₀∈Q；F是终止状态，

②情感交互状态转换表的建立模块

本模块实现情感交互模型的建立，包括两个方面：A有限状态自动机转换函数的定义、B有限状态自动机转换函数的确定。

A有限状态自动机转换函数的定义

假设情感状态集中包含4种情感状态。根据有限状态自动机模型，建立的情感交互如图4所示，其中q₀代表个体的初始情感状态，σ_i表示输入的状态，即个体接收的事件，σ_i∈Σ，本系统中表示机器反馈的情感状态。其含义是根据当前的情感状态和输入状态，个体的情感状态发生改变。

情感交互的过程如下：令状态机在时间t的状态为q_t，条件反馈状态为σ_t，在离散时间内，情感交互模型下一时刻的状态为q_t+1，则有：

q_t+1＝δ(q_t,σ_t)(2)

即情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。

B有限状态自动机转换函数的确定

在语音情感识别系统中包含4种情感状态，故以状态集中的4种情感为例，情感状态集合定义为{H,S,A,N}，其中H是指高兴，S是指伤心,A是指生气,N是指平静。状态转换表如表1所示，表中行表示当前的情感状态，列表示状态机的机器情感的反馈，状态转换表取值表示状态机在时间t+1的状态。

表1：状态转换表

根据情感载体的个性差异，情感交互的结果也有所不同，本发明中情感交互时的转换依据是根据情感库样本分析统计得到，其分析结果如表1所示。例如，初始情感状态为生气时，机器反馈的情感状态为高兴，对于不同的个性载体，情感变化也是不同的。可表现为高兴、生气、平和或悲伤，其他情感状况也是如此。针对本系统的情况考虑，设置的状态转换表如表1所示。

③转换矩阵模块

转换矩阵模块实现状态转换矩阵的确定。在有限状态自动机模型中，状态转换函数可以用状态转换矩阵描述。令描述情感状态转移的矩阵F有公式(3)的如下形式：

$p=\left[\begin{array}{cccc}{f}_{11}& f_{12}& ...& f_{1r}\\ f_{21}& f_{22}& ...& f_{2r}\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ f_{r1}& f_{r2}& f_{r3}& f_{rr}\end{array}\right]---\left(3\right)$

其中0≤f_ij≤1表示从状态q_i转移到状态q_j的概率。

f_ij＝p(q_j|q_i,σ_i)i＝1,2,…,n；j＝1,2,…,n。

本系统中f_ij取值根据情感库样本分析统计得到，其取值如表2所示。

表2：状态转换矩阵

	H	S	A	N
					H	0.40816328	0.020408163	0.008746356	0.5626822
S	0.045698926	0.48924732	0.28225806	0.1827957
					A	0.016587678	0.4028436	0.45734596	0.123222746
N	0.1590909	0.19444445	0.045454547	0.6010101

情感状态机的状态转换图的确定，根据状态转换矩阵的确定，即可得到情感交互的状态转换图，如图5所示。根据情感交互模型，当有语音情感状态输入时，机器首先识别出情感信息，然后选择不同的情感反馈，分别做出不同的情感交互，如检测出是伤心的情感，可以随机抽取一个笑话给用户听，播放一个搞笑动画等等诸如此类的交互方式。

本发明是一种基于Android客户端语音情感交互方法，在本发明中，首先要检测Android客户端的运行环境或状态参数，如SD卡是否存在数据网络或WIFI是否开启，若条件满足则可进行情感识别。随后Android客户端主要是采集原始语音，并进行抽样、量化、编码形成一个标准的音频文件，通过网络将音频文件传送到服务器进行复杂的数据分析，并能接收服务器返回的分析结果，并对分析结果进行相应的处理，最终得到情感分析结果，将情感分析结果通话UI反馈给用户。

以上内容是结合具体的附图对本发明所作的详细说明，不能认定本发明具体实施仅限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单替换和变更，都应当视为属于本发明由所提交的权利要求书确定的发明保护范围。

Claims (8)

1.一种基于有限状态自动机的语音情感交互装置，其包括：

语音采集模块，其用于设置录音源、采样率、音频通道、音频数据格式四个基本参数，参数设置完成后向原始文件写入裸数据，生成文件A；

语音情感识别模块，其用于对文件A进行语音情感识别获得情感类型；

语音情感交互模块，其用于通过情感的载体进行情感的交互；

其特征在于：

所述语音情感交互模块包括：

有限状态自动机模型的构建模块，其用于采用有限状态机描述语音情感状态及其转换过程；

情感交互状态转换表的建立模块，其用于有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；

转换矩阵模块，其用于在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。

2.如权利要求1所述的基于有限状态自动机的语音情感交互装置，其特征在于：针对构建模块，确定性的有限状态机M是一个五元组，如式(1)所示：

M＝(Q，Σ，δ，q₀,F)(1)；

其中，Q是指有限状态集合，Q＝{q₁,q₂,…,q_n}；Σ是指系统能接收的所有事件的集合，Σ＝{σ₁,σ₂,…,σ_n}；δ是指状态转移函数，δ：Q×Σ→Q；q₀是指初始状态，q₀∈Q；F是终止状态，

3.如权利要求1所述的基于有限状态自动机的语音情感交互装置，其特征在于：针对建立模块，情感交互的过程如下：令状态机在时间t的状态为q_t，条件反馈状态为σ_t，在离散时间内，情感交互模型下一时刻的状态为q_t+1，则有公式(2)：q_t+1＝δ(q_t,σ_t)(2)，即情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。

4.如权利要求1所述的基于有限状态自动机的语音情感交互装置，其特征在于：针对转换矩阵模块，在有限状态自动机模型中，状态转换函数用状态转换矩阵描述；令描述情感状态转移的矩阵有公式(3)的如下形式：

$p=\left[\begin{array}{cccc}{f}_{11}& f_{12}& ...& f_{1r}\\ f_{21}& f_{22}& ...& f_{2r}\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ f_{r1}& f_{r2}& f_{r3}& f_{rr}\end{array}\right]---\left(3\right),$ 其中0≤f_ij≤1表示从状态q_i转移到状态q_j的概率；f_ij取值根据情感库样本分析统计得到，f_ij＝p(q_j|q_i,σ_i)i＝1,2,…,n；j＝1,2,…,n。

5.一种基于有限状态自动机的语音情感交互方法，其包括以下步骤：

(1)设置录音源、采样率、音频通道、音频数据格式四个基本参数，参数设置完成后向原始文件写入裸数据，生成文件A；

(2)对文件A进行语音情感识别获得情感类型；

(3)通过情感的载体进行情感的交互；

其特征在于：

步骤(3)包括以下步骤：

(3.1)采用有限状态机描述语音情感状态及其转换过程；

(3.2)有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；

(3.3)在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。

6.如权利要求5所述的基于有限状态自动机的语音情感交互方法，其特征在于：在步骤(3.1)中，确定性的有限状态机M是一个五元组，如公式(1)所示：M＝(Q，Σ，δ，q₀,F)(1)；其中，Q是指有限状态集合，Q＝{q₁,q₂,…,q_n}；Σ是指系统能接收的所有事件的集合，Σ＝{σ₁,σ₂,…,σ_n}；δ是指状态转移函数，δ：Q×Σ→Q；q₀是指初始状态，q₀∈Q；F是终止状态，

7.如权利要求5所述的基于有限状态自动机的语音情感交互方法，其特征在于：在步骤(3.2)中，情感交互的过程如下：令状态机在时间t的状态为q_t，条件反馈状态为σ_t，在离散时间内，情感交互模型下一时刻的状态为q_t+1，则有公式(2)：q_t+1＝δ(q_t,σ_t)(2)，即情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。

8.如权利要求5所述的基于有限状态自动机的语音情感交互方法，其特征在于：在步骤(3.3)中，在有限状态自动机模型中，状态转换函数用状态转换矩阵描述；令描述情感状态转移的矩阵有公式(3)的如下形式：

$p=\left[\begin{array}{cccc}{f}_{11}& f_{12}& ...& f_{1r}\\ f_{21}& f_{22}& ...& f_{2r}\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ f_{r1}& f_{r2}& f_{r3}& f_{rr}\end{array}\right]---\left(3\right),$ 其中0≤f_ij≤1表示从状态q_i转移到状态q_j的概率；f_ij取值根据情感库样本分析统计得到，f_ij＝p(q_j|q_i,σ_i)i＝1,2,…,n；j＝1,2,…,n。