CN1534597A - 利用具有转换状态空间模型的变化推理的语音识别方法 - Google Patents

Abstract

本发明公开了开发出的一种方法，其包括1)定义对于连续有价值的隐藏相关生成式参数和观测语音音质的转换状态空间模型，以及2)根据观测的输入值序列，近似提供隐藏相关生成式参数的序列和语音单元序列的似然性的后验概率。在近似后验概率中，语音单元的边界是不固定的，但是是可以被最优确定的。在一个实施例中，使用了高斯近似混合。在另一个实施例中，使用了HMM后验概率。

Description

利用具有转换状态空间模型的 变化推理的语音识别方法

背景技术

本发明涉及模式识别，尤其涉及语音识别。

模式识别系统，例如语音识别系统，接收输入信号并且将信号解码以发现信号所代表的模式。例如在语音识别系统中，语音信号(经常称为测试信号)通过识别系统接收并且将其解码以识别由语音信号代表的字符串。

很多语音识别系统利用隐藏马尔可夫模型，在该隐藏马尔可夫模型中，也可以称为声学单元或者语言单元的语音单元是通过单层连接的状态表示的。利用训练信号，来确定每个语音单元的占用状态和在状态之间跃迁的概率分布。为了对语音信号解码，将信号分成帧，并且将每帧变换成特征向量。然后将特征向量比作状态的分布以识别通过帧表示的HMM状态的大部分可能序列。然后选择与那个序列对应的语音单元。

虽然基于HMM的识别系统在执行很多相对简单的语音识别任务时非常好，但是它们不能直接做语音的一些重要的动态元素的模型(并且众所周知很难执行象对话式语音一样的困难的任务)。因此，它们不能适应用于训练的语音信号和已经解码的语音信号之间的动态发音的差别。

例如，在临时的说话的调整中，说话者趋向于次清晰发音或者趋向于比他们的语音的清晰发音差。这就意味着在重新定向到下一个目标之前，用户的语音清晰度的递归定义轨道可能达不到想要的目标。由于训练信号是代表性地利用“读取”语音式样形成的，在语音式样中说话者提供比在次清晰的语音中更充分清晰的语音资料，因此次清晰语音不能与训练的HMM状态匹配。结果，识别器对临时语音提供的识别结果少于理想的识别结果。

对于过度清晰的语音来说存在相似的问题。在过度清晰的语音中，说话者尽极大的努力使与他们的语音不同的声音可识别。这种极大的努力能够包括改变某些语音单元的声音以致它们能够从相似的发声语音单元中区分出来，较长时间的保持某些语音单元的发声，或者在声音之间比较突然地进行跃迁，以致可以察觉出每个声音相对于相邻的声音来说是独特的。这些过程中的每一个使得利用HMM系统识别语音更加困难，因为每个技术导致语音信号的一组特征向量经常不能很好的与存在于训练数据中的特征向量相匹配。

即使对应于次清晰或者过度清晰的语音的特征向量匹配于在训练数据中的那些特征向量(获得其可能是非常昂贵的)，由于对于HMM系统增加的语音的混淆导致通常的HMM技术仍然不能很好的执行，这里在HMM系统中没有考虑由次清晰或者过度清晰度引起的特征向量轨道变化的主要原因。这个问题将通过本发明明确的提出。

HMM系统处理人们说话速度的变化时也是比较困难的。因此，如果某人以比训练信号较慢或者较快的速度说话，那么HMM系统将对语音信号进行错误的解码。

已经提出了HMM系统的替代物。特别的，提出可以直接将语音信号的统计定义轨道或者相关生成式参数的性能建模。由于不能直接测量相关生成式值，因此这些模型称为隐藏动态模型(HDM)。隐藏动态模型是通常所说的转换状态空间模型的一类模型的一个例子，其在一个或者多个在前的帧和一个或者多个恒定选择的帧中的参数值的基础上对当前帧的参数值建摸。

HDMs的一个问题是它们难于训练，因为象预期最大化算法的通常的训练算法对于HDMs来说是难处理的。这主要是因为为了在给定输入值序列时获得适于隐藏参数序列的后验概率，必须在所有可能的语音单元序列的之中合计隐藏参数和可能的语音单元的组合的概率这个事实。这将导致计算量随着输入值的每一个附加帧而成指数规律地增加。

为了克服这个问题，在先技术的一些系统在训练期间假设语音单元的固定序列。定义这个序列的语音单元之间的边界是通过利用在训练HDM之前的HMM训练设置的。这与在隐藏动态模型中的其它参数相比在理论上并不是最优的，因为语音单元的边界参数是根据不同的标准确定的。

因此，需要训练系统在克服与这种训练相关联的难处理性质的时候允许边界与隐藏动态模型的其它参数一起训练。

发明概述

一种方法，其包括定义隐藏相关生成式参数的转换状态空间模型并且近似提供隐藏相关生成式参数的序列和基于输入值的语音单元序列的似然性的后验概率。在近似后验概率中，并不确定语音单元的边界。在第一个实施例中，使用高斯近似混合。在另一个实施例中，使用HMM后验近似。

附图的简要说明

图1是一个计算环境的框图，在该计算环境中可以实现本发明。

图2是可供选择的计算环境的框图，在该计算环境中可以实现本发明。

图3是在本发明的一个实施例中的语音识别系统的框图。

实施例的详细说明

图1说明了适合执行本发明的计算系统环境100的例子。该计算系统环境100仅仅是适合的计算环境的一个例子并不对本发明的使用或者功能的范围提出任何限定。计算环境100也不作为具有在典型的操作环境100中说明的元件的任一个或者组合的相关性或者需求的解释。

本发明可以运行在大量其它的通用、专用计算系统环境或者结构中。适合与本发明一起使用的公知的计算系统、环境和/或结构的例子包括，但是并不限制于，个人计算机、服务器计算机、手提式的或者膝上型装置、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、电话系统、包括上述系统或者装置的任何一个的分布式计算环境等等。

本发明可以在象由计算机执行的程序模块的计算机可执行指令的普通环境中得到说明。通常，程序模块包括执行特定任务或者实现特定抽象数据类型的例行程序、程序、对象、组件、数据结构等等。将本发明设计成可以在分布式计算环境中实现，在该分布计算环境中任务可以通过远程处理装置来执行，该远程处理装置是通过通信网络连接的。在分布式计算环境中，将程序模块定位在包括记忆体存储器的本地和远程计算存储介质两者中。

参照附图1，用来实现本发明的示范系统包括计算机110形式的通用计算装置。计算机110的组件可以包括，但是并不限制于，处理单元120、系统存储器130以及用于将包括系统存储器的不同的系统组件与处理单元120连接的系统总线121。系统总线121可以是包括存储器总线或者存储控制器、外围总线和利用多种总线结构的任何一个的局域总线的多种类型中的任何一种。作为举例，但是并不作为限制，这种结构包括工业标准结构(ISA)总线、微通道结构(MCA)总线、增强的ISA(EISA)总线、视频电子标准协会(VESA)局域总线，以及也称作夹层(Mezzanine)总线的外设部件互连(PCI)总线。

计算机110典型地包括多种计算机可读介质。计算机可读介质能够是可以通过计算机110访问的任何可用的介质，并且其包括易失性和非易失性介质、可拆装和不可拆装性介质。作为举例，但是并不限制于该例子，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括在用于例如计算机可读指令、数据结构、程序模块或者其它数据的信息的存储的方法和技术中的易失性的和非易失性的、可拆装的和不可拆装的介质。计算机存储介质包括，但是并不限制于，RAM、ROM、EEPROM、闪存或者其它存储器技术、CD-ROM、数字化通用光盘(DVD)或者其它的光盘存储器、磁带盒、磁带、磁盘存储器或者其它的磁存储装置、或者用于存储期望信息的并且可以通过计算机110访问的任何其它介质。通信介质一般包含计算机可读指令、数据结构、程序模块或者在已调数据信号例如载波或者其它传送机构中的其它数据，并且该通信介质包括任何信息传输介质。术语“已调数据信号”的意思是具有一个或者多个特征集的信号，或者是以关于在信号中的编码信息的方式改变的信号。作为举例，但是并不限制于，通信介质包括象有线网或者直接有线连接的有线介质，以及象声学、RF、红外以及其它的无线介质。上述的任何的组合也可以包括在计算机可读介质的范围内。

系统存储器130包括以象只读存储器(ROM)131和随机存储器(RAM)132的易失性的和/或非易失性存储器的形式存在的计算机存储介质。例如在启动期间，包括帮助在计算机110中的元件之间传输信息的基本例程的基本输入/输出系统133(BIOS)被典型地存储在ROM131中。RAM132典型地包括：立即可存取的和/或不久就可以通过处理单元120操作的数据和/或程序模块。作为举例，但是并不限于，图1说明操作系统134、应用程序135、其它的应用程序模块136以及程序数据137。

计算机110也可以包括其它的可拆装/不可拆装、易失性/非易失性计算机存储介质。仅仅作为举例，图1说明了从不可拆装、非易失性磁介质中读出或者写入到其中的硬盘驱动器141，从可拆装、非易失性磁盘152中读出或者写入到其中的磁盘驱动器151，以及用于从例如CDROM或者其它光介质的可拆装、非易失性光盘156中读出或者写入其中的光盘驱动器155。其它可以用在典型的操作环境中的可拆装/不可拆装、易失性/非易失性计算机存储介质包括，但是并不限于，盒式磁带、快速存储卡、数字通用盘、数字录像磁带、固态RAM、固态ROM等等。硬盘驱动器141典型地通过象接口140的不可拆装存储器接口与系统总线121连接，并且磁盘驱动器151和光盘驱动器155典型地通过可拆装存储器接口，例如接口150与系统总线121连接。

上述和在图1中说明的驱动器和与之相关的计算机存储介质提供计算机可读指令、数据结构、程序模块和用于计算机的其它数据的存储。在图1中，例如，硬盘驱动器141是作为存储操作系统144、应用程序145、其它的程序模块146和程序数据147来说明的。注意这些组件能够与操作系统134、应用程序135、其它程序模块136和程序数据137相同或者不同。操作系统144、应用程序145、其它程序模块146和程序数据147在这里给出不同的编号最低限度的说明，它们是不同的副本。

用户可以通过象键盘162、麦克风163和象鼠标、轨迹球或者接触垫的点击设备161将命令和信息输入到计算机110中。其它的输入装置(没有示出)可以包括操纵杆、游戏垫、碟形卫星天线(satellite dish)、扫描器等等。这些或者其它输入装置经常通过与系统总线耦合的用户输入接口160与处理单元120连接，但是也可以通过其它的接口和总线结构，例如并行端口、博弈端口或者通用串行总线(USB)的总线结构连接。监视器191或者其它类型的显示装置也通过例如视频接口190的接口与系统总线121连接。除监视器之外，计算机也可以包括象扬声器197和打印机196的外围输出设备，其可以通过输出外围接口195连接。

计算机110可以利用与一个或者多个远程计算机例如远程计算机180的逻辑连接在网络环境中进行操作。该远程计算机180可以是个人计算机、手提装置、服务器、路由器、网络PC、对等设备或者其它的公用网络结点，并且典型地包括很多或者所有的上面描述的涉及计算机110的元件。在图1中描绘的逻辑连接包括局域网(LAN)171和广域网络(WAN)173，但是也可以包括其它的网络。这种网络环境在办公室、企业广域计算机网络(enterprise-wide computer networks)、企业内部网络和国际互联网中是很常见的。

当计算机110用在LAN网络环境中的时候，它通过网络接口或者适配器170与LAN171连接。当在WAN网络环境中使用的时候，计算机110典型地包括调制解调器172或者其它的用于在WAN173例如国际互联网上建立通信的装置。可以内置或者外置的调制解调器172可以通过用户输入接口160或者其它的适当的机构将其与系统总线121连接。在网络环境中，描绘相关计算机110或者其部分的程序模块可以存储在远程存储装置中。作为举例，但不限于，图1说明远程应用程序185是驻留于远程计算机180上的。可以理解显示的网络连接是例证式的，并且可以使用在计算机之间建立通信链接的其它装置。

图2是移动装置200的框图，该移动装置是典型的计算环境。移动装置200包括微处理器202、存储器204、输入/输出(I/O)组件206以及用于与远程计算机或者其它移动装置通信的通信接口208。在一个实施例中，上述组件彼此之间通过相配的总线210进行用于通信的连接。

存储器204是作为带有备用电池模块(没有示出)的象随机存储器(RAM)的非易失的电子存储器实现的，因此当移动装置的总电源关闭的时候，存储在存储器204中的信息不会丢失。存储器204的一部分最好配置为存放用于程序执行的可寻址存储器，而存储器204的另外一个部分最好用于存储，例如在硬盘驱动器上模拟存储。

存储器204包括操作系统212、应用程序214以及对象存储器216。在操作期间，操作系统212最好通过来自存储器204的处理器202执行。在一个较佳实施例中，操作系统212是来自微软公司的在商业上可用的WINDOWS CE版号的操作系统。操作系统212最好设计成用于移动装置并且通过一组陈列的应用程序接口和方法来执行能够通过应用程序214利用的数据库功能部件。在对象存储器216中的对象是通过应用程序214和操作系统212维护的，至少局部响应对陈列的应用程序接口和方法的调用。

通信接口208代表允许移动装置200发送和接收信息的很多装置和技术。仅举例来说，该装置包括有线和无线调制解调器、卫星接收器和广播调谐器。移动装置200也能够直接与计算机相连接以与之交换数据。在这种情况下，通信接口208可以是红外收发器或者串行通信连接或者并行通信连接，这些都能够传输流式信息。

输入/输出组件206包括象触摸屏、按钮、滚轮以及麦克风的多种输入装置，以及包括声频发生器、振动装置和显示器的多种输出装置。上面列出的装置是示例并且在移动装置200中并不需要存在所有的这些装置。此外，在本发明的范围内，其它输入/输出装置可以附加到移动装置200中或者与移动装置200一起存在。

本发明提供语音的再生模型。在这个模型中，将语音描绘成说话者尝试的输出，以根据语音执行语音单元序列对语言的定义(definition)。在这个尝试期间，说话者产生相关生成式值，该相关生成式值服从对于与当前语音单元相关联的目标的统计定义轨道(利用具有递归噪音的状态空间模式)。在本发明的实施例中，这个轨道是作为转换状态空间模型被建摸的。

本发明的模型是隐藏轨道模型的特定形式，在隐藏轨道模型中，该轨道是随着加到每帧中的噪音而递归定义的。这个状态空间模型包括两层，描述隐藏相关生成式参数(例如声道谐振频率)的动态或者轨道模型组件、以及将相关生成式参数翻译成象唛耳频率倒频谱系数(Mel-Frequency Cepstral Coefficients)的可观测的声学特征的映射模型组件。在状态空间模型中的状态方程预测适于相关生成式参数的连续状态值(X₁，...，X_n，...，X_N)的序列。映射模型或者观察方程在给定连续隐藏状态值序列时预测声观察向量Y_n的序列。

该递归定义轨道和映射模型能够通过两个公式简单的表示：

            x_n＝A_sx_n-1+(I-A_s)u_s+w           公式1

            y_n＝C_sx_n+c_s+v                   公式2

其中n和s分别是帧号码和语音单元标记，X是隐藏相关生成式参数，y是声学特征向量，A_s和C_s是语音单元相依系统矩阵，u_s是语音单元相依目标，I是恒等矩阵，c_s是语音单元相依常数，并且w和v是噪声项。

在一个实施例中，公式1和2的模型根据概率分布表示为：

          p(s_n＝s|s_n-1＝s′)＝π_ss′                公式3

          p(x_n|s_n＝s，x_n-1)＝N(x_n|A_sx_n-1+a_s，B_s)    公式4

          p(y_n|s_n＝s，x_n)＝N(y_n|C_sx_n+c_s，D_s)        公式5

其中Bs和Ds是精密矩阵(协方差矩阵的逆)，其是以与噪音项w和v以及a_s＝(I-A_s)u_x相关的方差为基准的。

通常，训练公式3-5的模型参数需要迭代的两步处理。第一步骤称为推理，在这期间，计算后验分布p(s_1∶N，x_1∶N/y_1∶N)给出模型参数的初始设置。在第二步期间，称为学习或者参数估计，更新模型参数。重复这些步骤直到模型参数收敛或者达到某最大数量的迭代为止。当执行广义预期最大化训练的时候，E步骤是推理步骤并且M步骤是学习步骤。

公式3-5的模型的推理步骤不能直接执行，因为后验计算是难处理的。本发明的一个实施例通过近似利用高斯模型混合的后验分布克服了这个问题。本发明的另一个实施例通过近似利用HMM后验的后验分布克服了这个问题。利用这种近似和变化的计算，使估计后验概率是可能的。下面将分别讨论每个近似。

高斯混合

在本发明的高斯混合的实施例中，后验概率p(S_1∶N，x_1∶N/y_1∶N)是作为q(s_1∶N，x_1∶N/y_1∶N)近似的，其定义为：

$q(s_{1:N},x_{1:N}|y_{1:N})=\underset{n=1:N}{\mathrm{\Π}}q\left(x_n\right|s_n,y_{1:N})q\left(s_n\right|y_{1:N})$ 公式6

其中q()表示概率。注意在公式6的近似中，在帧n上相关生成式值的概率是不依赖于在其它时间帧期间的相关生成式参数的值的，并且仅仅取决于在帧n上的语音单元的值并且不取决于其它帧的语音单元的值。这样就大大的减小了为了计算近似而完成的计算量。

通过最小化在近似和实际后验分布之间的偏差，本发明者已经发现概率q(x_n/s_n，y_1∶N)是高斯分布的必然结果：

                 q(x_n|s_n，y_1∶N)＝N(x_n|ρ_s，n，Γ_s，n)    公式7

其中平均数ρ_s，n和协方差Γ_s，n通过下面的公式给出：

${\mathrm{\Γ}}_{s,n}=C_s^T{D}_s{C}_s+B_s+\underset{s^{\′}}{\mathrm{\Σ}}{\mathrm{\γ}}_{s^{\′},n+1}{A}_{s^{\′}}^T{B}_{s^{\′}}{A}_{s^{\′}}$ 公式8

${\mathrm{\Γ}}_{s,n}{\mathrm{\ρ}}_{s,n}=B_s(A_s\underset{s^{\′}}{\mathrm{\Σ}}{\mathrm{\γ}}_{s^{\′},n-1}{\mathrm{\ρ}}_{s^{\′},n-1}+a_s)$

$+\underset{s^{\′}}{\mathrm{\Σ}}{\mathrm{\γ}}_{s^{\′},n+1}{A}_{s^{\′}}^T{B}_{s^{\′}}({\mathrm{\ρ}}_{s^{\′},n+1}-a_{s^{\′}})$ 公式9

${+C}_s^T{D}_s(y_n-c_s)$

其中γ_s，n＝q(s_n＝s/y_1∶N)是在帧n上的语音单元的概率，并且作为下面的公式来计算：

                 logγ_s，n＝f₁+f₂+f₃    公式10

其中：

$f_1=\frac{1}{2}\left\{\log \right|\frac{D_s}{2\mathrm{\&pi;}}|-\log |\frac{{\mathrm{\&Gamma;}}_{s,n}}{2\mathrm{\&pi;}}|-<C_s^T{D}_s{C}_s,{\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T>-2{(c_s-y_n)}^T{D}_s{C}_s{\mathrm{\&rho;}}_{s,n}$

$-{(c_s-y_n)}^T{D}_s(c_s-y_n)+<{\mathrm{\&Gamma;}}_{s,n},{\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T>-{\mathrm{\&rho;}}_{s,n}^T{\mathrm{\&Gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}$

$\log \left|\frac{B_s}{2\mathrm{\&pi;}}\right|-<B_s,{\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T>+2a_s^T{B}_s{\mathrm{\&rho;}}_{s,n}-a_s^T{B}_s{a}_s\}$

公式11

$f_2=\frac{1}{2}\mathrm{\&Sigma;}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}\{-<A_s^T{B}_s{A}_s,{\mathrm{\&Gamma;}}_{s^{\&prime;},n-1}^{-1}+{\mathrm{\&rho;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T>$

$-\stackrel{s^{\&prime;}}{2}{(a_s-{\mathrm{\&rho;}}_{s,n})}^T{B}_{s^{\&prime;}}{A}_{s^{\&CenterDot;}}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}+2\log {\mathrm{\&pi;}}_{s^{\&prime;}s}\}$

公式12

$f_3=\frac{1}{2}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n+1}\left\{\log \right|\frac{B_{s^{\&prime;}}}{2\mathrm{\&pi;}}|-<A_{s^{\&prime;}}^T{B}_{s^{\&prime;}}{A}_{s^{\&prime;}},{\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T>-2{(a_{s^{\&prime;}}-{\mathrm{\&rho;}}_{s^{\&prime;},n+1})}^T{B}_{s^{\&prime;}}{A}_{s^{\&prime;}}{\mathrm{\&rho;}}_{s^{\&prime;},n}$

$-<B_{s^{\&prime;}},{\mathrm{\&Gamma;}}_{s^{\&prime;},n+1}^{-1}+{\mathrm{\&rho;}}_{s^{\&prime;},n+1}{\mathrm{\&rho;}}_{s^{\&prime;},n+1}^T>-2a_{s^{\&prime;}}^T{B}_{s^{\&prime;}}{\mathrm{\&rho;}}_{s^{\&prime;}n+1}-a_{s^{\&prime;}}^T{B}_{s^{\&prime;}}{a}_{s^{\&prime;}}+2\log {\mathrm{\&pi;}}_{s^{\&prime;}s}$

公式13

其中<>表示通过对两个相同大小的向量或者矩阵的元素方向乘积的求和获得标量。在这个发明的实践中，在训练期间，在上述公式中通过s’变量(离散状态)指示的总和项已经彻底的减小了，因为训练过程(script)是可靠的，以致能够强烈的约束可能的s序列。

在一个实施例中，推理步骤是通过适于利用公式10和ρ_s，n和Γ_s，n的在前的值的每个s，n组合的第一个决定γ_s，n执行的。由于在公式10中的γ_s，n的计算是取决于γ_s，n的，公式10是迭代估算的直到γ_s，n收敛为止。然后利用来自公式10的γ_s，n的新的值估算公式8，以产生一个Γ_s，n的更新值。然后Γ_s，n的更新值与γ_s，n一起使用以确定在公式9中的ρ_s，n。注意，公式8和9是组合的线性方程并且能够通过稀疏矩阵技术得到有效的解答。这个过程能够重复迭代以提高γ_s，n，Γ_s，n和ρ_s，n的值的精确度。

当推理步骤完成之后，γ_s，n，Γ_s，n和ρ_s，n的值用在学习步骤中，以设置模型参数Θ＝{A_1∶S，a_1∶s，B_1∶S，C_1∶S，c_1∶S，D_1∶S}的值，其是根据：

$A_s=[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right){\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n}{\mathrm{\&rho;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T]$

$[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right){\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}({\mathrm{\&Gamma;}}_{s^{\&prime;},n-1}^{-1}+{\mathrm{\&rho;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T){]}^{-1}$

公式14

$a_s=\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}-A_s\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1})$ 公式15

$B_s^{-1}=\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left\{\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\right({\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T){-[\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\underset{s^{\&prime;}}{(\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)}^T]-A_s^T-\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)a_s^T\}$

$-A_s\left[\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\right(\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}){\mathrm{\&rho;}}_{s,n}^T]+A_s[\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}({\mathrm{\&Gamma;}}_{s^{\&prime;}}^{-1}+{\mathrm{\&rho;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T)]A_s^T$

$+A_s\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)a_s^T-a_s{\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)}^T$

${+a_s[\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\left(\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)}^T]A_s^T\}+a_s{a}_s^T$

公式16

$C_s=[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right){\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{\mathrm{\&rho;}}_{s,n}^T]$

$[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right){\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}({\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T){]}^{-1}$

公式17

$C_s=\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n-C_s\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n})$

公式18

$D_s^{-1}=\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\{\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{y}_n^T-\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{\mathrm{\&rho;}}_{s,n}^T\right)C_s^T-\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right)c_s^T-C_s{\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{\mathrm{\&rho;}}_{s,n}^T\right)}^T$

$+C_s\left[\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}({\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T)\right]C_s^T+C_s\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)c_s^T-C_s{\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right)}^T$

$+c_s{\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)}^T{C}_s^T\}+c_s{c}_s^T$

公式19

推理和学习步骤可以重复很多次以完成训练。

HMM后验

在第二个实施例中，后验是利用HMM后验近似的，HMM后验定义为：

$q(s_{1:N},x_{1:N}|y_{1:N})=\stackrel{N}{\underset{n=1}{\mathrm{\&Pi;}}}q\left(x_n\right|s_n,y_{1:N})\&CenterDot;\underset{n=2}{\overset{N}{\mathrm{\&Pi;}}}q\left(s_n\right|{s_{n-1},y}_{1:N})\&CenterDot;q\left(s_1\right|y_{1:N})$ 公式20

如在高斯模型的混合中，在HMM后验模型中的概率q(x_n/s_n，y_1∶N)是具有平均值ρ_s，n和协方差矩阵Γ_s，n的高斯分布。该平均值ρ_s，n和协方差矩阵Γ_s，n是利用具有γ_s，n的新定义的上面提到的公式8和9计算的。特别地，γ_s，n是利用反向—正向(backward-forward)处理确定的，反向—正向处理也定义了后验跃迁概率η_s′x，n＝q(s_n＝s/s_n-1-s′，y_1∶N)。

反向—正向处理是通过初始化适于所有的s的值z_s，N+1＝1开始的。在反向通过(pass)期间，对于n＝N，...，2执行下面的计算：

$z_{s,n}=\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}\exp \left(f_{s{s}^{\&prime;},n}\right)z_{s^{\&prime;},n+1}$ 公式21

${\mathrm{\&eta;}}_{s{s}^{\&prime;},n}=\frac{1}{z_{s,n}}\exp \left(f_{s{s}^{\&prime;},n}\right)z_{s^{\&prime;},n+1}$ 公式22

当n＝1的时候

$z_1=\underset{s}{\mathrm{\&Sigma;}}\exp \left(f_{s,1}\right)z_{s,2}$ 公式23

${\mathrm{\&gamma;}}_{s,1}=\frac{1}{z_1}\exp \left(f_{s,1}\right)z_{s,2}$ 公式24

在正向通过期间，对n＝2，...，N执行下面的计算：

${\mathrm{\&gamma;}}_{s,n}=\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&eta;}}_{s^{\&prime;}s,n}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}$ 公式25

其中

$f_{s^{\&prime;}s,n}=\frac{1}{2}\left\{\log \right|\frac{D_s}{2\mathrm{\&pi;}}|-<C_s^T{D}_s{C}_s,{\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T>-2{(c_s-y_n)}^T{D}_s{C}_s{\mathrm{\&rho;}}_{s,n}-{(c_s-y_n)}^T{D}_s(c_s-y_n)$

$-\log \left|\frac{{\mathrm{\&Gamma;}}_{s,n}}{2\mathrm{\&pi;}}\right|+<{\mathrm{\&Gamma;}}_{s,n},{\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T>-{\mathrm{\&rho;}}_{s,n}^T{\mathrm{\&Gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}+\log \left|\frac{B_s}{2\mathrm{\&pi;}}\right|$

$-<A_s^T{B}_s{A}_s,{\mathrm{\&Gamma;}}_{s^{\&prime;}}^{-1}+{\mathrm{\&rho;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T>-2{(a_s-{\mathrm{\&rho;}}_{s,n})}^T{B}_s{A}_s{\mathrm{\&rho;}}_{s^{\&prime;},n-1}-<B_s,{\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T>$

$+2a_s^T{B}_s{\mathrm{\&rho;}}_{s,n}-a_s^T{B}_s{a}_s+2\log {\mathrm{\&pi;}}_{s^{\&prime;}s}\}$

公式26

$f_{s,1}=\frac{1}{2}\left\{\log \right|\frac{D_s}{2\mathrm{\&pi;}}|-<C_s^T{D}_s{C}_s,{\mathrm{\&Gamma;}}_{s,1}^{-1}+{\mathrm{\&rho;}}_{s,1}{\mathrm{\&rho;}}_{s,1}^T>-2{(c_s-y_1)}^T{D}_s{C}_s{\mathrm{\&rho;}}_{s,1}-{(c_s-y_1)}^T{D}_s(c_s-y_1)$

$-\log \left|\frac{{\mathrm{\&Gamma;}}_{s,1}}{2\mathrm{\&pi;}}\right|+<{\mathrm{\&Gamma;}}_{s,1},{\mathrm{\&Gamma;}}_{s,1}^{-1}+{\mathrm{\&rho;}}_{s,1}{\mathrm{\&rho;}}_{s,1}^T>-{\mathrm{\&rho;}}_{s,1}^T{\mathrm{\&Gamma;}}_{s,1}{\mathrm{\&rho;}}_{s,1}+\log \left|\frac{B_s}{2\mathrm{\&pi;}}\right|$

$-<B_s,{\mathrm{\&Gamma;}}_{s,1}^{-1}+{\mathrm{\&rho;}}_{s,1}{\mathrm{\&rho;}}_{s,1}^T>+2a_s^T{B}_s{\mathrm{\&rho;}}_{s,1}-a_s^T{B}_s{a}_s+2\log {\mathrm{\&pi;}}_0\}$

公式27

因此在推理步骤期间，首先利用公式21-27的反向—正向处理计算γ_s，n。然后利用上面提到的公式8和9以及计算出的γ_s，n计算平均值ρ_s，n和协方差Γ_s，n。在执行学习步骤之前，能够重复这些步骤使得γ_s，n、ρ_s，n和Γ_s，n的值能够达到稳定值。

当推理步骤完成之后，利用下面的公式，能够执行学习步骤以设置模型参数的值Θ＝{A_1∶S，a_1∶s，B_1∶S，C_1∶s，c_1∶S，D_1∶s}：

$A_s=[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right){\left(\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{{\mathrm{\&eta;}}_{s^{\&prime;}s,n}\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&rho;}}_{s,n}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&eta;}}_{s^{\&prime;}s,n}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T]$

$[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&eta;}}_{s^{\&prime;}s,n}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right){\left(\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{{\mathrm{\&eta;}}_{s^{\&prime;}s,n}\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{{\mathrm{\&eta;}}_{s^{\&prime;}s,n}\mathrm{\&gamma;}}_{s^{\&prime;},n-1}({\mathrm{\&Gamma;}}_{s^{\&prime;},n-1}^{-1}+{\mathrm{\&rho;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T){]}^{-1}$

公式28

$a_s=\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}-A_s\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{{\mathrm{\&eta;}}_{s^{\&prime;}s,n}\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1})$

公式29

$N{B}_s^{-1}=\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}({\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T)-\left[\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&rho;}}_{s,n}\left(\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&eta;}}_{s^{\&prime;}s,n}{\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T\right)\right]A_s^T-\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)a_s^T$

$-A_s\left[\underset{n}{\mathrm{\&Sigma;}}\right(\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{{\mathrm{\&eta;}}_{s^{\&prime;}s,n}\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}){\mathrm{\&rho;}}_{s,n}^T]+A_s[\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{{\mathrm{\&eta;}}_{s^{\&prime;}s,n}\mathrm{\&gamma;}}_{s^{\&prime;},n-1}({\mathrm{\&Gamma;}}_{s^{\&prime;}}^{-1}+{\mathrm{\&rho;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T)]A_s^T$

$+A_s\left(\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{{\mathrm{\&eta;}}_{s^{\&prime;}s,n}\mathrm{\&gamma;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}\right)a_s^T-a_s\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T+a_s{\left(\underset{n}{\mathrm{\&Sigma;}}\underset{s^{\&prime;}}{\mathrm{\&Sigma;}}{\mathrm{\&eta;}}_{s^{\&prime;}s,n}{\mathrm{\&gamma;}}_{s,n}-1{\mathrm{\&rho;}}_{s^{\&prime;},n}\right)}^T{A}_s^T$

$+\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\right)a_s{a}_s^T$

公式30

$C_s=[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right){\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{\mathrm{\&rho;}}_{s,n}^T]$

$[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right){\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)}^T-\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}({\mathrm{\&Gamma;}}_{s^{\&prime;},n-1}^T+{\mathrm{\&rho;}}_{s^{\&prime;},n-1}{\mathrm{\&rho;}}_{s^{\&prime;},n-1}^T){]}^{-1}$

公式31

$C_s=[\frac{1}{{\mathrm{\&Sigma;}}_n{\mathrm{\&gamma;}}_{s,n}}\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right)-C_s\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}]$

公式32

$N{D}_s^{-1}=\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{y}_n^T-\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{\mathrm{\&rho;}}_{s,n}^T\right)C_s^T-\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right)c_s^T-C_s{\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n{\mathrm{\&rho;}}_{s,n}^T\right)}^T$

$+C_s\left[\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}({\mathrm{\&Gamma;}}_{s,n}^{-1}+{\mathrm{\&rho;}}_{s,n}{\mathrm{\&rho;}}_{s,n}^T)\right]C_s^T+C_s\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)c_s^T-C_s{\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{y}_n\right)}^T$

$+c_s{\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}\right)}^T{C}_s^T+\left(\underset{n}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}\right)c_s{c}_s^T$

公式33

训练精化

如那些本领域技术人员认识到的，如果适于模型参数的初始值接近于通过训练识别的值，那么象上面讨论的那些高斯混合和HMM后验模型的重复局部最优化训练算法将能够比较好的执行。在本发明的一些实施例中，关于相关生成式参数的目标参数a_s是在手工标记(hand-labeled)的相关生成式值的基础上设置的。在一个特定的实施例中，相关生成式值是声道共振(VTR)，目标是在来自说话者获取的手工标记的VTR数据的基础上初始化的。

因为音素边界在上述进行的近似中是不确定的，因此音素跃迁能够在每一帧中出现。对于自然语音来说，每个音素存在某个最短持续时间以致跃迁在每一帧上是不被允许的。为了解决这个问题，本发明的实施例利用了一串随时间变化的跃迁矩阵，该跃迁矩阵将适于跃迁的概率提供给在每一帧上的其它音素。矩阵是通过修改通过HMM训练识别的语音单元边界而建立的。对边界的修改涉及将来自出现在两帧之间的强固定边界的每个边界转换成在许多帧上延伸的概率边界。在强固定边界中，适于每个语音单元的ρ_s，n的值可以是表示对于帧的语音单元的百分之百概率的1，或者是表示对于帧的语音单元的零百分比概率的0。在修改的边界中，ρ_s，n的值能够是在0和1之间的任何一个值。

例如，如果HMM预测在语音单元s₁和语音单元s₂之间的固定边界，那么在一个实施例中，对于在固定边界之前的三帧和固定边界之后的三帧的语音单元s₁和语音单元s₂的概率将被设置成0.5。在另一个实施例中，穿过围绕固定边界的帧的语音单元s₁和语音单元s₂的概率逐渐改变。例如穿过相应帧的语音单元s₁的概率可以是[1，0.8，0.6，0.5，0.4，0.2，0]，而穿过相同的帧的语音单元s₂的概率将是[0，0.2，0.4，0.5，0.6，0.8，0]。注意对于帧或者其相邻帧的没有预测的语音单元具有零概率。

注意在边界的每一侧的帧的数目可以不同于三，并且能够取决于由HMM训练设置的每个语音单元的中点。

隐藏生成式参数恢复(recovery)

如上面提到的一样，本发明的模型所根据的相关生成式参数被隐藏并且该相关生成式参数是不能直接测量的。然而，为了判断系统的性能并且为了收集在隐藏相关生成式参数上的数据，例如声音共振轨迹(vocal resonance tracks)，需要恢复隐藏相关生成式参数的值。

在本发明中，一旦γ_s，n和ρ_s，n的值利用上述的高斯近似混合或者HMM后验近似已经训练完成，那么做到这点是很容易的。一旦那些值是已知的，隐藏相关生成式参数是简单的：

${\hat{x}}_n=\underset{s}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_{s,n}{\mathrm{\&rho;}}_{s,n}$ 公式34

语音识别

当模型参数已经利用上面讨论的一个近似得到训练之后，模型参数和近似能够用于执行语音识别。在给定表示语音信号的观测特征向量的序列时，这涉及到识别大多数可能的语音单元序列，例如音素。

对于高斯近似混合来说，语音识别能够通过简单的测定基于观测特征向量和训练出的模型参数Θ＝{A_1∶S，a_1∶s，B_1∶S，C_1∶s，c_1∶s，D_1∶S}的γ_s，n、Γ_s，n和ρ_s，n来执行。然后选择在帧n上的具有最大γ_s，n的语音单元s作为适于帧n的语音单元。

为了避免非自然语音单元转换，能够用跃迁矩阵扩充这个识别系统，其将最小持续时间约束增加到语音单元中。因此在跃迁矩阵中，在语音单元之间的每个跃迁具有联合概率，至少对于每个语音单元的一些最小数量的帧来说，保留在语音单元中的概率高于跃迁到另一个语音单元的概率。为了利用这个跃迁矩阵执行语音识别，可以使用维特比译码器，该译码器在给定跃迁概率和γ_s，n概率时，通过可能的语音单元识别大部分可能路径。

对于HMM后验近似来说，语音识别是通过确定基于观测特征向量和训练出的模型参数Θ＝{A_1∶S，a_1∶S，B_1∶S，C_1∶S，c_1∶S，D_1∶S}的γ_s，n、η_ss′n、Γ_s，n和ρ_s，n来执行的。然后在维特比译码中使用第一帧的语音单元概率γ_s，1和跃迁概率η_ss′，n以识别语音单元s的大部分可能序列。对公式而言，维特比译码器根据下面的公式得出最大路径得分(score)V_N：

              V₁(s)＝γ_s，1          公式35

$V_n\left(s^{\&prime;}\right)=\underset{1\&le;s\&le;S}{\max }\left[V_{n-1}\left(s\right){\mathrm{\&eta;}}_{s{s}^{\&prime;},n}\right]$ 公式36

当用高斯近似混合的时候，能够将持续时间约束加到通过修改跃迁概率解码的HMM后验中，以增加与跃迁到其它语音单元中的似然性有关的保留在语音单元中的似然性。

图3提供了语音识别系统的框图，在该语音识别系统中能够使用本发明。在图3中，可以是训练者或者用户的说话者300将发言输入到麦克风304中。麦克风304也接收来自一个或者多个噪声源302的添加性噪声。将通过麦克风检测的音频信号转换为电信号，再将该电信号提供给模拟—数字转换器306。

模-数转换器306将来自麦克风304的模拟信号转换成一串数字值。在几个实施例中，模-数转换器306以16KHz采样模拟信号并且每个样本是16位，因此每秒钟产生32KB语音数据。将这些数字值提供给帧构造器307，该帧构造器在一个实施例中将值分组成10毫秒间隔启动的25毫秒帧。

通过帧构造器307产生的数据帧提供给特征抽取器308，该特征抽取器从每帧中抽取特征。特征抽取模块的范例包括用于执行线性预测编码(LPC)的模块，LPC导出倒频谱、感知线性预测(PLP)、听觉模型特征抽取以及唛耳频率倒频谱系数(MFCC)特征抽取。注意本发明并不限于这些特征抽取模块，并且其它的模块可以用在本发明的范围内。

如果输入信号是训练信号，那么将该系列特征向量提供给训练器324，该训练器使用特征向量和训练文本326训练本发明的再生模型328。例如可以使用上述的EM训练算法训练再生模型参数Θ＝{A_1∶S，a_1∶S，B_1∶S，C_1∶s，c_1∶s，D_1∶S}。如上面所述，为了训练再生模型328，训练器324训练近似模型327，例如上述的高斯近似混合或者HMM后验近似。

如上所述，重复EM训练算法。在这种情况下，当训练近似模型327的时候训练器324访问再生模型328，并且当训练再生模型328的时候，训练器324访问近似模型327。

一旦已经训练完再生模型328，就将输入语音信号转换成观测特征向量流。将这些向量提供给训练器324，训练器324以观测向量和再生模型328的参数为基础为近似模型327设置模型参数。然后解码器312在特征向量流、词典314、语言模型316、近似模型327和再生模型328的基础上识别词的大部分可能序列。在一个实施例中，词典314定义了有限状态网络，通过解码器312穿过有限状态网络以识别来自特征向量的序列。注意如上面所述，关于上面作为跃迁矩阵的这个网络可以包括组成词的语音单元的持续时间约束。

将大多数可能的假设词序列提供给置信量度模块320。置信量度模块320部分地以第二声音模块(没有示出)为基础识别通过语音识别器错误识别的大部分可能词。然后置信量度模块320将假设词的序列连同指示哪些词已经被错误的识别的标识符一起提供给输出模块322。那些本领域技术人员能够认识到置信量度模块320对于本发明的实践来说不是必须的。

虽然已经参考特定实施例对本发明进行了叙述，但是本领域的技术人员在不脱离本发明的精神和范围的情况下，可以在形式上和细节上对本发明进行变换。

Claims (26)

1.一种估计转换状态空间模型的后验概率的方法，该后验概率根据与帧序列联系在一起的输入值提供语音单元组和帧序列的隐藏参数组的似然性，其特征在于，所述方法包括：

通过将单个隐藏参数概率乘到一起形成隐藏参数概率的乘积的方法部分地近似后验概率，其中每个单个隐藏参数概率，在给定帧的语音单元和给定适于帧序列的输入值的帧时，提供隐藏参数的概率；并且

调整定义隐藏参数概率的参数，使隐藏参数概率提供后验概率的较好的近似。

2.如权利要求1所述的方法，其特征在于，所述近似后验概率进一步包括用语音单元概率的乘积乘以隐藏参数概率的乘积，其中每个语音单元概率为一帧提供语音单元的概率。

3.如权利要求2所述的方法，其特征在于，所述方法进一步包括调整语音单元概率，使语音单元概率提供较好的后验概率的近似。

4.如权利要求2所述的方法，其特征在于，所述方法进一步包括利用后验概率的近似解码输入值，以识别帧序列的语音单元序列。

5.如权利要求4所述的方法，其特征在于，所述利用的近似包括：为每一帧选择语音单元是选择该帧的具有最高语音单元概率的语音单元。

6.如权利要求4所述的方法，其特征在于，所述利用的近似包括：将持续时间约束应用到语音单元中，并且根据持续时间约束和语音单元概率选择最好的语音单元序列。

7.如权利要求1所述的方法，其特征在于，所述近似后验概率进一步包括用语音单元跃迁概率的乘积乘以隐藏参数概率的乘积，其中每个语音单元跃迁概率在给定另一帧中语音单元时，提供一帧中的语音单元的概率。

8.如权利要求7所述的方法，其特征在于，所述方法进一步包括调整语音单元跃迁概率，使语音单元跃迁概率提供后验概率的较好的近似。

9.如权利要求7所述的方法，其特征在于，所述方法进一步包括利用后验概率的近似解码输入值，以识别帧序列的语音单元序列。

10.如权利要求9所述的方法，其特征在于，所述利用的近似包括根据语音单元跃迁概率选择语音单元序列。

11.如权利要求10所述的方法，其特征在于，所述利用的近似包括将持续时间约束应用到语音单元，并且根据持续时间约束和语音单元跃迁概率选择最好的语音单元序列。

12.如权利要求1所述的方法，其特征在于，所述调整定义隐藏参数概率的参数包括根据转换状态空间模型参数调整参数以产生已调整的参数。

13.如权利要求12所述的方法，其特征在于，所述输入值从训练信号中产生，并且其中调整参数进一步包括根据定义隐藏参数概率的已经调整的参数调整转换状态空间模型的参数，以形成已经调整的转换状态空间模型参数，并且根据已经调整的转换状态空间模型参数调整定义隐藏参数概率的已经调整的参数。

14.如权利要求1所述的方法，其特征在于，所述方法进一步包括利用后验概率的近似识别帧序列的隐藏参数的序列。

15.一种包括计算机可执行指令的计算机可读介质，该计算机可执行指令的执行步骤包括：

定义包括隐藏相关生成式参数模型的语音的隐藏动态模型；并且

近似后验概率，该后验概率在不需要固定语音单元边界的条件下在输入值的序列的基础上提供隐藏相关生成式参数的序列和语音单元的序列的似然性。

16.如权利要求15所述的计算机可读介质，其特征在于，所述近似后验概率包括在给定该帧的语音单元和输入值序列时，为输入值帧确定描述隐藏相关生成式参数的似然性的模型参数。

17.如权利要求16所述的计算机可读介质，其特征在于，所述近似后验概率进一步包括确定语音单元概率，该语音单元概率在给定输入值序列时描述了一帧的语音单元的似然性。

18.如权利要求17所述的计算机可读介质，其特征在于，进一步包括利用语音单元概率为一帧选择语音单元。

19.如权利要求18所述的计算机可读介质，其特征在于，进一步包括为输入值的每一帧的多个语音单元的每一个确定语音单元概率。

20.如权利要求19所述的计算机可读介质，其特征在于，所述利用语音单元概率选择语音单元包括在每一帧选择具有最高语音单元概率的语音单元。

21.如权利要求19所述的计算机可读介质，其特征在于，进一步包括将持续时间约束应用到语音单元，并且其中利用语音单元概率选择语音单元包括在持续时间约束和每帧的多个语音单元概率的基础上选择最好的语音单元序列。

22.如权利要求16所述的计算机可读介质，其特征在于，所述近似后验概率进一步包括确定语音单元跃迁概率，该语音单元跃迁概率在一帧另一帧的语音单元和输入值序列时，描述了帧的语音单元的似然性。

23.如权利要求22所述的计算机可读介质，其特征在于，进一步包括利用语音单元跃迁概率为帧选择语音单元。

24.如权利要求16所述的计算机可读介质，其特征在于，所述确定描述隐藏相关生成式参数的似然性的模型参数包括在语音的隐藏动态模型的模型参数和描述相关生成式参数的似然性的模型参数的前值的基础上重复的调整模型参数。

25.如权利要求24所述的计算机可读介质，其特征在于，进一步包括在描述隐藏相关生成式参数的似然性的参数的基础上调整语音的隐藏动态模型的模型参数。

26.如权利要求16所述的计算机可读介质，其特征在于，进一步包括在描述隐藏相关生成式参数的似然性的模型参数的基础上识别输入值的每一帧的隐藏相关生成式参数。

Images