JP2014157323A - 音声認識装置、音響モデル学習装置、その方法及びプログラム - Google Patents

Abstract

【課題】複数の性質の異なるNN音響モデルを用いて、話者の発話様式や利用環境の音響環境の違い(雑音／残響)に素早く適応する音声認識技術を提供する。
【解決手段】音声認識装置は、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納される格納部と、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、音声データに対する音声認識を行う。
【選択図】図４

Description

本発明は、ニューラルネットワークに基づく音響モデルを用いた音声認識技術及びその音響モデルを学習する技術に関する。

以下の説明において、テキスト中で使用する記号「^」「~」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜音声認識装置９０＞
音声認識装置９０の処理フローを図１に、機能ブロック図を図２に示す。音声認識装置９０は主に、特徴量抽出部９１と単語列探索部９２とからなる。特徴量抽出部９１は、フレーム(音声波形から一定時間長を切り出した波形)ｔ毎に音声信号データ（認識用音声データ）を時系列の特徴量ベクトルx_tに変換する（ｓ９１）。単語列探索部９２は、音響モデル格納部９３に格納された音響モデルと言語モデル格納部９４に格納された言語モデルとを用いて、特徴量抽出部９１から出力された時系列の特徴量ベクトル（音声特徴量ベクトル）x_tの音響モデルに対するスコア系列と言語モデルに対するスコアとを算出する。さらに、単語列探索部９２は、これらのスコアを参照して時系列の特徴量ベクトルx_tと合致する単語列を探索する（ｓ９２）。音声認識装置９０は、最終的に単語列探索部９２で得られた探索結果である単語列を認識結果として出力する。ここで、音響モデルと言語モデルは、学習データ等を用いて予め作成しておく。ここで、音響モデルの作成方法について説明する。

［音響モデルについて］
音響モデルは音声の持つ音響的特徴をモデル化したものであり、認識用音声データと音響モデルを参照することにより、音声データを音素や単語といったシンボルに変換する。そのため、音響モデルの作成は音声認識装置の性能を大きく左右する。音声認識装置９０では特徴量抽出部９１を用いて、音声データを{x₁,x₂,…，x_t,…}(x_t∈R^D、Rは実数の集合、tはフレーム番号またはそのフレーム番号に対応する時刻)のようなD次元の特徴量ベクトルx_tの系列に変換する。通常、音声認識用音響モデルでは、各音素とこの特徴量ベクトルx_tの系列の関係をLeft-to-right型の隠れマルコフモデル(Hidden Markov Model:以下「HMM」ともいう)で表現する。

これらのモデルでは時系列の特徴量ベクトルx_tは、状態変数の系列{s₁,s₂,…,s_t,…}が一次のマルコフ連鎖に従って遷移し、その状態変数s_tに依存した確率分布からサンプル(出力)されたものとしてモデル化される。そのため、実際に音響モデルとしてメモリに記録されている情報は、状態遷移確率行列Pと、出力分布関数パラメタΛの二種類に分割することができる。ここでは状態遷移確率行列Pは既知の行列であるとし、出力分布関数パラメタΛを学習する場合の構成を説明する。

出力分布は一般的に混合ガウス分布、もしくは、ニューラルネットワーク(以下、「NN」ともいう)で表現され、Λはそれらのパラメタである。Λを混合ガウス分布で表現した音響モデルを混合ガウス分布音響モデル、ΛをNNで表現した音響モデルをNN音響モデルと呼ぶこととする。

[NN音響モデルについて]
NN音響モデルは、状態変数がs_tのとき、特徴量ベクトルx_tが出力される確率をNNパラメタΛを用いて、以下のように定義する。

ここで、分母のp(s_t)は、状態変数s_tの出現確率を表し、学習データ中の状態変数sの出現頻度をカウントすることによって予め計算しておくこととする。例えば、出現確率p(s)は、学習データ中の全ての状態変数の出現頻度の総和に対する各状態変数ｓの出現頻度の割合である。また、学習データのデータ量が十分にない場合などは一定値であると仮定してもよい。

分子のp(s_t|x_t,Λ)は、多層パーセプトロンと呼ばれるNNの一種(非特許文献１)を用いて以下のように定義される。

i=1,2,…,L、Lはレイヤー数、H⁽ⁱ⁾はi番目のレイヤーにあるユニットの数、h⁽ⁱ⁾ _j(x_t；Λ)は入力に特徴量ベクトルx_tが与えられたときのi番目のレイヤー内のj番目のユニットの状態を示す実数である。また、便宜上H⁽⁰⁾はDであるとし、h⁽⁰⁾ _j(x_t；Λ)はh⁽⁰⁾ _j(x_t；Λ)=x_t,j、すなわち特徴量ベクトルx_tのj番目の要素とする。このNN音響モデルにおいて、学習前に予め決めておくハイパーパラメタは、レイヤー数Lと、各レイヤー内のユニット数H⁽ⁱ⁾である。残りの自由変数、すなわち、結合行列

及びバイアスベクトル

を、以降Λ＝｛W⁽ⁱ⁾,b⁽ⁱ⁾|^∀i｝というように、NNパラメタΛで表わす。

[音響モデルの作成について]
音響モデルの作成は確率統計的手法により、与えられた学習データから得られる複数の特徴量ベクトルx_tの系列X⁽ⁿ⁾の群（以下、「学習用特徴量系列群」ともいう）X={X⁽¹⁾,X⁽²⁾,…,X⁽ⁿ⁾,…}と、学習データの複数の状態変数s_tの系列s⁽ⁿ⁾の群（以下、「学習用状態変数系列群」ともいう）S={s⁽¹⁾,s⁽²⁾,…,s⁽ⁿ⁾,…}とから、パラメタΛを推定することにより作成される。ここでnは発話のインデックスであり、X⁽ⁿ⁾は一つの発話(例えば一文)の音響的特徴を記述した時系列であり、

のように、複数の音声特徴量ベクトルの時系列として表わされる。同様にs⁽ⁿ⁾も、X⁽ⁿ⁾と同じ系列長を持つラベル系列であり、

のように、複数の状態変数の時系列として表わされる。ラベル系列に関しては確率的に取り扱う場合もあるが、ここではラベル系列は既知として扱う。ただし、本発明自体はこれが確率的に与えられていてもそのまま適用可能である。

これらの学習データが与えられた上で、最適な音響モデルパラメタ^Λは、例えば以下のような学習データへの適合率Ｆ（Λ,X,S）が最大となる音響モデルパラメタΛとして定義される。

この最適化はバックプロパゲーション法（非特許文献１参照）にて実行することができる。

［Minimum Error Linear Transformation（以下「MELT」ともいう］
高精度に音声認識を行うためには、認識対象と同一の話者の認識時と同じ環境（雑音や残響などの周囲の環境）で収録した学習データを用いて学習した音響モデルを用いることが望ましい。しかしながら、話者及び環境毎に音響モデルを作成するのは困難であるため、認識対象とは異なる話者や異なる環境で収録した学習データから学習した音響モデルを用いて音声認識を行うのが一般的である。認識対象とは異なる話者／異なる環境で収録された学習データから学習した音声認識モデルを用いたときの音声認識精度を向上させる技術として、学習済みの音響モデルを認識対象の話者及び認識時の環境に適応するよう補正する適応技術が知られている。

ニューラルネットワーク音響モデルの適応技術として、MELT(非特許文献２参照)が知られている。MELTを用いたNN音響モデルの環境適応及び／または話者適応では、ある層iに対応する結合重み行列W⁽ⁱ⁾を以下のように変換行列Γと適応前重み行列~W⁽ⁱ⁾を用いて更新する。

この拡張は、変換行列Γが単位行列(Γ=I)のとき、従来のNNに一致する。すなわち、MELTで対象とする音響モデルのパラメタは、従来のNNパラメタΛに加えてΓを考慮したものであると考えることができる。

MELTの学習ステップでは、従来のNNと同様の学習データX,Sを用いて以下のようにNNパラメタΛを推定する。

認識時は、予め同一認識環境または同一話者から収集した適応用データ~X、~Sを用いて、以下の最適化を実行することによって、最適な変換行列^Γを推定する。

この最適化はNNの学習と同様、最急勾配法などを用いて実行することができる。

D. E. Ramelhart, G. E. Hinton, R. J. Williams, "Learning Representations by Back-Propagating Errors", Nature, 1986, Vol. 323, pp. 533-536. J. Trmal, J. Zelinka, L. M uller, "ON Speaker Adaptive Training of Artificial Neural Networks", Proc. Interspeech, 2010.

MELTにより話者適応／環境適応を実現するためには、十分な量の適応用データ~X、~Sの収集を行う必要がある。適応用データ~X、~Sの量を減らすための試みとして、Γの取り得る値について制約を加えることも行われているが、それらの試みでも適応用データ~X、~Sを一定量蓄積する必要がある。

実際に音声認識を使用する環境下では、適応用データ~X、~Sを予め蓄積しておくことができない場合も多く、これから認識しようとしている一発話分のデータのみを用いて高速に適応する方法に関する要求は高い。しかしながら、NN音響モデルに基づく音声認識装置では、このようなリアルタイムでの適応処理を実現する技術が知られていない。

本発明は、複数の性質の異なるNN音響モデルを用いて、話者の発話様式や利用環境の音響環境の違い(雑音／残響)に素早く適応する音声認識技術を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様によれば、音声認識装置は、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納される格納部と、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、音声データに対する音声認識を行う。

上記の課題を解決するために、本発明の他の態様によれば、音響モデル学習装置は、潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納される音響モデル格納部と、潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、ニューラルネットワークパラメタを更新するニューラルネットワーク学習部と、潜在クラス分布と、入力された学習用音声特徴量とを用いて、特徴量生成分布パラメタを更新する特徴量生成分布学習部と、潜在クラス分布を用いて、潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習部と、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ、入力された学習用状態系列及び学習用音声特徴量を用いて、潜在クラス分布を更新する潜在クラス分布学習部とを含み、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ及び潜在クラス分布の更新が収束するまで、ニューラルネットワーク学習部、特徴量生成分布学習部、潜在クラス事前分布学習部及び潜在クラス分布学習部における処理を繰り返す。

上記の課題を解決するために、本発明の他の態様によれば、音声認識方法は、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納部に格納されているものとし、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、音声データに対する音声認識を行う。

上記の課題を解決するために、本発明の他の態様によれば、音響モデル学習方法は、音響モデル格納部には、潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納されるものとし、潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、ニューラルネットワークパラメタを更新するニューラルネットワーク学習ステップと、潜在クラス分布と、入力された学習用音声特徴量とを用いて、特徴量生成分布パラメタを更新する特徴量生成分布学習ステップと、潜在クラス分布を用いて、潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習ステップと、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ、入力された学習用状態系列及び学習用音声特徴量を用いて、潜在クラス分布を更新する潜在クラス分布学習ステップとを含み、ニューラルネットワークパラメタ、特徴量生成分布パラメタ、潜在クラス事前分布パラメタ及び潜在クラス分布の更新が収束するまで、ニューラルネットワーク学習ステップ、特徴量生成分布学習ステップ、潜在クラス事前分布学習ステップ及び潜在クラス分布学習ステップにおける処理を繰り返す。

混合ガウス分布からなる音響モデルを用いた音声認識装置より一般に高い性能を持つと言われているNNからなる音響モデルを用いた音声認識装置において、従来不可能であった話者／環境への高速適応（適応用データを蓄積することなく、発話を処理する毎に適応処理を行うこと）が可能になるという効果を奏する。

従来技術の音声認識装置の処理フローを示す図。 従来技術の音声認識装置の機能ブロック図。 第一実施形態に係る音響モデル学習装置の処理フローを示す図。 第一実施形態に係る音響モデル学習装置の構成例を示す図。 第一実施形態に係る音声認識装置の処理フローを示す図。 第一実施形態に係る音声認識装置の構成例を示す図。 第一実施形態に係る音声認識装置のシミュレーション結果を示す図。

以下、本発明の実施形態について説明する。

＜第一実施形態＞
＜第一実施形態のポイント＞
［本実施形態において用いるNN音響モデル］
環境や話者の変化を積極的にモデルに取り入れるため、本実施形態では、状態変数系列sと特徴量系列xの結合確率分布p(x,s)をモデル化することを試みる。ここで、xは音響特徴量の系列{x₁,x₂,…,x_t,…}に対応する確率変数であり、sは状態変数の系列{s₁,s₂,…,s_t,…}に対応するラベル系列である。従来のNN音響モデルでは、結合確率分布p(x,s)は、単一のNNパラメタΛを導入し、p(x,s｜Λ)=p(x|s,Λ)p(s)のようにモデル化されていた。本実施形態では、発話に内在する潜在的な環境／話者の要因を考慮し、以下のように潜在クラスkを用いた混合モデル（以下、潜在クラスモデルと呼ぶ）として定義する。

ここでKは予め仮定しておく潜在クラス数である。ここで、潜在クラスとは、潜在的な（直接観測できない）環境／話者の要因によって分類される同質の保有性向を持つグループのことをいう。このような潜在クラスモデルを用いた場合、結合確率は特徴生成確率p(x|k)と、状態変数確率p(s|x,k)と、潜在クラス事前確率p(k)との積であると考えることができる。ここで、時系列内の各要素の独立性を仮定し、各分布関数に異なるパラメタを導入すると、以下の表現を得る。

ここで、Λ_kは潜在クラスkにおけるNNパラメタであり、Θ_kは潜在クラスkにおける特徴量生成分布のパラメタ（以下「特徴量生成分布パラメタ」ともいう）である。式(8)は、状態変数系列sと特徴量系列xとの結合確率分布p(x,s)を、潜在クラスk毎のNN音響モデルから算出される確率p(x,s|k,Λ_k,Θ_k)と当該潜在クラスkの起こりやすさを示す確率p(k)との積の、全ての潜在クラスについての総和として定義することを意味する。

この潜在クラスモデルにおいて、NNを用いてp(s_t|x_t,Λ_k)を式(2')(NNパラメタΛ_kは潜在クラスkに依存して異なる変数をさす)のように定義する。

確率p(x_t|Θ_k)を従来の多変量連続分布関数を用いて定義し、p(k)を多項分布、すなわち確率p(k)=p_kを直接推定するようにパラメトライズすると、このモデルの調整可能なパラメタはNNパラメタΛ_k、特徴量生成分布パラメタΘ_k及びp_kとなる。以降p_kを、潜在クラスの確率を示す（全ての潜在クラスに対する各潜在クラスの起こりやすさを示す）という点から、潜在クラス事前分布または潜在クラス事前分布パラメタと呼ぶ。なお、後述する「潜在クラス分布q_n,k」は、対応するn番目のデータを観測した上での潜在クラスkの起こりやすさを示すものであり、「潜在クラス事前分布p_k」とは異なる分布を指す。

確率p(x_t|Θ_k)として使われる多変量連続分布としては、以下の式で示される正規分布や混合正規分布がある。

ここで

であり、μ_ｋは潜在クラスkに属する特徴生成確率p(x|k)の平均ベクトル、V_kは潜在クラスkに属する特徴生成確率p(x|k)の共分散行列を表わす。以降では、潜在クラスkを考慮したパラメタの推定法について説明する。

＜潜在クラスkを考慮したパラメタの推定法＞
定義した潜在クラスモデルは混合分布なので、既存のEMアルゴリズムを用いて全てのパラメタ(Θ_k,Λ_k,p_k)を推定することができる（参考文献１参照）。
［参考文献１］ A. P. Dempster, N. M. Laird, D. B. Rubin, “Maximum Likelihood from Incomplete Data via the EM Algorithm”, Journal of Royal Statistical Society, 1977, Series B, Vol. 39, No. 1, pp.1-38.

（混合モデルとEMアルゴリズム）
以下、EMアルゴリズムを用いてパラメタを推定する方法について概略を説明する。

パラメタΘを用いて変数Aについての確率分布p(A|Θ)を定義することを考える。いくつかの潜在クラスkにおける変数Aの確率分布を、潜在クラスk毎に定義したパラメタθ_kを用いて定義し（確率分布p(A|k,θ_k)）、kについて周辺化することによって確率分布p(A|Θ)を定義することが可能である（式(10)参照）。

この場合、パラメタΘは

となる。

このように複雑な確率分布をモデル化可能な複数の小さなクラスでモデル化することによって表現力を上げる手法を混合モデル化という。

混合モデルの学習として、学習データにおける対数尤度を最大にする手法がとられるのが一般的である。学習データA⁽¹⁾,A⁽²⁾,…,A⁽ⁱ⁾,…を利用し、最適なパラメタを以下のようにおくことができる。

混合モデルの学習には、EMアルゴリズムという手法が用いられるのが一般的である（参考文献１参照）。EMアルゴリズムではJensenの不等式と、占有度パラメタq_i,k(Σ_k q_i,k=1)を用いて以下のように下界を導出する。

この不等式はq_i,k=p(k|A⁽ⁱ⁾,Θ)の時に等号が成立するため、q_i,kを逐次現在の推定パラメタΘ’から推定しながら下界を最大化するパラメタΘを推定していくことによって、EMアルゴリズムを構成することができる。すなわちEMアルゴリズムは以下の2ステップを繰り返すことにより実行される。
E-step:与えられたパラメタΘ’からq_i,k=p(k|A⁽ⁱ⁾,Θ’)を推定する。
M-step:得られたq_i,kを上式(12)に代入し、Q(Θ;q_i,k)を最大化するΘを求め、Θ’に代入する。

なお、EMアルゴリズムのM-stepは必ずしもQ(Θ;q_i,k)を最大化する厳密解を求める必要はなく、必要に応じて数値解で代用してもよい。

＜本実施形態におけるパラメタの推定＞
EMアルゴリズムでは潜在クラス分布の推定値(式(12)におけるq_i,k)を算出する必要があるが、本実施形態のモデルの場合、発話n毎に潜在クラスkがあり、潜在クラスkが与えられた上での観測値の確率分布(式(8)のp(x,s|k,Λ_k,Θ_k)のように表わされるため、潜在クラス分布の推定値q_n,kは各パラメタの推定値Λ_k’_,Θk’,p_k’を用いて以下のように表わされる。

本実施形態のモデルの場合、潜在クラス分布の推定値q_n,kが定まった上での下界(式(12)におけるQ(Θ;q_i,k))の最適化は以下のように書くことができる。

この最適化は変数を共有しない複数の項の和の最適化であるため、変数毎に分解して最適化を解くことで最適値が求められる。すなわち式(14)の最適化は以下の3×K個の最適化問題に分解される。

ここで、式(15)のp(s_t ⁽ⁿ⁾|x_t ⁽ⁿ⁾,Λ_k)は、音響モデルΛ_kとn番目の学習データのt番目のフレームの特徴量ベクトルx_t ⁽ⁿ⁾を条件とする状態変数s_t ⁽ⁿ⁾の出力確率であり、音響モデルΛ_kと特徴量ベクトルx_t ⁽ⁿ⁾に対する状態変数s_t ⁽ⁿ⁾の正解確率と捉えることができる。また、式(15)の潜在クラス分布の推定値q_n,kはn番目の学習データにおける潜在クラスkの重みと捉えることができる。式(15)は、全ての学習データ及び全ての潜在クラスについての、学習データ毎の状態変数系列の正解確率と、その学習データにおける潜在クラスkの重みq_n,kとの積の総和が最大となるようにNNパラメタΛ_kを更新することを意味する。

式(16)は、全ての学習データ及び全ての潜在クラスについて、特徴量生成分布パラメタΘ_kで示される確率分布から特徴量ベクトルx_t ⁽ⁿ⁾の系列{x₁ ⁽ⁿ⁾,x₂ ⁽ⁿ⁾,…,x_t ⁽ⁿ⁾,…}がサンプル（出力）される確率と、その学習データにおける潜在クラスkの重みq_n,kとの積の総和が最大となるように生成モデルパラメタΘ_kを更新することを意味する。

式(17)は、推定された潜在クラス分布q_n,kに最も近い潜在クラス事前分布p_kを最適化することを意味する。

潜在クラス事前分布p_kに関する最適化(式(17))は、

に最適解が存在することが知られている。つまり、潜在クラス事前分布p_kは、全ての潜在クラスの潜在クラス分布の総和に対する各潜在クラスの潜在クラス分布の割合として求めることができる。

また、特徴量生成分布パラメタΘ_kの最適化(式(16))に関しても、正規分布のような簡単な分布であれば最適解が解析的に導出できることが知られている。

しかし、NNパラメタΛ_kに関する最適化(式(15))に関してはNNの特性上、最適解を解析的に導出することは、ごく一部の場合を除いてできない。そこでNNパラメタΛ_kの最適化に関してはバックプロパゲーション法（非特許文献１参照）を用いて数値的に解く必要がある。

これらを踏まえて具体的にEMアルゴリズムを構成するには、学習用特徴量系列群X={X⁽¹⁾,X⁽²⁾ ,…,X⁽ⁿ⁾ ,…}と学習用状態変数系列群S={s⁽¹⁾ ,s⁽²⁾ ,…,s⁽ⁿ⁾ ,…}、パラメタの推定値

を用いて、以下のステップを繰り返すことによって最適化を行う。
E-step(1):全てのk,n及びtに対し、式(9')に従って、p(x_t ⁽ⁿ⁾|Θ_k’)の計算を行う。

E-step(2):全てのk,n及びtに対し、式(2')に従って、p(s_t ⁽ⁿ⁾|x_t ⁽ⁿ⁾,Λ_k’)の計算を行う。

E-step(3):全てのk,nに対し、式(13)に従って、潜在クラス分布q_n,kの計算を行う。

M-step(1):得られた潜在クラス分布q_n,kを用い最適化(式(15))をバックプロパゲーション法（非特許文献１参照）によって実行する。

M-step(2):得られた潜在クラス分布q_n,kを用い最適化(式(16))を特徴量生成分布に応じた方法で実行する。

M-step(3):得られた潜在クラス分布q_n,kを用い、潜在クラス事前分布p_kを

のように更新する。

一連の処理は、潜在クラス分布q_n,kに以下に示すViterbi近似を導入することによって高速化可能である。

Viterbi近似では潜在クラス分布q_n,kの計算として、式(13)ではなく、以下の近似式を用いる。

ここでδ_i,jはクロネッカのデルタであり、i=jの時のみ1、他の場合0となる変数である。この近似を用いることで、潜在クラス分布q_n,kの多くの要素がゼロとなるため、実質の計算時間を大幅に削減することができる。

＜音響モデル学習装置１００＞
図３に第一実施形態に係る音響モデル学習装置１００の処理フローを、図４にその構成例を示す。

音響モデル学習装置１００は、音響モデル格納部１１０、音響モデル学習部１２０、潜在クラス分布学習部１３０及び反復制御部１４０を含む。音響モデル学習装置１００は、学習用特徴量系列群X及び学習用状態変数系列群Sを受け取り、これらのデータを用いて、潜在クラスkの異なるK個のNN音響モデルを学習し、出力する。

＜音響モデル格納部１１０＞
音響モデル格納部１１０には、NN音響モデルとして、潜在クラスk毎の、NNパラメタΛ_k、特徴量生成分布パラメタΘ_kと、潜在クラス事前分布パラメタp_kと、潜在クラス分布q_n,kとが格納される。

音響モデル学習装置１００は、各パラメタの学習に先立ち、NNパラメタΛ_kと潜在クラス分布q_n,kとを初期化し（ｓ１０１）、その初期値を音響モデル格納部１１０に格納しておく。

潜在クラス分布q_n,kの初期値は乱数を代入する。Σ_k q_n,k=1、q_n,k>0を満たすような乱数であればなんでもよい。例えば、正整数{1,…,K}から一様無作為に選んだr_nを用いてq_n,k=δ_n,rn（ただし、下付文字rnはr_nを表す）として初期化してもよい。なお、潜在クラス分布の初期化処理を省略し、潜在クラス分布q_n,kに予め適当な値を設定して音響モデル格納部１１０に格納しておき、その値を初期値として利用する構成としてもよい。このように、潜在クラス分布q_n,kの初期値として、異なる値を設定することで、同一の学習データに対して潜在クラスk毎に性質の異なるNN音響モデルを学習することができる。

NNパラメタΛ_kの初期値としては何を与えてもよいが、例えば、全学習データを用いて上述の従来のNN音響モデルの作成法で学習したNNパラメタΛを、全てのkについてのNNパラメタΛ_kとする。この学習は、後述のNN学習部１２１において式(15)をq_n,k=1の設定で行うことによって実行できる。また、結果は音響モデル格納部１１０に格納される。

＜音響モデル学習部１２０＞
音響モデル学習部１２０は、NN学習部１２１と、特徴量生成分布学習部１２２と、潜在クラス事前分布学習部１２３とを含む。音響モデル学習部１２０は、学習用状態変数系列群S={s⁽¹⁾,s⁽²⁾,…,s⁽ⁿ⁾,…}と学習用特徴量系列群X={X⁽¹⁾,X⁽²⁾,…,X⁽ⁿ⁾,…}から、それぞれNNパラメタΛ_k、特徴量生成分布パラメタΘ_k及び潜在クラス事前分布パラメタp_kを学習する。NN学習部１２１、特徴量生成分布学習部１２２及び潜在クラス事前分布学習部１２３の処理は、どの順番で行っても問題ない。

（NN学習部１２１）
NN学習部１２１は、音響モデル格納部１１０から読みだした潜在クラス分布q_n,kと、入力された学習用状態変数系列群Sと学習用特徴量系列群Xとを用いて、式(15)によりNNパラメタΛ_kを学習し（ｓ１０２）、音響モデル格納部１１０に格納されたNNパラメタΛ_kを更新する。

例えば、上述したM-step(1)を実行することに相当する。なお、M-Step(1)のバックプロパゲーション法による反復処理は、所定回数繰り返した段階で更新処理を終了するものとする。

（特徴量生成分布学習部１２２）
特徴量生成分布学習部１２２は、音響モデル格納部１１０から読みだした潜在クラス分布q_n,kと、入力された学習用特徴量系列群Xとを用いて、式(16)を満たす特徴量生成分布パラメタΘ’_kを学習し（ｓ１０３）、音響モデル格納部１１０に格納された特徴量生成分布パラメタΘ_kを更新する。

（潜在クラス事前分布学習部１２３）
潜在クラス事前分布学習部１２３は、音響モデル格納部１１０から読みだした潜在クラス分布q_n,kを用いて、式(17’)により潜在クラス事前分布パラメタp_kを学習し（ｓ１０４）、音響モデル格納部１１０に格納された潜在クラス事前分布パラメタp_kを更新する。

＜潜在クラス分布学習部１３０＞
潜在クラス分布学習部１３０は、音響モデル学習部１２０で更新された各パラメタ(NNパラメタΛ_k、特徴量生成分布パラメタΘ_k、潜在クラス事前分布パラメタp_k)と、入力された学習用状態変数系列群S及び学習用特徴量系列群Xを用いて、式(13)により、潜在クラス分布q_n,kを学習し（ｓ１０５）、音響モデル格納部１２０に格納された潜在クラス分布q_n,kを更新する。

なお、式(13)中に登場する確率p(s⁽ⁿ⁾ _t|x⁽ⁿ⁾ _t,Λ_t’)や確率p(x⁽ⁿ⁾ _t|Θ_k')として、NN学習部１２１や特徴量生成分布学習部１２２で求めたものを援用してもよい。

＜反復制御部１４０＞
反復制御部１４０は、更新処理が収束したか否か判定し（ｓ１０６）、収束していたら学習用状態変数系列群S及び学習用特徴量系列群Xに対する更新処理を終了する。例えば、実行時間を計測しておき、所定時間に到達したら収束したと判定してもよいし、音響モデル学習部１２０や潜在クラス分布学習部１３０における更新回数をカウントしておき、所定回数に到達したら収束したと判定してもよい。収束したと判定されなければ、音響モデル学習部１２０及び潜在クラス分布学習部１３０に処理を繰り返すように制御信号を出力する。

＜効果＞
このような構成により、同一の学習データから複数の性質の異なるNN音響モデルを学習することができる。

＜音声認識の原理＞
音声認識装置２００は、潜在クラスk毎に異なる複数のNN音響モデルを具備する点が従来の音声認識装置とは異なる。潜在クラスk毎に異なる複数のNN音響モデルは、音響モデル学習装置１００により構築することができる。音声認識装置２００は、潜在クラスk毎に異なる複数のNN音響モデルを使い分けて音声認識を行う。

これまでも、複数の混合ガウス分布の音響モデルがある際にそれらを使いわけて音声認識精度を高める手法については、（１）システムコンビネーションによる手法(参考文献２参照)、（２）潜在クラス事前分布p_kの再推定による手法、（３）モデル選択による手法等が提案されている。
［参考文献２］G. Evermann, P. Woodland, "Posterior probability decoding, confidence estimation and system combination", Proc. NIST Speech Transcription Workshop, 2000

しかしながら、複数のNN音響モデルがあり、これらを使い分ける技術は知られていなかった。

以下では「モデル選択による手法」を複数のNN音響モデルに応用した場合の実施形態を解説するが、本実施形態の特徴は、潜在クラスが異なる複数の音響モデルを利用して音声認識を行う構成にあり、音声認識の具体処理部分はどのように実現されてもよい。例えば、システムコンビネーションや潜在クラス分布の際推定による手法を応用した実施形態とすることも可能である。

つまり、音声認識装置２００は、入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、言語モデルと潜在クラス毎に異なる複数のNN音響モデルとに基づいて、音声データに対する音声認識を行う。その重みの推定方法や、重みを利用したNN音響モデルの処理方法については様々な方法が考えられる。

モデル選択による手法では入力される音声データに対応すると考えられる潜在クラスkを最初に推定し、潜在クラスkに対応する音響モデルのみを使って音声認識を行う。よって、選択したNN音響モデルに対する重みを1と推定し、他のNN音響モデルに対する重みを0と推定していると考えられる。なお、学習データに含まれない特徴量系列xに対する潜在クラスの事後分布は、以下のように全ての可能な状態変数系列s'についての総和(Σ_s')で表現する必要がある。

一般に、この総和は簡単には計算できないので、本実施形態では、1-best近似を用いた。1-best近似では、まず最尤となる最適状態変数系列^s_kを潜在クラスk毎に一つずつ、以下のように計算する。

このようにして求めた最適状態変数系列^s_kを用いて、潜在クラスの事後分布を以下のように近似する。

ここで、αとβはモデル合成のための調整項目（スケールファクタ）であり、予め値を設定しておくものとする。

この近似を用いた上で入力音声Xに対応する潜在クラス^kを以下のように求める。

そして、従来の音声認識処理を潜在クラス^kに対応する音響モデルパラメタ^Λ_kを用いて実行する。一発話毎に、潜在クラス^kを推定することで、各発話の環境や話者の特性に応じた潜在クラスを考慮した認識が可能となる。

＜音声認識装置２００＞
以上の理論に基づいて構成される音声認識装置２００の実施形態を説明する。図５に本実施形態に係る音声認識装置２００の処理フローを、図６にその構成例を示す。

音声認識装置２００は、特徴量抽出部２１０、最適状態変数系列推定部２２０、最適潜在クラス推定部２３０、単語列探索部２４０、音響モデル格納部２５０及び言語モデル格納部２６０を含む。

音声認識装置２００は、認識用の音声データを受け取り、その音声データに対して音声認識を行い、認識結果の単語列を出力する。

＜音響モデル格納部２５０及び言語モデル格納部２６０＞
音響モデル格納部２５０には、音響モデル学習装置１００で学習した潜在クラスkの異なるK個のNN音響モデル（Λ_t,Θ_k,p_k,q_n,k)が格納されている。また、言語モデル格納部２６０には、言語モデルが格納されている。なお、言語モデルは既存の技術に基づくものを用いればよい。

＜特徴量抽出部２１０＞
特徴量抽出部２１０は、入力された音声データを受け取り、音声データから特徴量ベクトルx_tを抽出し（ｓ２０１）、出力する。特徴量抽出として、既存の技術を用いることができる。

＜最適状態変数系列推定部２２０＞
最適状態変数系列推定部２２０は、特徴量抽出部２１０で抽出した複数の特徴量ベクトルx_tの系列X⁽ⁿ⁾の群（以下、「認識用特徴量系列群」ともいう）Xの一部（例えば、一発話に対する複数の特徴量ベクトルx_t ⁽ⁿ⁾の系列X⁽ⁿ⁾）、及び音響モデル格納部２５０に格納された潜在クラス毎の潜在クラス事前分布パラメタp_k、NNパラメタΛ_k、特徴量生成分布パラメタΘ_kを用いて、式(20a)を計算して、K個の最適状態変数系列(^s_k)を推定し（ｓ２０２）、最適潜在クラス推定部２３０に渡す。

＜最適潜在クラス推定部２３０＞
最適潜在クラス推定部２３０は、認識用特徴量系列群Xの一部（例えばX⁽ⁿ⁾）と、最適状態変数系列推定部２２０で推定した最適状態系列^s_kと、音響モデル格納部２５０に格納された潜在クラス事前分布パラメタp_k、NNパラメタΛ_k、特徴量生成分布パラメタΘ_kを用いて、式(21)及び式(22)により、認識用特徴量系列群Xの一部に対する最適潜在クラス^kを選択し（ｓ２０３）、単語列探索部２４０に出力する。

＜単語列探索部２４０＞
単語列探索部２４０は、従来の音声認識器と同様に言語モデル格納部２６０に格納された言語モデルと、音響モデル格納部２５０に格納された音響モデルと、認識用特徴量系列群Xとを用いて、認識用音声データ（より詳しくいうと、認識用特徴量系列群X）にマッチする単語列を探索し（ｓ２０４）、探索結果である単語列を出力する。ただし、従来の音声認識装置９０における単語列探索部９２とは異なり、音響モデルとして、音響モデル格納部２５０に格納された複数のNN音響モデルのうち最適潜在クラス推定部２３０で選択された最適潜在クラス^kに対応するNNパラメタΛ_^kを用いる。その際、発話n毎に最適潜在クラス^kを推定し、用いるNNパラメタΛ_^kを変更することで、話者／環境への高速適応が可能になる。

＜シミュレーション結果＞
図７は、第一実施形態に係る音声認識装置２００の音声認識のシミュレーション結果を表す。シミュレーションに用いるコーパスはTIMITを採用した。学習セットと評価セットの発話数はそれぞれ3、696発話と392発話である。潜在クラスの数Kは2で、NNの隠れユニット数H⁽ⁱ⁾は1024を使用した。特徴量生成分布は多変量ガウス分布を用いた。学習において、q_n,kの初期値は、正整数{1,…,K}から一様無作為に選んだr_nを用いてq_n,k=δ_n,rnとした。モデル合成におけるスケールファクタα、β(式(21)参照)に関してはいくつかの値（(1)α=1.0,β=1.0、(2)α=1.0,β=0.0、(3)α=0.0,β=1.0、）を試行した。

図７に示すように、第一実施形態に係る音声認識装置２００がNN音響モデルを使いわけることによって精度向上が果たせていることを確認できた。また利用する潜在クラスの選び方については、最も近似が厳密であると考えられる設定α=1.0、β=1.0以外でも十分な性能向上が見られることを確認した。

＜効果＞
混合ガウス分布からなる音響モデルを用いた音声認識装置より一般に高い性能を持つと言われているNNからなる音響モデルを用いた音声認識装置において、従来不可能であった話者／環境への高速適応（適応用データを蓄積することなく、リアルタイムに適応処理を行うこと）が可能になるという効果を奏する。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１００ 音響モデル学習装置
１１０ 音響モデル格納部
１２０ 音響モデル学習部
１２１ 学習部
１２２ 特徴量生成分布学習部
１２３ 潜在クラス事前分布学習部
１３０ 潜在クラス分布学習部
１４０ 反復制御部
２００ 音声認識装置
２１０ 特徴量抽出部
２２０ 最適状態変数系列推定部
２３０ 最適潜在クラス推定部
２４０ 単語列探索部
２５０ 音響モデル格納部
２６０ 言語モデル格納部

Claims (12)

1. 言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納される格納部と、
   入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、前記言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、前記音声データに対する音声認識を行う、
   音声認識装置。
2. 請求項１記載の音声認識装置であって、
   前記格納部には、前記ニューラルネットワーク音響モデルとして、潜在クラス毎に、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタとが格納され、
   前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ及び前記特徴量生成分布パラメタを用いて、潜在クラス毎に前記音声データに対する最適状態変数系列を推定する最適状態変数系列推定部と、
   前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ及び前記最適状態変数系列を用いて、前記音声データに対する最適潜在クラスを選択する最適潜在クラス推定部と、
   前記最適潜在クラスに対応する前記ニューラルネットワークパラメタと前記言語モデルとを用いて、前記音声データに対する単語列を探索する単語列探索部とをさらに含む、
   音声認識装置。
3. 請求項１または請求項２記載の音声認識装置であって、
   潜在クラス分布を学習データを観測した上での潜在クラスの起こりやすさを示すものとし、
   前記ニューラルネットワークパラメタは、潜在クラス分布と、入力された学習用状態変数系列群と学習用特徴量系列群とを用いて、状態変数系列の正解確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
   前記特徴量生成分布パラメタは、潜在クラス分布と、入力された学習用音声特徴量とを用いて、学習データの特徴量が出力される確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
   前記潜在クラス事前分布パラメタは、前記潜在クラス分布を用いて、全ての潜在クラスの潜在クラス分布の総和に対する各潜在クラスの潜在クラス分布の割合を求めることにより得られたものである、
   音声認識装置。
4. 潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納される音響モデル格納部と、
   前記潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、前記ニューラルネットワークパラメタを更新するニューラルネットワーク学習部と、
   前記潜在クラス分布と、入力された学習用音声特徴量とを用いて、前記特徴量生成分布パラメタを更新する特徴量生成分布学習部と、
   前記潜在クラス分布を用いて、前記潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習部と、
   前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ、入力された前記学習用状態系列及び前記学習用音声特徴量を用いて、前記潜在クラス分布を更新する潜在クラス分布学習部とを含み、
   前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ及び前記潜在クラス分布の更新が収束するまで、前記ニューラルネットワーク学習部、特徴量生成分布学習部、潜在クラス事前分布学習部及び潜在クラス分布学習部における処理を繰り返す、
   音響モデル学習装置。
5. 請求項４記載の音響モデル学習装置であって、
   ｋを潜在クラスのインデックス、ｎを発話のインデックス、ｔをフレームのインデックス、ｑ_ｎ，ｋを前記潜在クラス分布、ｓ_ｔ ^（ｎ）を学習用音声データの状態変数、ｘ_ｔ ^（ｎ）を学習用音声データの特徴量とし、前記ニューラルネットワーク学習部は、次式により、前記ニューラルネットワークパラメタΛ_ｋを更新し、
   

   

   
   前記特徴量生成分布学習部は、次式により、前記特徴量生成分布パラメタΘ_ｋを更新し、
   

   

   
   前記潜在クラス事前分布学習部は、次式により、前記潜在クラス事前分布パラメタp_kを更新し、
   

   

   
   前記潜在クラス分布学習部は、次式により、前記潜在クラス分布ｑ_ｎ，ｋを更新する、
   

   

   
   音響モデル学習装置。
6. 言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとが格納部に格納されているものとし、
   入力される音声データから各潜在クラスの重みを推定し、推定した潜在クラス毎の重みと、前記言語モデルと潜在クラス毎に異なる複数のニューラルネットワーク音響モデルとに基づいて、前記音声データに対する音声認識を行う、
   音声認識方法。
7. 請求項６記載の音声認識方法であって、
   前記格納部には、前記ニューラルネットワーク音響モデルとして、潜在クラス毎に、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタとが格納されているものとし、
   前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ及び前記特徴量生成分布パラメタを用いて、潜在クラス毎に前記音声データに対する最適状態変数系列を推定する最適状態変数系列推定ステップと、
   前記潜在クラス事前分布パラメタ、前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ及び前記最適状態変数系列を用いて、前記音声データに対する最適潜在クラスを選択する最適潜在クラス推定ステップと、
   前記最適潜在クラスに対応する前記ニューラルネットワークパラメタと前記言語モデルとを用いて、前記音声データに対する単語列を探索する単語列探索ステップとをさらに含む、
   音声認識方法。
8. 請求項６または請求項７記載の音声認識方法であって、
   潜在クラス分布を学習データを観測した上での潜在クラスの起こりやすさを示すものとし、
   前記ニューラルネットワークパラメタは、潜在クラス分布と、入力された学習用状態変数系列群と学習用特徴量系列群とを用いて、状態変数系列の正解確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
   前記特徴量生成分布パラメタは、潜在クラス分布と、入力された学習用音声特徴量とを用いて、学習データの特徴量が出力される確率と潜在クラス分布との積の総和が最大となるように求めることにより得られたものであり、
   前記潜在クラス事前分布パラメタは、前記潜在クラス分布を用いて、全ての潜在クラスの潜在クラス分布の総和に対する各潜在クラスの潜在クラス分布の割合を求めることにより得られたものである、
   音声認識方法。
9. 音響モデル格納部には、潜在クラス毎に異なる複数の、潜在クラスの起こりやすさを示す潜在クラス事前分布パラメタと、特徴量生成分布のパラメタである特徴量生成分布パラメタと、ニューラルネットワーク音響モデルのニューラルネットワークパラメタと、学習データを観測した上での潜在クラスの起こりやすさを示す潜在クラス分布とが格納されるものとし、
   前記潜在クラス分布と、学習用音声データの状態変数の系列の群である学習用状態変数系列群と学習用音声データの特徴量の系列の群である学習用特徴量系列群とを用いて、前記ニューラルネットワークパラメタを更新するニューラルネットワーク学習ステップと、
   前記潜在クラス分布と、入力された学習用音声特徴量とを用いて、前記特徴量生成分布パラメタを更新する特徴量生成分布学習ステップと、
   前記潜在クラス分布を用いて、前記潜在クラス事前分布パラメタを更新する潜在クラス事前分布学習ステップと、
   前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ、入力された前記学習用状態系列及び前記学習用音声特徴量を用いて、前記潜在クラス分布を更新する潜在クラス分布学習ステップとを含み、
   前記ニューラルネットワークパラメタ、前記特徴量生成分布パラメタ、前記潜在クラス事前分布パラメタ及び前記潜在クラス分布の更新が収束するまで、前記ニューラルネットワーク学習ステップ、特徴量生成分布学習ステップ、潜在クラス事前分布学習ステップ及び潜在クラス分布学習ステップにおける処理を繰り返す、
   音響モデル学習方法。
10. 請求項９記載の音響モデル学習方法であって、
    ｋを潜在クラスのインデックス、ｎを発話のインデックス、ｔをフレームのインデックス、ｑ_ｎ，ｋを前記潜在クラス分布、ｓ_ｔ ^（ｎ）を学習用音声データの状態変数、ｘ_ｔ ^（ｎ）を学習用音声データの特徴量とし、前記ニューラルネットワーク学習ステップにおいて、次式により、前記ニューラルネットワークパラメタΛ_ｋを更新し、
    

    

    
    前記特徴量生成分布学習ステップにおいて、次式により、前記特徴量生成分布パラメタΘ_ｋを更新し、
    

    

    
    前記潜在クラス事前分布学習ステップは、次式により、前記潜在クラス事前分布パラメタp_kを更新し、
    

    

    
    前記潜在クラス分布学習ステップにおいて、次式により、前記潜在クラス分布ｑ_ｎ，ｋを更新する、
    

    

    
    音響モデル学習方法。
11. 請求項１から請求項３の何れかに記載の音声認識装置としてコンピュータを機能させるためのプログラム。
12. 請求項４または請求項５記載の音響モデル学習装置としてコンピュータを機能させるためのプログラム。

Images