JP6728083B2 - 中間特徴量計算装置、音響モデル学習装置、音声認識装置、中間特徴量計算方法、音響モデル学習方法、音声認識方法、プログラム - Google Patents

Description

本発明は、音声認識技術に関し、特にニューラルネットワークを用いて学習した音響モデルにより音声認識を行う技術に関する。

音声認識、画像認識など様々な分野においてニューラルネットワークを用いたモデル学習が行われている。ここでは、まずニューラルネットワークの代表的なモデルであるディープニューラルネットワーク(DNN: Deep Neural Networks)についてその概略を説明する（図１参照）。

DNNは、入力層（第0層）とK(Kは1以上の整数)層の隠れ層（第1層〜第K層）と出力層（第K+1層）から構成される。DNNの第k層(0≦k≦K+1)に入力される特徴量x^kをn_k次元ベクトルとする。また、第K+1層（つまり、出力層）から出力される特徴量x^K+2をn_K+2次元ベクトルとする。このとき、第k層にはn_k次元ベクトルである特徴量x^kが入力され、n_k+1次元ベクトルである特徴量x^k+1が出力される。ここで、第k層の出力特徴量x^k+1は第k+1層の入力特徴量となる。第K層のことを最終隠れ層という。

一般に、DNNでは各層において線形変換と非線形変換が実行される。第k層(0≦k≦K+1)における線形変換を特徴付ける重み行列をW^k、バイアスベクトルをb^k、非線形変換をf（fのことを活性化関数ともいう）とすると、出力特徴量x^k+1は、入力特徴量x^kを用いて次式で表現される。

ここで、W^kはn_k+1×n_k行列、b^kはn_k+1次元ベクトルとなる。

また、fはn_k+1次元ベクトルからn_k+1次元ベクトルへの非線形変換となる。隠れ層では、シグモイド関数が用いられる。この場合、線形変換後の特徴量x^k+1/2の第i成分をx_i ^k+1/2、出力特徴量x^k+1の第i成分をx_i ^k+1とすると、次式が成り立つ(1≦i≦n_k+1)。

一方、出力層では、ソフトマックス関数が用いられる。この場合、線形変換後の特徴量x^(K+1)+1/2の第i成分をx_i ^(K+1)+1/2、出力特徴量x^K+2の第i成分をx_i ^K+2とすると、次式が成り立つ(1≦i≦n_K+2)。

出力特徴量x^K+2の第i成分x_i ^K+2は出力層を構成する第iユニットからの出力である。各iについて0≦x_i ^K+2≦1であり、Σx_i ^K+2=1が成り立つ。そこで、出力層からの出力特徴量x^K+2を出力確率分布ということにする。また、出力特徴量x^K+2が確率分布であることから、出力特徴量x^K+2を出力確率分布pと表すこともある。つまり、p=(p₁,…,p_{n_K+2})=(x₁ ^K+2,…,x_{n_K+2} ^K+2)となる（なお、_（アンダースコア）は下付き添字を表し、例えば、x^y_zはy_zがxに対する上付き添字であり、x_{y_z}はy_zがxに対する下付き添字であることを表す）。

DNNがモデルを学習することは、重み行列とバイアスベクトルを学習することである。つまり、DNNが学習するモデルは、DNNを特徴付けるパラメータとなる。

音声認識に用いる音響モデルを学習する場合、DNNへの入力特徴量（つまり、入力層への入力となる特徴量）x⁰は音声データの音声特徴量、DNNからの出力特徴量（つまり、出力層からの出力となる特徴量）x^K+2は音声の出力シンボルである音素（音素状態）の確率分布pとなる。このとき、出力層を構成するユニットの数は音素の数に等しく、第iユニットから出力される確率は入力された音声特徴量が第i音素である確率を表すことになる。

確率が最大となる出力層のユニット番号に対応する音素を入力された音声特徴量と対応する音素とすれば、DNNは音声特徴量を入力として音素を出力するモデルを音響モデルとして学習することになる。ここで、学習される音響モデルは各層の重み行列とバイアスベクトルである。

したがって、当該音響モデルを用いて構成した音声認識装置は、認識対象となる音声データ（認識用音声データ）の音声特徴量から音素の系列を生成し、音声認識結果を生成するものとなる。

以上、DNNの概略について、音声認識に適用した場合も含め説明した。

なお、一般に、ニューラルネットワークはベクトルを入力とし、ベクトルを出力する関数とみなすこともできる。

以下では、非特許文献１〜３に記載のニューラルネットワークが音響モデルを学習する（つまり、ニューラルネットワークを特徴付けるパラメータを学習する）方法について説明する。まず、図１２〜図１３を参照して非特許文献１の音響モデル学習装置７００を説明する。図１２は、音響モデル学習装置７００の構成を示すブロック図である。図１３は、音響モデル学習装置７００の動作を示すフローチャートである。図１２に示すように音響モデル学習装置７００は、音声中間特徴量計算部７１０、音素確率分布計算部７２０、パラメータ最適化部７３０、記録部７９０を含む。

記録部７９０は、音響モデル学習装置７００の処理に必要な情報を適宜記録する構成部である。例えば、音響モデルを構成するパラメータ（音響モデルパラメータ）の初期値を事前に記録しておく。また、学習過程で生成される音響モデルパラメータを適宜に記録する。

音響モデルパラメータの初期値は、乱数を用いて生成してもよいし、今回の学習に用いる音声データとは異なる別の音声データを学習データとして生成したパラメータを利用してもよい。

音素の数をMとし、各音素には番号（以下、音素番号という）が1〜Mまで振られており、音素番号m(1≦m≦M)を用いて各音素を識別することにする。音素番号mの音素のことを第m音素という。

学習開始前に、学習データとなる音声データ（学習用音声データ）から音声特徴量を抽出しておく。音声特徴量はベクトルとして表される。また、当該音声特徴量に対応する音素（正解音素）を識別するための音素番号である正解音素番号も併せて用意しておく。つまり、音声特徴量と正解音素番号の組が音響モデル学習装置７００の入力となる。音声特徴量と正解音素番号の組のことを訓練データという。

音響モデル学習装置７００は、訓練データである音声特徴量と正解音素番号の組から、音響モデルを学習する。

音声中間特徴量計算部７１０は、DNNの入力層から最終隠れ層までの計算を実行する構成部である。また、音素確率分布計算部７２０は、DNNの出力層での計算を実行する構成部である。したがって、音響モデル学習装置７００が学習する音響モデルは、音声中間特徴量計算部７１０と音素確率分布計算部７２０を特徴付けるDNNのパラメータとなる。

音響モデル学習装置７００は、学習開始までに、記録部７９０に記録した音響モデルパラメータの初期値を音声中間特徴量計算部７１０、音素確率分布計算部７２０に設定する。また、音響モデル学習装置７００は、学習中、パラメータ最適化部７３０が音響モデルパラメータを最適化計算する都度、計算した音響モデルパラメータを音声中間特徴量計算部７１０、音素確率分布計算部７２０に設定する。これにより、新たに計算された音響モデルパラメータで特徴付けられるDNN（音声中間特徴量計算部７１０と音素確率分布計算部７２０）を用いて、次の訓練データを処理することになる。

図１３に従い音響モデル学習装置７００の動作について説明する。音声中間特徴量計算部７１０は、入力された音声特徴量から、音素識別用の中間特徴量である音声中間特徴量を計算する（Ｓ７１０）。音声中間特徴量は、入力された音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するために用いる特徴量である。また、上述の通り、音声中間特徴量計算部７１０はDNNの入力層から最終隠れ層までの計算を実行する構成部であるので、音声中間特徴量は学習中のDNNの最終隠れ層の出力特徴量である。

音素確率分布計算部７２０は、Ｓ７１０で計算した音声中間特徴量から、音素確率分布を計算する（Ｓ７２０）。上述の通り、音素確率分布計算部７２０はDNNの出力層での計算を実行する構成部であるので、音素確率分布は学習中のDNNの出力層の出力特徴量である。ここで、音素番号mの音素（第m音素）は、出力層を構成する第mユニットに対応するものとすると、音素確率分布は出力層の第mユニットからの出力値である確率p_m（式(3)で計算される値）を並べた分布p=(p₁,…,p_M)になる。

パラメータ最適化部７３０は、Ｓ７２０で計算した音素確率分布と入力された正解音素番号を用いて、音響モデルパラメータを最適化する（Ｓ７３０）。例えば、次式で定義される損失関数Cの値を減少させるように、音響モデルパラメータを最適化計算していく。

ただし、p=(p₁,…,p_M)は音素確率分布、d=(d₁,…,d_M)は次式で定義される正解確率分布である。

なお、損失関数Cはクロスエントロピーと呼ばれるものであり、2つの確率分布の間で定義される、分布間のずれを測る尺度である。

一般に、音声特徴量と正解音素番号の組である訓練データの数は数千万〜数億回程度と非常に大きいものとなる。膨大な訓練データから効率的に音響モデルパラメータを最適化するためには、例えば、非特許文献１の式(4)を用いるとよい。

音響モデル学習装置７００は、Ｓ７１０〜Ｓ７３０の処理を訓練データの数だけ繰り返し、最終的に計算された音響モデルパラメータを学習結果として出力する。

次に、図１４〜図１５を参照して非特許文献２の音響モデル学習装置８００を説明する。音響モデル学習装置８００の学習では、音響モデル学習装置７００の学習で用いたDNNに加えて、画像認識でよく用いられるニューラルネットワークである畳み込みニューラルネットワーク(CNN: Convolutional Neural Networks)も用いる。CNNは、入力層、畳み込み層、プーリング層から構成される。

図１４は、音響モデル学習装置８００の構成を示すブロック図である。図１５は、音響モデル学習装置８００の動作を示すフローチャートである。図１４に示すように音響モデル学習装置８００は、耐雑音中間特徴量計算部８１０、音声中間特徴量計算部７１０、音素確率分布計算部７２０、パラメータ最適化部７３０、記録部７９０を含む。

音響モデル学習装置８００は、訓練データである音声特徴量と正解音素番号の組から、音響モデルを学習する。

音声中間特徴量計算部７１０は、DNNの入力層から最終隠れ層までの計算を実行する構成部である。音素確率分布計算部７２０は、DNNの出力層での計算を実行する構成部である。耐雑音中間特徴量計算部８１０は、CNNの計算を実行する構成部である。したがって、音響モデル学習装置８００が学習する音響モデルは、音声中間特徴量計算部７１０と音素確率分布計算部７２０を特徴付けるDNNのパラメータと目的音特徴量計算部８１０を特徴付けるCNNのパラメータを含む。

音響モデル学習装置８００は、学習開始までに、記録部７９０に記録した音響モデルパラメータの初期値を耐雑音中間特徴量計算部８１０、音声中間特徴量計算部７１０、音素確率分布計算部７２０に設定する。また、音響モデル学習装置８００は、学習中、パラメータ最適化部７３０が音響モデルパラメータを最適化計算する都度、計算した音響モデルパラメータを耐雑音中間特徴量計算部８１０、音声中間特徴量計算部７１０、音素確率分布計算部７２０に設定する。

図１５に従い音響モデル学習装置８００の動作について説明する。耐雑音中間特徴量計算部８１０は、入力された音声特徴量から、当該音声特徴量を抽出した音声データに含まれる目的音の特徴量である耐雑音中間特徴量を計算する（Ｓ８１０）。耐雑音中間特徴量とは、雑音が重畳した音声データの目的音に対応する特徴量を音声特徴量から計算したものであり、具体的には、次のように計算する。まず、音声特徴量から時間と対数パワースペクトルの2次元画像を生成する。次に、CNNを用いて当該2次元画像から耐雑音中間特徴量を計算する。

音声中間特徴量計算部７１０は、Ｓ８１０で計算した耐雑音中間特徴量から、音素識別用の中間特徴量である音声中間特徴量を計算する（Ｓ７１０）。音声中間特徴量計算部７１０は、雑音の影響が残ったまま抽出した音声特徴量の代わりに、雑音の影響を除去した耐雑音中間特徴量を入力とする点において音響モデル学習装置７００のそれと異なるが、その動作は同様である。つまり、音声中間特徴量計算部７１０は、DNNの入力層から最終隠れ層までで構成されるニューラルネットワークを用いて、耐雑音中間特徴量から最終隠れ層の出力特徴量である音声中間特徴量を計算する。

音素確率分布計算部７２０は、Ｓ７１０で計算した音声中間特徴量から、音素確率分布を計算する（Ｓ７２０）。

パラメータ最適化部７３０は、Ｓ７２０で計算した音素確率分布と入力された正解音素番号を用いて、音響モデルパラメータを最適化する（Ｓ７３０）。

音響モデル学習装置８００で学習した音響モデルを用いた音声認識は、雑音を含む音声データに対する音声認識の精度が高いことが確認されている。つまり、音響モデル学習装置８００で学習する音響モデルは、耐雑音性のある音響モデルとなる。

次に、図１６〜図１７を参照して非特許文献３の音響モデル学習装置９００を説明する。音響モデル学習装置９００の学習でも、音響モデル学習装置８００の学習と同様、DNNとCNNを用いる。音響モデル学習装置８００と異なるのは、これらのニューラルネットワークの結合の仕方である。音響モデル学習装置８００では、CNN、DNNの順に直列に結合させたニューラルネットワークを用いたが、音響モデル学習装置９００では、CNNとDNNを並列に結合させたニューラルネットワークを用いる。

図１６は、音響モデル学習装置９００の構成を示すブロック図である。図１７は、音響モデル学習装置９００の動作を示すフローチャートである。図１６に示すように音響モデル学習装置９００は、音声中間特徴量計算部７１０、耐雑音中間特徴量計算部８１０、中間特徴量結合部９１０、音素確率分布計算部７２０、パラメータ最適化部７３０、記録部７９０を含む。

音響モデル学習装置９００は、訓練データである音声特徴量と正解音素番号の組から、音響モデルを学習する。

音響モデル学習装置９００が学習する音響モデルは、音響モデル学習装置８００が学習する音響モデルパラメータと同様、音声中間特徴量計算部７１０と音素確率分布計算部７２０を特徴付けるDNNのパラメータと目的音特徴量計算部８１０を特徴付けるCNNのパラメータを含む。

音響モデル学習装置９００は、学習開始までに、記録部７９０に記録した音響モデルパラメータの初期値を耐雑音中間特徴量計算部８１０、音声中間特徴量計算部７１０、音素確率分布計算部７２０に設定する。また、音響モデル学習装置９００は、学習中、パラメータ最適化部７３０が音響モデルパラメータを最適化計算する都度、計算した音響モデルパラメータを耐雑音中間特徴量計算部８１０、音声中間特徴量計算部７１０、音素確率分布計算部７２０に設定する。

図１７に従い音響モデル学習装置９００の動作について説明する。音声中間特徴量計算部７１０は、入力された音声特徴量から、音素識別用の中間特徴量の一部となる音声中間特徴量を計算する（Ｓ７１０）。

耐雑音中間特徴量計算部８１０は、入力された音声特徴量から、音素識別用の中間特徴量の一部となる耐雑音中間特徴量を計算する（Ｓ８１０）。

中間特徴量結合部９１０は、Ｓ７１０で計算した音声中間特徴量とＳ８１０で計算した耐雑音中間特徴量から、結合中間特徴量を生成する（Ｓ９１０）。結合中間特徴量は、ベクトルである音声中間特徴量と耐雑音中間特徴量をベクトルとして結合したベクトルである。

音素確率分布計算部７２０は、Ｓ９１０で生成した結合中間特徴量から、音素確率分布を計算する（Ｓ７２０）。

パラメータ最適化部７３０は、Ｓ７２０で計算した音素確率分布と入力された正解音素番号を用いて、音響モデルパラメータを最適化する（Ｓ７３０）。

音響モデル学習装置９００で学習した音響モデルを用いた音声認識は、学習データ数が同じ場合、音響モデル学習装置７００や音響モデル学習装置８００で学習した音響モデルを用いた音声認識と比較して、精度が高いことが確認されている。

Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patric Nguyen, Tara Sainath, Brian Kingsbury, "Deep Neural Networks for Acoustic Modeling in Speech Recognition", IEEE Signal Processing Magazine, Vol.29, No.6, pp.82-97, 2012. Ossama Abdel-Hamid, Adbel-rahman Mohamed, Hui Jiang, Li Deng, Gerald Penn, Dong Yu, "Convolutional Neural Networks for Speech Recognition", IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol.22, No.10, pp.1533-1545, 2014. Hagen Soltau, George Saon, Tara N. Sainath, "Joint Training of Convolutional and Non-Convolutional Neural Networks", IEEE ICASSP, 2014.

非特許文献１の方法で学習した音響モデルを用いた音声認識では、雑音が重畳した音声の認識精度が雑音のない音声の認識精度に比べて著しく低下するという問題がある。

非特許文献２の方法で学習した音響モデルを用いた音声認識は、非特許文献１のそれに比べて耐雑音性の点において優れている。しかし、非特許文献１の方法に比べて音響モデルの学習に必要な計算時間が大きいという問題がある。また、雑音が少ない音声の音声認識では、非特許文献１の方法で学習した音響モデルを用いた音声認識と精度があまり変わらないにもかかわらず、認識に必要な計算時間が大きいという問題もある。

非特許文献３の方法では、学習対象となる音声に雑音が含まれていてもいなくてもその音声特徴量がDNNの学習に相当する音声中間特徴量計算部７１０とCNNの学習に相当する耐雑音中間特徴量計算部８１０の両方に入力され、学習に用いられる。このため、学習結果として得られる音響モデルを用いた音声認識の認識精度は高くなるが、その学習に要する計算時間は大きくなってしまう。また、認識に要する計算時間も大きくなってしまう。

また、雑音が含まれない音声を用いて音響モデルを学習したが、音声認識の段階では認識対象となる音声に雑音が含まれているというようなケースもありうる。このようなケースのように学習に用いた音声とは別の種類の音声を認識しようとすると、認識精度が低くなってしまうという問題が生じることがある。そこで、この問題を解決するため、複数の種類の音声を学習データとして用意して非特許文献１や非特許文献２の方法を用いて学習した音響モデルを用いて音声認識をする方法が考えられるが、音声の種類ごとに学習した音響モデルを用いて音声認識をする場合に比べて、認識精度が低くなるという問題がある。

以上述べたように、非特許文献１〜３の方法では、認識処理に必要な計算時間を抑制しつつ雑音の有無に関わらず高精度な音声認識を実現する音響モデルを学習することは難しい。

そこで本発明は、認識処理に必要な計算時間を抑制しつつ学習用音声データの種類にかかわらず高精度な音声認識を実現する音響モデルを学習するために用いる中間特徴量を計算する技術を提供することを目的とする。

本発明の一態様は、音声データを分類する種類の数をJ、前記種類を識別するための番号を種類番号、音素の数をM、前記音素を識別するための番号を音素番号とし、音声特徴量から、当該音声特徴量を抽出した音声データの種類に対応する種類番号j’（ただし、j’は1≦j’≦Jを満たす整数）を決定する種類識別部と、前記音声特徴量と前記種類番号j’から、当該音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するために用いる特徴量である第j’種中間特徴量を音素中間特徴量として計算する音素中間特徴量計算部とを含む中間特徴量計算装置であって、前記音素中間特徴量計算部は、1≦j≦Jを満たす各整数jについて、ニューラルネットワークを用いて、種類番号jの音声データから抽出された音声特徴量から、第j種中間特徴量を計算する第j種中間特徴量計算部とを含む。

本発明によれば、認識処理に必要な計算時間を抑制しつつ学習用音声データの種類にかかわらず高精度な音声認識を実現する音響モデルを学習するために用いる中間特徴量を計算することができる。

DNNの一例を示す図。 音響モデル学習装置１００の構成の一例を示す図。 音響モデル学習装置１００の動作の一例を示す図。 種類識別部１１０の構成の一例を示す図。 種類識別部１１０の動作の一例を示す図。 音素中間特徴量計算部１２０の構成の一例を示す図。 音素中間特徴量計算部１２０の動作の一例を示す図。 音声認識装置２００の構成の一例を示す図。 音声認識装置２００の動作の一例を示す図。 音声認識部２２０の構成の一例を示す図。 音声認識部２２０の動作の一例を示す図。 音響モデル学習装置７００の構成の一例を示す図。 音響モデル学習装置７００の動作の一例を示す図。 音響モデル学習装置８００の構成の一例を示す図。 音響モデル学習装置８００の動作の一例を示す図。 音響モデル学習装置９００の構成の一例を示す図。 音響モデル学習装置９００の動作の一例を示す図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

以下、各実施形態で用いる用語について簡単に説明する。

音声データとは、音響モデルの学習や音声認識に用いるため、あらかじめ収録しておく音声データのことである。音声データは、例えば話者が発話した文章の音声である。また、音声データは、例えばサンプリング周波数１６ｋＨｚで離散値化されたデジタルデータである。

音声特徴量とは、音声データから抽出した特徴量であり、例えば、音声データを分割したフレーム（通常20ms〜40ms程度）ごとに抽出されるFBANK（フィルタバンク対数パワー）などがある。なお、音声特徴量は一般にベクトルとして表現される。

音声の種類とは、音響モデルを学習する際に用いる学習用音声データを分類するカテゴリのことである。例えば、雑音の有無を基準に分類すると、雑音を含む音声と雑音を含まない音声の２つの種類に学習用音声データが分類される。また、話し言葉の音声、読み上げ音声、会議音声の３つの種類に学習用音声データを分類することもできる。男性の音声、女性の音声の２つの種類に学習用音声データを分類することもできる。さらに、雑音に関して、有無の２つで分けるのでなく、例えば高、中、低と雑音のレベルで分ける場合には３つの種類に学習用音声データを分類することもできる。

＜第一実施形態＞
［音響モデル学習装置１００］
以下、図２〜図７を参照して音響モデル学習装置１００について説明する。図２に示すように音響モデル学習装置１００は、種類識別部１１０、音素中間特徴量計算部１２０、音素確率分布計算部１３０、パラメータ最適化部１４０、記録部７９０を含む。記録部７９０は、音響モデル学習装置１００の処理に必要な情報を適宜記録する構成部である。

学習用音声データは、J種類の音声に分類されるものとする。また、各分類には番号（以下、種類番号という）が1〜Jまで振られており、種類番号j(1≦j≦J)を用いて各種類を識別することにする。種類番号jの音声のことを第j種の音声という。例えば、雑音の有無と性別を基準に分類する場合、雑音がない男性の音声を種類番号1の音声、雑音がない女性の音声を種類番号2の音声、雑音を含む男性の音声を種類番号3の音声、雑音を含む女性の音声を種類番号4の音声とし、４つの種類に分類することができる。

また、音素の数をMとし、各音素には番号（以下、音素番号という）が1〜Mまで振られており、音素番号m(1≦m≦M)を用いて各音素を識別することにする。音素番号mの音素のことを第m音素という。

学習開始前に、学習用音声データから訓練データを用意しておくのは、音響モデル学習装置７００と同じである。

音響モデル学習装置１００は、訓練データである音声特徴量と正解音素番号の組から、音響モデルを学習する。正解音素番号とは、音声特徴量に対応する音素（正解音素）を識別するための音素番号のことである。

種類識別部１１０、音素中間特徴量計算部１２０、音素確率分布計算部１３０は、ニューラルネットワークによる計算を実行する構成を含む。したがって、音響モデル学習装置１００は、学習開始までに、記録部７９０に記録した音響モデルパラメータの初期値を種類識別部１１０、音素中間特徴量計算部１２０、音素確率分布計算部１３０に設定する。また、音響モデル学習装置１００は、学習中、パラメータ最適化部１４０が音響モデルパラメータを最適化計算する都度、計算した音響モデルパラメータを種類識別部１１０、音素中間特徴量計算部１２０、音素確率分布計算部１３０に設定する。

図３に従い音響モデル学習装置１００の動作について説明する。種類識別部１１０は、入力された音声特徴量から、当該音声特徴量を抽出した音声データの種類に対応する種類番号j’（ただし、j’は1≦j’≦Jを満たす整数）を決定する（Ｓ１１０）。以下、図４〜図５を参照して種類識別部１１０について説明する。

図４に示すように種類識別部１１０は、種類中間特徴量計算部１１１、種類確率分布計算部１１２、種類番号決定部１１３を含む。種類特徴量計算部１１１は、DNNの入力層から最終隠れ層までのニューラルネットワークに対応する構成部である。種類確率分布計算部１１２は、DNNの出力層のニューラルネットワークに対応する構成部である。種類確率分布計算部１１２の出力層に含まれるユニットの数は、種類の数Jに等しい。第jユニット（1≦j≦J）は、音声特徴量を抽出した音声の種類番号がjである（第j種である）確率を出力するユニットになる。

なお、種類中間特徴量計算部１１１と種類確率分布計算部１１２をDNN以外のニューラルネットワークを用いて構成してもよい。ただし、種類確率分布計算部１１２の出力はJ次元ベクトルとなるように構成する。

図５に従い種類識別部１１０の動作について説明する。種類中間特徴量計算部１１１は、入力された音声特徴量から、種類識別用の中間特徴量である種類特徴量を計算する（Ｓ１１１）。種類中間特徴量は、入力された音声特徴量を抽出した音声が対応する種類が第j種（1≦j≦J）である確率q_jの分布である種類確率分布q=(q₁,…,q_J)を計算するために用いる特徴量である。また、上述の通り、種類中間特徴量計算部１１１がDNNの入力層から最終隠れ層までのニューラルネットワークに対応する構成部である場合、種類中間特徴量は学習中のDNNの最終隠れ層の出力特徴量となる。

種類確率分布計算部１１２は、Ｓ１１１で計算した種類中間特徴量から、種類確率分布を計算する（Ｓ１１２）。上述の通り、種類確率分布計算部１１２がDNNの出力層のニューラルネットワークに対応する構成部である場合、種類確率分布は学習中のDNNの出力層の出力特徴量となる。ここで、種類番号jの種類（第j種）は出力層を構成する第jユニットに対応するので、種類確率分布は出力層の第jユニットからの出力値である確率q_jを並べた分布q=(q₁,…,q_J)になる。

種類決定部１１３は、Ｓ１１２で計算した種類確率分布から、確率が最大となる種類番号j’を決定する（Ｓ１１３）。

音素中間特徴量計算部１２０は、入力された音声特徴量とＳ１１０で決定した種類番号j’から、音素識別用の中間特徴量である音素中間特徴量を計算する（Ｓ１２０）。音素中間特徴量は、入力された音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するために用いる特徴量である。以下、図６〜図７を参照して音素中間特徴量計算部１２０について説明する。

図６に示すように音素中間特徴量計算部１２０は、音声特徴量入力部１２１、第1種中間特徴量計算部１２２_１、…、第J種中間特徴量計算部１２２_Ｊ、音素中間特徴量出力部１２３を含む。第1種中間特徴量計算部１２２_１、…、第J種中間特徴量計算部１２２_Ｊは、それぞれDNNの入力層から最終隠れ層までのニューラルネットワークに対応する構成部、CNNに対応する構成部のいずれかである。種類番号jの音声（第j種の音声）が雑音を含む音声である場合、第j種中間特徴量計算部１２２_jは、CNNに対応する構成部とする方が好ましい。第j種中間特徴量は、入力された音声特徴量が種類番号j（1≦j≦J）の音声のものであるとして、当該音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するための特徴量である。また、第1種中間特徴量、…、第J種中間特徴量のベクトルとしての次元は一致する。

なお、第1種中間特徴量計算部１２２_１、…、第J種中間特徴量計算部１２２_ＪをDNNやCNN以外のニューラルネットワークを用いて構成してもよい。ただし、この場合も雑音に強い音響モデルを生成するニューラルネットワークとそうでないニューラルネットワークなど音声の種類に応じたニューラルネットワークを準備するのが好ましい。

例えば、雑音の有無と性別を基準に分類する場合、J=4であり、第1種中間特徴量計算部１２２_１は雑音がない男性の音声（種類番号1の音声）の特徴量を第1種中間特徴量、第2種中間特徴量計算部１２２₂は雑音がない女性の音声（種類番号2の音声）の特徴量を第2種中間特徴量、第3種中間特徴量計算部１２２₃は雑音を含む男性の音声（種類番号3の音声）の特徴量を第3種中間特徴量、第4種中間特徴量計算部１２２₄は雑音を含む女性の音声（種類番号4の音声）の特徴量を第4種中間特徴量としてそれぞれ計算する。この場合、第1種中間特徴量計算部１２２₁と第2種中間特徴量計算部１２２₂はDNNの入力層から最終隠れ層までのニューラルネットワークに対応する構成部、第3種中間特徴量計算部１２２₃と第4種中間特徴量計算部１２２₄はCNNに対応する構成部として構成する。

図７に従い音素中間特徴量計算部１２０の動作について説明する。音声特徴量入力部１２１は、Ｓ１１０で決定した種類番号j’を用いて、入力された音声特徴量を第j’種中間特徴量計算部１２２_j’に出力する（Ｓ１２１）。

第j’種中間特徴量計算部１２２_j’は、音声特徴量入力部１２１から入力された音声特徴量から、第j’種中間特徴量を計算する（Ｓ１２２）。

音素中間特徴量出力部１２３は、Ｓ１２２で計算した第j’種中間特徴量を音素中間特徴量として出力する（Ｓ１２３）。

音素確率分布計算部１３０は、Ｓ１２０で計算した音素中間特徴量から、音素確率分布を計算する（Ｓ１３０）。音素確率分布計算部１３０は、DNNの出力層のニューラルネットワークに対応する構成部である。音素確率分布計算部１３０の出力層に含まれるユニットの数は、音素の数に等しい。また、第mユニットは、音声特徴量に対応する音素の音素番号がmである（音声特徴量に対応する音素が第m音素である）確率を出力するユニットになる。

なお、音素確率分布計算部１３０をDNN以外のニューラルネットワークを用いて構成してもよい。ただし、音素確率分布計算部１３０の出力はM次元ベクトルとなるように構成する。

パラメータ最適化部１４０は、Ｓ１３０で計算した音素確率分布と入力された正解音素番号を用いて、音響モデルパラメータを最適化する（Ｓ１４０）。具体的な最適化計算方法は、音響モデル学習装置７００のパラメータ最適化部７３０と同様でよい。

計算した音響モデルパラメータは、種類中間特徴量計算部１１１、種類確率分布計算部１１２、第j’種中間特徴量計算部１２２_j’（ただし、j’はＳ１１０で決定した種類番号）、音素確率分布計算部１３０にフィードバックされ、次の訓練データを用いた学習に利用される。

音響モデル学習装置１００は、Ｓ１１０〜Ｓ１４０の処理を訓練データの数だけ繰り返し、最終的に計算された音響モデルパラメータを学習結果として出力する。

なお、種類識別部１１０と音素中間特徴量計算部１２０をまとめて中間特徴量計算部１０５という（図２参照）。また、中間特徴量計算部を音響モデル学習装置１００の一部としてではなく、独立した装置として扱う場合、中間特徴量計算装置という。中間特徴量計算装置は、音声特徴量を入力として、当該音声特徴量を抽出した音声データの種類を識別したうえで、中間特徴量を計算、出力するものとなる。

［音声認識装置２００］
以下、図８〜図１１を参照して音声認識装置２００について説明する。図８に示すように音声認識装置２００は、音声特徴量抽出部２１０、音声認識部２２０を含む。

また、音声認識装置２００は、学習結果記録部２９０と接続している。学習結果記録部２９０は、音響モデル学習装置１００が学習した音響モデルを記録している。なお、学習結果記録部２９０は、音声認識装置２００に含まれる構成部としてもよい。

図１０に示すように音声認識部２２０は、種類識別部１１０、音素中間特徴量計算部１２０、音素確率分布計算部１３０、音声認識結果生成部２２１を含む。種類識別部１１０、音素中間特徴量計算部１２０、音素確率分布計算部１３０は、音響モデル学習装置１００のそれと同様の構成部である。

音声認識装置２００は、認識用音声データから、認識用音声データの認識結果である音声認識結果を生成する。

音声認識装置２００は、音声認識開始までに、学習結果記録部２９０に記録した音響モデルパラメータを音声認識部２２０（具体的には、種類識別部１１０、音素中間特徴量計算部１２０、音素確率分布計算部１３０）に設定する。

図９に従い音声認識装置２００の動作について説明する。音声特徴量抽出部２１０は、認識用音声データから、認識用音声データの音声特徴量を抽出する（Ｓ２１０）。音声特徴量抽出部２１０は、音響モデル学習装置１００の入力である音声特徴量の生成と同一条件にて音声特徴量を抽出する。

音声認識部２２０は、Ｓ２１０で抽出した音声特徴量から、認識用音声データを認識した結果である音声認識結果を生成する（Ｓ２２０）。図１１に従い、具体的処理について説明する。種類識別部１１０は、Ｓ２１０で抽出した音声特徴量から、当該音声特徴量を抽出した音声データの種類に対応する種類番号j’を決定する（Ｓ１１０）。音素中間特徴量計算部１２０は、Ｓ２１０で抽出した音声特徴量とＳ１１０で決定した種類番号j’から、音素識別用の中間特徴量である音素中間特徴量を計算する（Ｓ１２０）。音素確率分布計算部１３０は、Ｓ１２０で計算した音素中間特徴量から、音素確率分布を計算する（Ｓ１３０）。音声認識結果生成部２２１は、Ｓ１３０で計算した音素確率分布から確率が最大となる音素を決定し、決定した音素の系列から音声認識結果を生成する（Ｓ２２１）。なお、音素の系列の長さは、認識用音声データから抽出された音声特徴量の数と等しくなる。

本実施形態の発明によれば、音声の種類を識別したうえで音素中間特徴量を計算する。また、音声の種類を反映して計算した音素中間特徴量を用いて、各種類の音声を認識するための音響モデルを結合したものに相当する１つの音響モデルを学習する。これにより、認識処理に必要な計算時間を抑制しつつ学習用音声データの種類にかかわらず高精度な音声認識を実現する音響モデルを学習することができる。

本実施形態の発明による音響モデルを用いて音声認識をすることにより、音響モデル学習装置７００や音響モデル学習装置８００による音響モデルを用いた音声認識と比較して、雑音の有無に影響を受けない高精度な音声認識が可能となる。また、音響モデル学習装置９００による音響モデルを用いた音声認識と比較して、認識処理に必要な計算時間を抑制することも可能となる。

＜変形例＞
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

1. 音声データを分類する種類の数をJ、前記種類を識別するための番号を種類番号、音素の数をM、前記音素を識別するための番号を音素番号とし、
   音声特徴量から、当該音声特徴量を抽出した音声データの種類に対応する種類番号j’（ただし、j’は1≦j’≦Jを満たす整数）を決定する種類識別部と、
   前記音声特徴量と前記種類番号j’から、当該音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するために用いる特徴量である第j’種中間特徴量を音素中間特徴量として計算する音素中間特徴量計算部と
   を含む中間特徴量計算装置であって、
   前記音素中間特徴量計算部は、1≦j≦Jを満たす各整数jについて、
   ニューラルネットワークを用いて、種類番号jの音声データから抽出された音声特徴量から、第j種中間特徴量を計算する第j種中間特徴量計算部と
   を含み、
   前記種類識別部は、
   前記音声特徴量から、種類識別用の中間特徴量である種類中間特徴量を計算する種類中間特徴量計算部と、
   前記種類中間特徴量から、種類確率分布を計算する種類確率分布計算部と、
   前記種類確率分布から、確率が最大となる種類番号を前記種類番号j’として決定する種類決定部と
   を含むことを特徴とする中間特徴量計算装置。
2. 音声特徴量と当該音声特徴量に対応する音素を識別するための音素番号である正解音素番号から、音声認識に用いる音響モデルを学習する音響モデル学習装置であって、
   請求項１に記載の中間特徴量計算装置を用いて、前記音声特徴量から、当該音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するために用いる特徴量である第j’種中間特徴量（ただし、j’は前記音声特徴量を抽出した音声データの種類に対応する種類番号であり、1≦j’≦Jを満たす整数）を音素中間特徴量として計算する中間特徴量計算部と、
   前記音素中間特徴量から、前記音素確率分布を計算する音素確率分布計算部と、
   前記音素確率分布と前記正解音素番号を用いて、前記音響モデルのパラメータである音響モデルパラメータを最適化するパラメータ最適化部と
   を含み、
   前記パラメータ最適化部は、前記音響モデルパラメータのうち、前記中間特徴量計算部に含まれる、前記種類番号j’に対応する第j’種中間特徴量計算部で用いられるニューラルネットワークを特徴付けるパラメータを最適化することを特徴とする音響モデル学習装置。
3. 認識用音声データから、前記認識用音声データの音声特徴量を抽出する音声特徴量抽出部と、
   請求項２に記載の音響モデル学習装置が学習した音響モデルを用いて、前記音声特徴量から前記認識用音声データの認識結果である音声認識結果を生成する音声認識部と、
   を含む音声認識装置。
4. 音声データを分類する種類の数をJ、前記種類を識別するための番号を種類番号、音素の数をM、前記音素を識別するための番号を音素番号とし、
   中間特徴量計算装置が、音声特徴量から、当該音声特徴量を抽出した音声データの種類に対応する種類番号j’（ただし、j’は1≦j’≦Jを満たす整数）を決定する種類識別ステップと、
   前記中間特徴量計算装置が、前記音声特徴量と前記種類番号j’から、当該音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するために用いる特徴量である第j’種中間特徴量を音素中間特徴量として計算する音素中間特徴量計算ステップと
   を含む中間特徴量計算方法であって、
   前記音素中間特徴量計算ステップは、1≦j≦Jを満たす各整数jについて、
   ニューラルネットワークを用いて、種類番号jの音声データから抽出された音声特徴量から、第j種中間特徴量を計算する第j種中間特徴量計算ステップと
   を含み、
   前記種類識別ステップは、
   前記音声特徴量から、種類識別用の中間特徴量である種類中間特徴量を計算する種類中間特徴量計算ステップと、
   前記種類中間特徴量から、種類確率分布を計算する種類確率分布計算ステップと、
   前記種類確率分布から、確率が最大となる種類番号を前記種類番号j’として決定する種類決定ステップと
   を含むことを特徴とする中間特徴量計算方法。
5. 音響モデル学習装置が、音声特徴量と当該音声特徴量に対応する音素を識別するための音素番号である正解音素番号から、音声認識に用いる音響モデルを学習する音響モデル学習方法であって、
   前記音響モデル学習装置が、請求項４に記載の中間特徴量計算方法を用いて、前記音声特徴量から、当該音声特徴量が対応する音素が音素番号m（1≦m≦M）の音素である確率p_mの分布である音素確率分布p=(p₁,…,p_M)を計算するために用いる特徴量である第j’種中間特徴量（ただし、j’は前記音声特徴量を抽出した音声データの種類に対応する種類番号であり、1≦j’≦Jを満たす整数）を音素中間特徴量として計算する中間特徴量計算ステップと、
   前記音響モデル学習装置が、前記音素中間特徴量から、前記音素確率分布を計算する音素確率分布計算ステップと、
   前記音響モデル学習装置が、前記音素確率分布と前記正解音素番号を用いて、前記音響モデルのパラメータである音響モデルパラメータを最適化するパラメータ最適化ステップと
   を含み、
   前記パラメータ最適化ステップは、前記音響モデルパラメータのうち、前記中間特徴量計算ステップに含まれる、前記種類番号j’に対応する第j’種中間特徴量計算ステップで用いられるニューラルネットワークを特徴付けるパラメータを最適化することを特徴とする音響モデル学習方法。
6. 音声認識装置が、認識用音声データから、前記認識用音声データの音声特徴量を抽出する音声特徴量抽出ステップと、
   前記音声認識装置が、請求項５に記載の音響モデル学習方法により学習した音響モデルを用いて、前記音声特徴量から前記認識用音声データの認識結果である音声認識結果を生成する音声認識ステップと、
   を含む音声認識方法。
7. 請求項１に記載の中間特徴量計算装置としてコンピュータを機能させるためのプログラム。

Images