JPH01243169A - パターン学習・生成方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の概要〕 パターンの学習・生成方式に関し、 実世界のデータの効率的な学習を可能にし、かつ早く収
束することができるようにすることを目的とし、 入力層、多段の中間層、多段の出力層、および最終出力
層からなるニューラルネットワークを用い、入力層に入
力系列を加え、最終出力層は多段の出力層の各出力の重
み付け平均をとってこれを最終出力とし、入力層と中間
層との間の重み係数あるいは中間層と出力層との間の重
み係数のいずれか一方の重み係数をランダム化し、各段
独立に学習させるように構成する。

〔産業上の利用分野〕

本発明はパターンの学習・生成方式に関し、合成音声の
生成、音声認識などに有効であるが、広く時系列データ
を含む一般的なパターンに適用可能である。

合成音声の生成には、登録されたメソセージであればパ
ーコール方式があり、これは音声の特徴を抽出し、抽出
されたパラメータから情報圧縮して、音声出力する。登
録されたものではない任意の文章（文字列）の合成音声
の生成にはいわゆる規則合成法が用いられている。規則
合成法は人間の話し方をルール化し、このルールで文字
列を合成音声化するものである。規則合成法は比較的小
規模なシステムでも合成音声が生成できる反面、少し品
質の高い合成音声を作ろうとする場合ルールが複雑化す
るとともに、一般的な規則を見つけることが、音声の基
本的問題点と密接に関連していて容易でなく、自然な合
成音声を作ることが困難で、機械的、非人間的音声にな
ってしまう。

ニューラルネットワーク（人間の脳をまねたネ・７トワ
ーク）を用いた学習システムを導入することにより、規
則合成法に比べてより自然な合成音声を作ることが可能
である。ニューラルネットワークは、空間にパラメータ
を分布させ、それに覚え込ませるもので、低精度なもの
を並列に多数並べることにより精度を上げ、規則を指示
するではなく学習で覚え込ませるという手法をとる。■
とＣ０記号列と記号列の学習であり、各々、決められた
場所に符号が立っているか否かで学習ができ、可成り粗
い手法でも成功を収めることが多い。

ニューラルネットワークを用いてテキスト（文字列）か
ら自然な合成音声を自動生成するシステムは、テキスト
から音韻系列に変換する部分と、音韻系列から合成音声
を生成させる部分からなる。

前者の文字列を音韻系列に変換する部分については、文
字列（１１０の状態）の学習で済むが、音韻系列から合
成音声を生成させる部分については、高精度なアナログ
データの学習をしなければならず、今まで困難であった
。本発明は音韻系列から音源／声道パラメータを出力す
る部分に用いても有効なバクーン学習・生成方式に係る
ものである。

〔従来の技術〕

ニューラルネットワークで用いるアナログニューロン素
子は第５図に示すように重み係数Ｗｉｊ用の抵抗と加算
器Σと出力関数ｆ４からなり、入力Ｘ、・しきい値θ、
を受けて次式で表わされる出力Ｚｉ、内部変数ｙ、を生
じる。

７、−、ＬＷ　ｉ　ｊ　Ｘ　ｉ＋θ、　　　　　　　　
・・・・・・（１）ｘ−ｆ；＜ｙｉ）　　　（＝＝＋、
ｚ、・・・・・’、）−・−Ｃ２）ここで■は入力素子
の数、Ｊは出力素子の数である。ニューラルネットワー
クモデルとしては第６図に示す入力層、中間層（ｈｉｄ
ｄｅｎ　１ａｙｅｒ；隠れ層）、および出力層からなる
３層構造のモデルが用いられている。重み付けは入力層
と中間層の間、および中間層と出力層の間で行なわれる
。

入力層の任意の一点をｘｈ□、ｔｐ（１≦ｉｓ≦Ｉｓ。

１≦ｉｐ≦ＩＰ、　ＩＳは人力層における系列の数、Ｉ
Ｐは系列の一つが持つ素子数）とし、中間層の任意の一
点をＺｌ′Ｊ（１≦ｊ≦Ｊ、Ｊは中間層の素子の数）と
する。このとき、入出力関係は、 ｚｈｊ＝）ｌ＋、　　（’ＨΣＷ’ｉｓ＋　ｉｐ＋　ｊ
　Ｘ　’ｉｓ＋　ｉｐ十〇’ｊ）　　＝−（３）となる
。同様にして、中間層から出力層への人出力関係は、 Ｚ　’、−ｆ　ｏｋ（ト’ｒｂ　Ｘ　’ｊ＋θ’　、　
　　　−・−・−（４）但し、ｘ　Ｏ、＝ｚ　ｈ　、で
あり、また１≦に≦Ｋ（Ｋは出力層の素子の数）である
。

以下に従来技術において用いられるバックプロパゲーシ
ョン学習アルゴリズムを示す。但し、Ｚ）′ｊ＋　　ｚ
ｏ、をまとめてＺｊ　と、またｘｈｉｓ＋ｉｐ＋ｘｌ″
ｊをまとめてＸｌと、またｆ　’ｊ＋　　”　ｋをまと
めてｆと書くことにする。

目標入力（望ましい出力；ターゲット）をｔ、とし、目
標値ｔｊと実際の出力ｚＪとの誤差の二乗和が最小にな
るように、重みＷｉｊを修正する（修正量をΔＷｉｊと
する）。簡単化のため、しきい値θ、の値は０とする。

即ち出力誤差ＥをＥ＝１／２Σ（ｔｉ　　Ｚ＝）”　　
　　　　　・・・・・・（５）とおき（１／２は、後で
微分をとったときに係数２が消えるようにするもの）、
次式に基づく学習法（最急降下法；誤差の傾斜が最も急
になるように重み修正量Δを決める）をとる。

ΔＷ　１ＪＱＣ−θＥ／θＷ０、　　　　　　　・・・
・・・（６）ここで、式（５）より、次式が成立する。

θＥ／θｚＪ＝　　（ｔ、＋　　Ｚ；）　　　　　・・
・・・・（７）いま、 θＥ／ｃ？　Ｗ　ｉ　ｊ−θＥ／ｅ　ｙ、−θｙＪａｗ
＝ｊ　　・（８）であるので、式（１）より θｙＪ／θＷｉｊ＝θ／θｗＨＪ−’１ｗ、、ｘ　ｙ　
＝　ｘ　ｔ　・＝　（９）となる。つぎに、 δ、＝−θＥ／θｙｊ　　　　　　　　・・・・・・０
０）と置くと、式（８）と式（９）より 一θＥ／θｗＩｊ−δ、χ、　　　　　　　・・・・・
・θ１）であり、これと式（６）の仮定より ΔＷｉｊ−αδ、χｉ　　　　　　　　　　・・・・・
・０２）となる。つぎに、δｊを計算する。弐〇〇）よ
りδ４−−θＥ／θｚＪ・θｚｊ／θｙＪであるので、
式（７）１式（２）を考慮すると１、出力層における誤
差の後向き伝播量δ０６は δ’ｈ−（ｔｋ−Ｚ’ｋ）ｆ′ｈ（ｙ’ｋ）　　　−・
−ＯＳとなる。また、出力層以外（中間層）における誤
差の後向き伝播量δｈ４は次のようになる。

δｈＪ＝ｆ′＝　（ｙ′′；）　：、δｏ、　Ｗ　ｊｌ
＋（ここでＫは出力層の素子数）　　・・・・・・０４
）特に、出力関数ｆ　（・）をロジスティック曲線ｚ、
＋−１／（１＋ｅｘｐ（’／ｉ））　　　　　・・・・
・・θωとする（Ｚ、、はｙ、がＯのとき１／２で、そ
れよりｙ、が正に増大すると１に、負にも増大すると０
に、飽和曲線を画いて近ずく）と、 ｆ’＝　（ｙ＝）　−ＺＪ（１−ｚ＝）　　　　　−＝
０６）であるので、式０３）と式（１４）は、各々δｚ
＝　（ｔｋｚ０＋、）　Ｚ’ｈ　（１ｚ’ｈ）　・旧・
・０７１δｈｊ＝　ｚ　’；　（１ｚ　’、１）　’Ｅ
δ’ｋｗ’４．　　・・・・・ＨＱ８）となる。これら
において、弐０２）より、中間層と出力層の間の重みｗ
０５．の修正量ΔＷ’ｊ、は６ｗ０Ｊｈ　（ｎ＋１）　
−αδ０ｋｘｏＪ・・−・・・（＋！］）または、 ６ｗ０Ｊｋ（ｎ＋１）　＝　（ｚδ０　、　ｘ　Ｏ、＋
βΔｗ’、ｋ（１）・・・・・・ＱΦ となる。これに対し、入力層と中間層の間の重みＷｈｉ
ｊの修正量ΔＷｈｉｊは Δ　ｗ１盪Ｊ（ｎ＋１）　　　−α　δ　１１　ｘ　６
□　　　　　　　　　　　・・・・・・　　　（２イ）
または、 Δｗｈｚ７（ｎ＋１）　−ｏ：δｈ　ｊＸ　ｈ　、＋８
６ｗ　ｈ、ｉ　（ｎ）・・・・・・Ｑａ となる。以上の展開より、従来法の学習では、入力層か
ら中間層を経て出力層へ、図のモデルを用いて各々の出
力値を計算し、ついで、弐〇７）、　０１０と式ＱΦ、
Ｑつを用いて重み修正をすることにより、パターンの学
習を行っている。つまり、バンクプロパゲーションによ
る学習では、学習用のデータを入力し結果を出力する（
前向き；フィードフォワード）、結果のエラーを減らす
ように結合の強さを変える（後向き：フィードバック）
、再び学習用データを人力する、これを収束するまで繰
り返す、という方法をとる。

〔発明が解決しようとする課題〕

ニューラルネットワークを用いた合成音声自動生成シス
テムは、規則合成法に比べて一層自然な合成音声を生成
することができる。理由は規則合成法が音韻変化の特徴
を全て規則として記述しなければならず、かつこれが困
難であるのに対し、ニューラルネットワークを用いた学
習法を導入すると、音韻環境を伴う入力と実音声より得
られた目標出力をセットで学習させることが可能になり
、自然な音韻環境をネットワークの中に取り込むことが
可能になるからである。しかし、現在までに提案されて
いるニューラルネットワークを用いた学習方式では、特
定の音韻環境以外を学習することは困難である。これは
、従来技術を用いるとデータ同士が直交しているもの以
外の学習が困難であり、学習の途中で今迄の学習結果が
破壊されることが多く、かつ学習の収束性が極めて悪い
ことによる。

本発明はかかる点を改善し、実世界のデータ（必ずしも
直交していないデータ）の効率的学習を可能にし、かつ
早く収束することができるようにすることを目的とする
ものである。

〔課題を解決するための手段〕

第１図に示すように本発明ではニューラルネットワーク
を入力層１０、中間層１２、出力層１４、最終出力層１
６で構成し、中間層と出力層は多段にする（多重化する
）。

入力層１０は１段であり、内部にＩ　＝ＩＳＸＩＰの点
（素子）を持つ。ここでＩｓは、入力を系列としたとき
の該系列の持つ個数であり、ＩＰは系列の１点が持つ列
（ベクトル）の中の素子の個数である。

中間層１２の段数はＭ段であり、ここでは中央のものを
Ｈ８、最上段をＨ−（Ｍ−１１／□、最下段をＨ（Ｎ−
１１／□とじている。出力層１４もＭ段とし、ここでは
同様な符号付けをしている。最終出力層１６は１段であ
る。

入力層の全ての点から、全ての段の中間層の全ての点に
対し結線し、中間層から出力層へは各最内において、当
該段の中間層の全ての点から出力層の全ての点に結線し
、他の段に対しては結線しない。出力層から最終出力層
へは、ある規則に基づき重み付け平均をとるための結線
をする。

〔作用〕

このニューラルネットワークでは入力層１０と中間層１
２との間、あるいは中間層１２と出力層１４との間の重
み係数を必要に応じてランダム化させる。また、多重化
した中間層１２と出力層１４では各段独立に学習させ、
最終出力層１６で出力層１４の各段の出力の重み付け平
均をとってこれを最終出力０７とする。次に学習規則を
列挙する。

■）従来法では、入力層はある長さ（ＩＳ）の系列から
なり、出力層は入力層の系列（特徴ベクトル列）の−点
（時系列では時刻）に対応するデータの列（特徴ベクト
ル）を出力とし、入力系列と出力系列とをセットで学習
させている。これに対し、本発明では、ネットワークを
多段化させ、出力列を段数分だけ増やして、各段の出力
列に対応する入力系列の点は■ある点を中心としてとな
りあった点をとる、■入力系列の任意の点をとる、など
の選択により定める。

■）次いで、学習を行う場合は、入力層と中間層の間の
重み係数、あるいは中間層と出力層との間の重み係数の
うち、必要に応じていずれか一方の重み係数をランダム
化しく例えば正規乱数値を重み係数に与える）、かつ各
段の間では独立に学習させる。この場合、各段の間でも
ランダム化した重み係数は同じセットではなく、やはり
ランダムである。また、最終出力層では、各段の出力層
の重みづけ平均をとる。

■）また、学習プロセスにおいて出力層における誤差の
後向き伝播量６０ｋを ６０に＝　（ｔｈ　　ｚ’ｋ）　Ｋ　（・）　　　・・
・・・・（２３）とし、中間層における誤差の後向き伝
播量δｌ′ｊを６６、＝Ｋ（・）′ｆ、δ’Ｗｊｈ　　
　　　・＝＝−（２４）とする。ここで、Ｋ（・）はあ
らかじめ定められた関数である。０７）ＯＩ式から明ら
かなようにδはＺが０と１で特異点を持ち、値が０にな
る。δが０に落ちると浮び上れなくなり、修正がなされ
なくなる。関数Ｋ（・）はこれを救うものである。さら
に、重み係数の修正についても、中間層と出力層の間の
重みＷ’ｊｋの修正量ΔＷ’ｊｋは、６ｗ０Ｊｋ（ｎ＋
１）　＝αδ０ｋｔ、（ｉ＋βΔｗ’、＋ｋ（ｎ）　＋
Ｍ　（・）　　−−（２５）とし、入力層と中間層の間
の重みＷｈｉｊの修正量ΔＷｈｉｊは、 Δｗｈ＋＝（ｎ＋１）　＝ａδ’、ｔＬ（−）＋βΔＷ
’＋、（ｎ）　＋Ｍ　（１−・＝　　（２６）とする。

ここで、Ｌ（・）１Ｍ（・）はあらかじめ定められた関
数とする（ここで、■）の係数ランダム化を行うとΔＷ
’ｊｋ又はΔＷｈ、ｊのどちらか一方は０となる）。た
だし、前項Ｉ）または、前項■）を適用する場合、誤差
伝播則、重み修正量はこの限りではない。

ネットワークの多重化及び最後の重み付け平均で、時間
分解能を損なわずに空間分解能を向上させることができ
、ランダム化で、学習で生じる重み係数の統計的偏り（
これが生じると、今までの学習結果が破壊される恐れが
ある）を均一化、従って学習精度の均一化をすることが
できる。更に、重み係数の一方のランダム化で、他方の
重み係数の収束値を重み係数が取り得る値の空間全体に
拡散させることができ、必らずしも直交していないデー
タの効率的学習が可能になる。

〔実施例〕

本発明のニューラルネットワークの実施例を音声合成と
音声認識について示す。

第２図は音声合成システムで、音韻生成部２２と音声パ
ラメータ生成部２４を備え、ニューラルネットワークＮ
ＮＷは各々に設けられる。入力音声２６を音声パラメー
タ自動抽出システム２０（特開昭５９−１５２４９６、
同１５２４９７に開示）に加えて分析し、音声パラメー
タ即ち音源パワー、有声／無声パラメータ、ピッチ等の
音源パラメータと、声道断面積、ＰＡＲＣＯＲ係数など
の声道パラメータ、またはＡＲ（全極型）パラメータ、
ＡＲ／ＭＡ　（極零型）パラメータ、スペクトル、その
他音声を分析して得られるパラメータを得て、これを音
声パラメータ生成部の学習入力（目標出力）とする。

また自動抽出システム２０より得られた音声パラメータ
、あるいは原波形より、人力音声の音韻を決定し、音韻
生成部２２の学習人力（目標出力）とする。

音韻生成部２２の入力は、発声される音声（入力音声２
６）のちとになるテキスト（文字列）ＴＸである。文字
列Ｔ、例えば「朝早く・・・・・・」は音韻系列ｒＡ、
Ｓ、Ａ、Ｈ，Ａ、Ｙ、Ａ、に、Ｕ、・・・・・・」に変
換されて、音韻生成部２２のニューラルネットワークＮ
ＮＷの人力層１０に入る。（１音韻ずつ逐次入力しかつ
排出されて、入力層には所定数の音韻があるようにされ
る）。上記変換は、平均音節長あるいは規則合成法ある
いは音韻論の知識を用いて行なう。文字列では、音声に
有る時間的な要素はないが、Ｔ、−１１，間の変換でこ
の時間要素が加えられる。また音韻は文字１つでは決ら
ないので、複数の文字が参照されて、各音韻が逐次フレ
ーム間隔で決定されて行く。こうして時間要素が加えら
れるが、速さは平均的なものであり、実際の速さにはＮ
ＮＷでの学習により修正される。

学習入力は前述の如くで、実音声より定められた音韻系
列データであり、音韻生成部２２のニューラルネットワ
ークＮＮＷは上記に入力音韻系列Ｉｐを学習入力音韻系
列に修正して出力し、この出力Ｏｐ。■が音声パラメー
タ生成部２４の入力になる。学習入力は１，０であるが
、音韻出力は０と１の間の値をとる。このとき、必要に
応じてしきい値をもうけ音韻出力を０と１のみの値とし
てもよい。

音声パラメータ生成部２４は上記出力のを受けてこれを
前記学習入力（音声パラメータに変換して出力し、この
出力Ｏ１Ｔは音声合成回路２８に加えられて合成音声本
例では「朝早く・・・・・・」を出力させる。

第３図に音声パラメータ生成部の詳細を示す。

入力層１０と最終出力層１６は１段、中間層１２と出力
層１４はＭ段である。入力層１０への入力は前記音韻系
列■であり、そのＩＰ個の点（データ）を含む列（音曲
）の１３個を入力しく１回の処理対象）とする。各列は
逐次入力され、中央のものにはｔ。、それより下方のも
のにはも。。１〜も０．３をまた上方のものにはも。−
Ｉ〜ｔ　ｏ−ｉを付しである。時間ｔの進行方向を矢印
で示す。

中間層１２及び出力層１４の段数Ｍは、少ないとランダ
ム化、重み付け平均化の意味が薄れるのである程度多い
のがよい。例えばｌ５＝２９に対しＭ＝９などとする。

中間層の各段の素子数Ｊ、−Ｊ、は各々異なってもよい
が、ここでは一般性を失うことなくＪｌ−・・・・・・
＝Ｊ、−・・・・・・＝Ｊ、４＝Ｊとする。出力層１４
の各膜素子数も同様で、ここではに１−・・・・・・＝
Ｋ。

＝・・・・・・−に、＝にとする。また出力層１４にお
いて各段が持つ入力系列の点（本例の時系列では時刻）
は入力系列の任意の点（時刻）でよいが、これも一般性
を失なうことなくＫｌ−ＫＭはある系列の点（時刻）を
中心として隣り合った点の値をとるものとする。このと
き、 ■）学習は、入力系列の中から互いに連結する１３列の
データをランダムに選択し、その中心の値から両側に（
Ｍ−１）／２個だけの系列の点に対応する出力データ列
（ヘクトル）を各段に順に付与し、その値（目標値）と
人力系列とをセットにして各段で行う。このランダムな
選択学習を逐次、必要なだけ繰り返す。また、最終出力
層１６では系列の−点（−時刻）に対しＭ個のデータが
与えられるので、適当な重み（例えば、Ｒｅｃｔａｎｇ
ｕｌａｒ、　　あるいはＨａｍｍｉｎｇ、　Ｉｌａｎｎ
ｉｎｇその他のＷｉｎｄｏｗ関数を与える）を付けて平
均値をとる。

■）学習を行う場合、人力層と中間層、あるいは中間層
と出力層の間の重み係数のうち、必要に応じてどちらか
一方（ここでは、−膜性を失うことなく中間層から出力
層の間の重み係数値）をランダム化し、学習させる。

■）また、学習プロセスにおいては、中間層と出力層の
間の重み係数をランダム化し、入力層と中間その間の学
習を式（２３）、　（２４）　、　ｅ６）にしたがって
行う。このとき、式（２５）と式（２６）における関数
ｒ−（・）。

Ｍ（・）は、０式　ＱΦ、　（２２）と同様にする、あ
るいは■学習初期においては定数とし、学習結果を判断
し人カバターンの性質、学習の収束性を考慮した重み付
け関数を実験的に決める。

第４図に音声認識の実施例の概要を示す。音声認識は音
声合成の逆プロセスになり、ニューラルネットワークＮ
ＮＷに音声パラメータを逐次入力して、出力に音韻系列
を得、この音韻系列から文字列を得る。

即ち、入力音声に対し自動抽出システムを適用し、音声
パラメータ即ち音源パラメータ及び声道パラメータを得
る（他のパラメータ、例えばＡＲパラメータ、スペクト
ル・パラメータ、　Ｗａｌｓｈ−１（ａｄａｍａｒｄ、
　Ｈａｒｒパラメータを用いてもよい。これらのパラメ
ータを入力とし、多段のニューラルネットワークＮＮＷ
を適用することにより最終出力を得る。最終出力は音声
合成の場合とは逆で、０と１の間の値をとる音韻パラメ
ータ系列である。この場合音韻パラメータは既に重み付
け平均化がなされているので、その出力値はその音韻で
あることの確からしさを示している。

従って最終的に入力音声がどの音韻であるかを決定する
具体的方法は、■系列のある点（時系列の場合は時刻）
において同時に発火している素子の中から出力値の一番
犬きいものをとる。あるいは、■出力値の大きいものか
ら順に候補として選択し、島駆動方式などにより、音韻
論的に最も確からしいものに決定する。■このシステム
を多量の音声データに適用することにより得る知見をル
ール化し、エキスパートシステムを構成することにより
、音韻を決定する、などの方法をとる。音韻系列が求ま
れば、これより文字列に変換する。

この場合、第２図の音韻生成部の逆プロセスをとる（す
なわち、音韻系列を入力とし、文字列を出力とする）ニ
ューラルネットワークを構成し、前記の音韻を決定する
のと同様の手順をとることにより（つまり、出力値をそ
の文字であることの確からしさであると考え、前記■、
■、■の手順をとることにより）文字列を決定すること
もできる。

〔発明の効果〕

以上説明したように本発明はニューラルネットワークを
多重化し、重み付け平均をとって最終出力とし、入力層
と中間層あるいは中間層と出力層間の重み係数をランダ
ム化したので、アナログ情報の学習を極めて高い精度で
、且つす早く収束可能にすることができ、自動音声合成
に用いて一層自然的で良好な合成音声が得られる等の効
果を得ることができる。

【図面の簡単な説明】

第１図は本発明の原理説明図、 第２図〜第４図は本発明の実施例を示し、第２図は音声
合成システムの説明図、第３図は音声パラメータ生成部
の説明図、第４図は音声認識システムの説明図、 第５図〜第６図は従来例を示し、第５図はアナログニュ
ーロン素子の説明図、第６図はニューラルネットワーク
モデルの説明図である。 第１図で１０は入力層、１２は中間層、１４は出力層、
１６は最終出力層、■は入力系列、ＯＴは最終出力であ
る。

Claims (1)

1. 【特許請求の範囲】 １、入力層（１０）、多段の中間層（１２）、多段の出
   力層（１４）、および最終出力層（１６）からなるニュ
   ーラルネットワークを用い、 入力層に入力系列（Ｉ）を加え、最終出力層は多段の出
   力層の各出力の重み付け平均をとってこれを最終出力（
   Ｏ＾Ｔ）とし、 入力層と中間層との間の重み係数あるいは中間層と出力
   層との間の重み係数のいずれか一方の重み係数をランダ
   ム化し、各段独立に学習させることを特徴とするパター
   ン学習・生成方式。