JP5874639B2 - 音声合成装置、音声合成方法及び音声合成プログラム - Google Patents

Description

本発明は、テキストから音声を合成する音声合成装置、音声合成方法及び音声合成プログラムに関する。

テキスト文を解析し、その文が示す音声情報から合成音声を生成する音声合成装置が知られている。近年、このような音声合成装置に対し、音声認識分野で広く普及しているＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を適用する事例が注目されている。

図１３は、ＨＭＭを説明する説明図である。ＨＭＭは、図１３に示すように、出力ベクトルを出力する確率分布がｂ_ｉ（ｏ_ｔ）であるような信号源（状態）が、状態遷移確率ａ_ｉｊ＝Ｐ（ｑ_ｔ＝ｊ｜ｑ_ｔ−１＝ｉ）をもって接続されたものとして定義される。ただし、ｉ、ｊは状態番号とする。出力ベクトルｏ_ｔは、ケプストラムや線形予測係数などの音声の短時間的なスペクトルや、音声のピッチ周波数などを表現するパラメータである。すなわち、ＨＭＭは、時間方向とパラメータ方向との変動を統計的にモデル化したものであるため、様々な要因で変動する音声をパラメータ系列の表現として表わすのに適していることが知られている。

ＨＭＭに基づく音声合成装置では、まず、テキスト文の解析結果を基に合成音声の韻律情報（音の高さ（ピッチ周波数）、音の長さ（音韻継続長））を生成する。次に、テキスト解析結果と生成された韻律情報とを基に、波形生成パラメータを取得して音声波形を生成する。なお、波形生成パラメータは、メモリ（波形生成パラメータ記憶部）等に記憶されている。

また、このような音声合成装置では、非特許文献１〜３に記載されているように、韻律情報のモデルパラメータを記憶したモデルパラメータ記憶部を有している。このような音声合成装置は、音声合成を行う際、テキスト解析結果に基づいて、モデルパラメータ記憶部からＨＭＭの状態ごとにモデルパラメータを取得して韻律情報を生成する。

また、特許文献１には、音韻継続時間長を修正して合成音を生成する音声合成装置が記載されている。特許文献１に記載された音声合成装置では、音韻長の総和データに対する補間長の比率を個々の音韻長に乗算することにより、各音韻長への補完効果を分配した修正音韻長を算出する。この処理によって、個々の音韻長を修正する。

なお、特許文献２には、規則音声合成装置における発声速度制御方式が記載されている。特許文献２に記載された発声速度制御方式では、各音素の継続時間長を求め、実音声を分析して得られた発声速度の変化に対する音素別の継続時間長の変化率データに基づいて発声速度を算出する。

特開２０００−３１０９９６号公報 特開平４−１７０６００号公報

益子、外３名、「動的特徴を用いたHMMに基づく音声合成」、電子情報通信学会論文誌 D-II, Vol.J79-D-II, No.12, pp.2184-2190, 1996年12月 徳田、「HMMによる音声合成の基礎」、電子情報通信学会技術研究報告、Vol.100, No.392, pp.43-50, 2000年10月 H. Zen, et. al., "A Hidden Semi-Markov Model-Based Speech Synthesis System", IEICE Trans. INF. & SYST., Vol.E90-D, No.5, pp.825-834, 2007

非特許文献１や非特許文献２に記載された方法によれば、合成音声の各音素の継続時間長は、各音素に属する状態の継続長の総和で与えられる。例えば、音素の状態数が３状態であり、音素ａの状態１〜３までの継続長がｄ１，ｄ２，ｄ３であった場合、音素ａの継続時間長は、ｄ１＋ｄ２＋ｄ３で与えられる。各状態の継続長は、モデルパラメータである平均と分散と、文全体の時間長から定まる定数により決定される。つまり、状態１の平均がｍ１、分散がσ１、文全体の時間長から定まる定数をρとしたとき、状態１の状態継続長ｄ１は、以下に示す式１で計算できる。

ｄ１＝ｍ１＋ρ・σ１ （式１）

したがって、ρが平均および分散よりも著しく大きい場合、状態継続長は、分散に大きく依存することになる。すなわち、非特許文献１〜２に記載された手法では、音韻継続時間長に相当するＨＭＭの状態継続長は、各状態継続長のモデルパラメータである平均および分散をもとに決定されるが、分散が大きい状態における継続長は長くなりやすいという問題点がある。

一般に、子音と母音から構成される音節の自然音声を分析すると、子音部の時間長は、母音部よりも短いことが多い。ところが、子音に属する状態の分散が母音に属する状態の分散よりも大きいと、その音節の継続時間長は子音のほうが長くなることがある。母音よりも子音の継続時間長が長い音節が頻繁に出現すると、その合成音声の発話リズムは不自然になり、聞き取りにくい合成音声となる。このような場合、発話リズムが自然である、聞き取り易い合成音声を生成することは難しい。

また、特許文献１に記載された音声合成装置を用いたとしても、ＨＭＭを用いたピッチパタンの生成は困難であり、発話リズムの自然性を高くした聞き取り易い合成音声を生成できるとは言い難い。

そこで、本発明は、発話リズムの自然性が高く、聞き取り易い合成音声を生成できる音声合成装置、音声合成方法及び音声合成プログラムを提供することを目的とする。

本発明による音声合成装置は、言語情報と韻律情報のモデルパラメータとをもとに、隠れマルコフモデルにおける各状態の継続長を示す状態継続長を生成する状態継続長生成手段と、言語情報から音声特徴量を導出し、導出された音声特徴量をもとに、状態継続長を補正する度合いを表す指標である継続長補正度を計算する継続長補正度計算手段と、音韻の継続時間長を補正する補正比率を表わす音韻継続長補正パラメータと継続長補正度とに基づいて、状態継続長を補正する状態継続長補正手段とを備え、継続長補正度計算手段が、音声特徴量を示すスペクトルまたはピッチの時間変化度を言語情報から推定し、推定した時間変化度をもとに継続長補正度を計算することを特徴とする。

本発明による音声合成方法は、言語情報と韻律情報のモデルパラメータとをもとに、隠れマルコフモデルにおける各状態の継続長を示す状態継続長を生成し、言語情報から音声特徴量を導出し、導出された音声特徴量をもとに、状態継続長を補正する度合いを表す指標である継続長補正度を計算し、音韻の継続時間長を補正する補正比率を表わす音韻継続長補正パラメータと継続長補正度とに基づいて、状態継続長を補正し、継続長補正度を計算する際、音声特徴量を示すスペクトルまたはピッチの時間変化度を言語情報から推定し、推定した時間変化度をもとに継続長補正度を計算することを特徴とする。

本発明による音声合成プログラムは、コンピュータに、言語情報と韻律情報のモデルパラメータとをもとに、隠れマルコフモデルにおける各状態の継続長を示す状態継続長を生成する状態継続長生成処理、言語情報から音声特徴量を導出し、導出された音声特徴量をもとに、状態継続長を補正する度合いを表す指標である継続長補正度を計算する継続長補正度計算処理、および、音韻の継続時間長を補正する補正比率を表わす音韻継続長補正パラメータと継続長補正度とに基づいて、状態継続長を補正する状態継続長補正手処理を実行させ、継続長補正度計算処理で、音声特徴量を示すスペクトルまたはピッチの時間変化度を言語情報から推定させ、推定された時間変化度をもとに継続長補正度を計算させることを特徴とする。

本発明によれば、発話リズムの自然性が高く、聞き取り易い合成音声を生成できる。

本発明の第１の実施形態における音声合成装置の例を示すブロック図である。 第１の実施形態における音声合成装置の動作の例を示すフローチャートである。 本発明の第２の実施形態における音声合成装置の例を示すブロック図である。 言語情報をもとに算出された各状態における補正度の例を示す説明図である。 仮ピッチパタンに基づいて計算された補正度の例を示す説明図である。 仮ピッチパタンに基づいて計算された補正度の例を示す説明図である。 音声波形パラメータに基づいて計算された補正度の例を示す説明図である。 音声波形パラメータに基づいて計算された補正度の例を示す説明図である。 第２の実施形態における音声合成装置の動作の例を示すフローチャートである。 本発明の第３の実施形態における音声合成装置の例を示すブロック図である。 第３の実施形態における音声合成装置の動作の例を示すフローチャートである。 本発明による音声合成装置の最小構成の例を示すブロック図である。 ＨＭＭを説明する説明図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明の第１の実施形態における音声合成装置の例を示すブロック図である。本実施形態における音声合成装置は、言語処理部１と、韻律生成部２と、素片情報記憶部１２と、素片選択部４と、波形生成部５とを備えている。また、韻律生成部２は、状態継続長生成部２１と、状態継続長補正部２２と、音素継続長計算部２３と、継続長補正度計算部２４と、モデルパラメータ記憶部２５と、ピッチパタン生成部３とを備えている。

素片情報記憶部１２は、音声合成単位ごとに生成された素片と、各素片の属性情報とを記憶している。素片とは、音声合成単位の音声波形を表す情報であり、波形自身や、波形から抽出されたパラメータ（例えば、スペクトル、ケプストラム、線形予測フィルタ係数）などで表わされる。より具体的には、素片は、音声合成単位毎に分割された（切り出された）音声波形、線形予測分析パラメータやケプストラム係数に代表されるような、切り出された音声波形から抽出される波形生成パラメータの時系列、などである。音素は、多くの場合、例えば、人間が発した音声（自然音声波形と言うこともある）から抽出される情報をもとに生成される。例えば、アナウンサーや声優が発した（発声した）音声を録音した情報から音素が生成される。

音声合成単位は任意であり、例えば、音素、音節などであってよい。また、音声合成単位は、以下の参考文献１や参考文献２に記載されているように、音素に基づいて定められるＣＶ単位や、ＶＣＶ単位、ＣＶＣ単位などであってもよい。また、音声合成単位は、ＣＯＣ方式に基づいて定められる単位であってもよい。ここで、Ｖは母音を表わし、Ｃは子音を表わす。

＜参考文献１＞
Huang, Acero, Hon,“Spoken Language Processing”, Prentice Hall, pp.689-836, 2001.
＜参考文献２＞
阿部 外２名,“音声合成のための合成単位の基礎” 電子情報通信学会技術研究報告, Vol.100, No.392, pp.35-42, 2000.

言語処理部１は、入力されたテキスト（文字列情報）に対して、形態素解析、構文解析、読み付け等の分析を行い、言語情報を生成する。言語処理部１が生成する言語情報には、少なくとも、音節記号や音素記号などの「読み」を表す情報が含まれる。また、言語処理部１は、上記「読み」を表わす情報に加え、形態素の品詞、活用などのいわゆる「日本語文法」を表す情報、アクセント型、アクセント位置、アクセント句区切り等を表す「アクセント情報」を含む言語情報を生成してもよい。そして、言語処理部１は、生成した言語情報を状態継続長生成部２１、ピッチパタン生成部３および素片選択部４に入力する。

なお、後述する状態継続長生成部２１、ピッチパタン生成部３および素片選択部４が言語情報を利用する実施形態に応じ、言語情報に含まれるアクセント情報や形態素情報の内容はそれぞれ異なる。

モデルパラメータ記憶部２５は、韻律情報のモデルパラメータを記憶する。具体的には、モデルパラメータ記憶部２５は、状態継続長のモデルパラメータを記憶する。また、モデルパラメータ記憶部２５は、ピッチ周波数のモデルパラメータを記憶してもよい。モデルパラメータ記憶部２５は、韻律情報に応じたモデルパラメータを予め記憶する。なお、モデルパラメータには、例えば、ＨＭＭによって予め韻律情報をモデル化したモデルパラメータが用いられる。

状態継続長生成部２１は、言語処理部１から入力された言語情報と、モデルパラメータ記憶部２５に記憶されたモデルパラメータとをもとに、状態継続長を生成する。ここで、ある音素に属する各状態の継続長は、その音素（以下、該当音素と記す。）の前後に存在する音素（先行音素、後続音素と呼ぶこともある。）や、該当音素のアクセント句内でのモーラ位置、先行音素、該当音素および後続音素が属するアクセント句のモーラ長やアクセント型、該当音素が属するアクセント句の位置などの「コンテキスト」と呼ばれる情報に基づいて一意に決定される。つまり、ある任意のコンテキスト情報に対してモデルパラメータが一意に決定される。具体的には、モデルパラメータは、平均および分散である。

そこで、状態継続長生成部２１は、非特許文献１〜３に記載されているように、入力されたテキストの解析結果をもとにモデルパラメータ記憶部２５からモデルパラメータを選択し、選択したモデルパラメータに基づいて状態継続長を生成する。そして、状態継続長生成部２１は、生成した状態継続長を状態継続長補正部２２へ入力する。この状態継続長とは、ＨＭＭにおける各状態が継続する時間長である。

モデルパラメータ記憶部２５が記憶する状態継続長のモデルパラメータは、ＨＭＭの状態継続確率を特徴づけるパラメータに相当する。ＨＭＭの状態継続確率は、非特許文献１〜３にも記載されているように、ある状態が継続する（すなわち、自己遷移する）回数の確率のことであり、ガウス分布で定義されることが多い。ガウス分布は、平均と分散の二種類の統計量で特徴づけられる。そこで、本実施形態では、状態継続長のモデルパラメータをガウス分布の平均および分散と仮定する。ここで、ＨＭＭの状態継続長の平均ξ_ｊと分散σ^２ _ｊとは、以下に示す式２で算出される。このとき、生成される状態継続長は、非特許文献３に記載されているように、モデルパラメータの平均に一致する。

なお、状態継続長のモデルパラメータは、ガウス分布の平均および分散に限定されない。状態継続長のモデルパラメータは、例えば、非特許文献２の２．２節に記載されているように、ＨＭＭの状態遷移確率ａ_ｉｊ＝Ｐ（ｑ_ｔ＝ｊ｜ｑ_ｔ−１＝ｉ）と、出力確率分布ｂ_ｉ（ｏ_ｔ）を利用して、ＥＭアルゴリズムに基づいて推定されるものであってもよい。

状態継続長のモデルパラメータに限らず、ＨＭＭのパラメータは、学習処理により求められる。学習には、音声データとその音素ラベルおよび言語情報が利用される。状態継続長のモデルパラメータの学習方法は、公知の技術であるため、詳細な説明は省略する。

なお、状態継続長生成部２１は、文全体の時間長を定めてから、各状態の継続長を算出してもよい（非特許文献１〜２参照）。ただし、モデルパラメータの平均に一致する状態継続長を算出することにより、標準的な話速を実現する状態継続長を算出できるため、より好ましい。

継続長補正度計算部２４は、言語処理部１から入力された言語情報に基づいて、継続長補正度（以下、単に補正度と記すこともある。）を計算し、状態継続長補正部２２へ入力する。具体的には、継続長補正度計算部２４は、言語処理部１から入力された言語情報から音声特徴量を算出し、その音声特徴量をもとに継続長補正度を計算する。ここで、継続長補正度は、後述する状態継続長補正部２２が、ＨＭＭの状態の継続長をどの程度補正するかを示す指標である。補正度が大きくなるほど、状態継続長補正部２２が状態継続長を補正する補正量は大きくなる。なお、継続補正度は、状態ごとに算出される。

補正度は、上述の通り、スペクトルやピッチなどの音声特徴量、及びその時間変化度に関連した値になる。なお、ここで示す音声特徴量には、時間の長さを示す情報（以下、時間長情報と記す。）は含まれない。例えば、音声特徴量の時間変化度が小さいと推測される箇所では、継続長補正度計算部２４は、補正度を大きくする。また、音声特徴量の絶対値が大きいと推測される箇所においても、継続長補正度計算部２４は、補正度を大きくする。

本実施形態では、継続長補正度計算部２４が言語情報から音声特徴量を示すスペクトルまたはピッチの時間変化度を推定し、推定した音声特徴量の時間変化度をもとに補正度を計算する方法を説明する。

例えば、ある特定の音節に対して補正を実施する場合、子音と母音とでは一般的に母音のほうが音声特徴量の時間変化が小さいと予想される。また、母音の中でも両端部よりも中心部のほうが時間変化は小さいと推定される。したがって、継続長補正度計算部２４は、母音中心、母音両端、子音の順番で小さくなるように補正度を計算する。より詳細には、継続長補正度計算部２４は、子音内部では均等になるように補正度を計算する。また、継続長補正度計算部２４は、母音部では補正度が中心から両端（始端および終端）にかけて小さくなるように補正度を計算する。

音節単位で補正度を決定する場合、継続長補正度計算部２４は、音節の中心から両端にかけて補正度を小さくする。また、継続長補正度計算部２４は、音素種別に応じて補正度を計算してもよい。例えば、子音の中では破裂音よりも鼻音のほうが音声特徴量の時間変化度が小さいため、継続長補正度計算部２４は、鼻音の補正度を破裂音よりも大きくする。

また、アクセント核の位置やアクセント句区切りなどのアクセント情報が言語情報に含まれている場合、継続長補正度計算部２４は、これらの情報を補正度の計算に利用してもよい。例えば、アクセント核やアクセント句区切りの付近ではピッチの変化が大きいため、継続長補正度計算部２４は、この付近の補正度を小さくする。

また、有声音と無声音とを区別して補正度を設定する方法も有効な場合がある。この区別が有効か否かは、合成音声波形を生成する処理に関係する。波形生成の方法は、有声音と無声音で大きく異なることが多い。特に、無声音波形の波形生成方法では、時間長伸縮処理に伴う音質劣化が問題になることがある。このような場合、無声音の補正度を有声音よりも小さくしたほうが望ましい。

本実施形態における補正度は、最終的に状態単位で定められ、その値は、状態継続長補正部２２が直接利用するものとする。具体的には、補正度は０．０よりも大きい実数とし、０．０のときに補正度が最小であるとする。また、状態継続長を大きくするような補正を行う場合、補正度は１．０よりも大きい実数とし、状態継続長を小さくするような補正を場合、補正度は１．０よりも小さく０．０よりも大きい実数とする。ただし、補正度の値は、上記値に限定されない。例えば、状態継続長を大きくするような補正を行う場合と状態継続長を小さくするような補正を行う場合のいずれも、補正度の最小を１．０としてもよい。また、補正する位置を、音節や音素の始端、終端、中心などの相対位置で表わしてもよい。

また、補正度の内容は数値に限定されない。例えば、補正の度合いを表わす適当なシンボル（「大，中，小」、「ａ，ｂ，ｃ，ｄ，ｅ」など）で補正度を定めてもよい。この場合、実際に補正値を求める処理において、状態単位で上記シンボルを実数値に変換する処理を行えばよい。

状態継続長補正部２２は、状態継続長生成部２１から入力された状態継続長と、継続長補正度計算部２４から入力された継続長補正度と、ユーザ等により入力された音韻継続長補正パラメータとに基づいて、状態継続長を補正する。そして、状態継続長補正部２２は、補正した状態継続長を音素継続長計算部２３およびピッチパタン生成部３へ入力する。

音韻継続長補正パラメータとは、生成された音韻の継続時間長を補正するための補正比率を示す値である。なお、継続時間長には、状態継続長を加算して算出した音素や音節などの時間長も含まれる。音韻継続長補正パラメータは、補正後の継続時間長を補正前の継続時間長で除算したもの、及びその近似値として定義できる。ただし、音韻継続長補正パラメータの値は、ＨＭＭの状態単位で定められるものではなく、音素などの単位で定められる。具体的には、音韻継続長補正パラメータは、ある特定の音素または半音素に対して１つ定められていてもよく、複数の音素に対して定められていてもよい。また、複数の音素に対して定められる音韻継続長補正パラメータは、共通であってもよく、別々であってもよい。さらに、音韻継続長補正パラメータは、単語や呼気段落、文全体に１つ定められていてもよい。以上のように、音韻継続長補正パラメータは、ある特定の音素におけるある特定の状態（すなわち、音素を示す各状態）に対しては設定されないものとする。

音韻継続長補正パラメータは、ユーザや、音声合成装置と組み合わせて使用される他の装置、音声合成装置自身が備える他の機能などによって定めた値が用いられる。例えば、ユーザが合成音声を聞き、音声合成装置にもっとゆっくり音声を出力してほしい（しゃべってほしい）と判断した場合、ユーザは、例えば、音韻継続長補正パラメータとしてより大きな値を設定してもよい。また、文中のキーワードを選択的にゆっくり出力してほしい（しゃべってほしい）場合、ユーザは、通常発話とは別にキーワード用の音韻継続長補正パラメータを設定してもよい。

上述するように、継続長補正度は、音声特徴量の時間変化度が小さいと推測される箇所ほど大きくなる。そのため、状態継続長補正部２２は、音声特徴量の時間的変化度が小さい状態における状態継続長ほど、その状態継続長の変化度をより大きくする。

具体的には、状態継続長補正部２２は、音韻継続長補正パラメータと、継続長補正度と、補正前の状態継続長とをもとに、各状態に対する補正量を算出する。ここで、ある音素の状態数をＮ、補正前の状態継続長をｍ（１），ｍ（２），・・・，ｍ（Ｎ）、補正度をα（１），α（２），・・・，α（Ｎ）、入力された音韻継続長補正パラメータをρとする。このとき、各状態に対する補正量ｌ（１），ｌ（２），・・・，ｌ（Ｎ）は、以下に示す式３のように与えられる。

そして、状態継続長補正部２２は、算出した補正量を補正前の状態継続長に加算して補正値を求める。上記と同様に、ある音素の状態数をＮ、補正前の状態継続長をｍ（１），ｍ（２），・・・，ｍ（Ｎ）、補正度をα（１），α（２），・・・，α（Ｎ）、入力された音韻継続長補正パラメータをρとする。このとき、補正後の状態継続長は以下に示す式４のように与えられる。

なお、複数個からなる音素列に対して一つの音韻継続長補正パラメータ値ρが指定されている場合、状態継続長補正部２２は、その音素列に含まれる全ての状態に対して、上記式を用いて補正量を計算すればよい。また、状態数が総計Ｍの場合、状態継続長補正部２２は、上述する式４において、Ｎの代わりにＭを用いて補正量を計算すればよい。

また、状態継続長補正部２２は、算出した補正量を補正前の状態継続長に乗じて補正値を求めてもよい。状態継続長補正部２２は、例えば、以下に示す式５を用いて補正量を計算した場合、算出した補正量を補正前の状態継続長に乗じて補正値を求めればよい。なお、補正値の算出方法は、補正量の算出方法に応じて定めればよい。

音素継続長計算部２３は、状態継続長補正部２２から入力された状態継続長に基づいて各音素の継続長を計算し、素片選択部４と波形生成部５に計算結果を入力する。音素継続長は、各音素に属する全ての状態の状態継続長の総和で与えられる。したがって、音素継続長計算部２３は、全ての音素に対して、状態継続長の総和を音素毎に計算することで、各音素の継続長を計算する。

ピッチパタン生成部３は、言語処理部１から入力された言語情報と、状態継続長補正部２２から入力された状態継続長とをもとにピッチパタンを生成し、素片選択部４および波形生成部５に入力する。ピッチパタン生成部３は、例えば、非特許文献２に記載されているように、ＭＳＤ−ＨＭＭ（Ｍｕｌｔｉ−Ｓｐａｃｅ Ｐｒｏｂａｂｉｌｉｔｙ Ｄｉｓｔｒｉｂｕｔｉｏｎ−ＨＭＭ）によりピッチパタンをモデル化することにより、ピッチパタンを生成してもよい。ただし、ピッチパタン生成部３がピッチパタンを生成する方法は、上記方法に限定されない。ピッチパタン生成部３は、ＨＭＭによりピッチパタンをモデル化してもよい。なお、これらの方法は、広く知られているため、詳細な説明は省略する。

素片選択部４は、言語解析の処理結果と、音素継続長と、ピッチパタンとに基づいて、素片情報記憶部１２に記憶されている素片の中から、音声を合成するために最適な素片を選択し、選択した素片とその属性情報とを波形生成部５に入力する。

ここで、入力テキストから生成された継続時間長およびピッチパタンが合成音声波形に忠実に適用されるとすれば、合成音声の韻律情報と呼ぶことができる。ただし、実際には類似の韻律（すなわち、継続時間長およびピッチパタン）が適用される。そのため、生成された継続時間長およびピッチパタンは、音声合成波形を生成するときに目標となる韻律情報と言えるため、以下の説明では、生成された継続時間長およびピッチパタンを、目標韻律情報と記すこともある。

素片選択部４は、入力された言語解析の処理結果と目標韻律情報とに基づいて、合成音声の特徴を表す情報（以下、これを「目標素片環境」と呼ぶ。）を音声合成単位毎に求める。目標素片環境とは、該当音素、先行音素、後続音素、ストレスの有無、アクセント核からの距離、音声合成単位毎のピッチ周波数、パワー、単位の継続時間長、ケプストラム、ＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、及びこれらのΔ量（単位時間あたりの変化量）などである。

次に、素片選択部４は、求めた目標素片環境に含まれる特定の情報（主に該当音素）に対応（例えば、一致）する音素を有する素片を素片情報記憶部１２から複数取得する。取得された素片は、音声を合成するために用いられる素片の候補である。

そして、素片選択部４は、取得された素片に対して、音声を合成するために用いる素片としての適切度を示す指標であるコストを算出する。コストは、目標素片環境と候補素片や、隣接候補素片同士の属性情報との差異を数値化したものであり、類似度が高いほど、つまり音声を合成するための適切度が高くなるほど小さくなる値である。コストが小さい素片を用いるほど、合成された音声は、人間が発した音声と類似している程度を表す自然度が高い音声となる。そのため、素片選択部４は、算出されたコストが最も小さい素片を選択する。

素片選択部４が計算するコストには、具体的には単位コストと接続コストがある。単位コストは、候補素片を目標素片環境の下で用いることにより生じる推定音質劣化度を表すもので、候補素片の素片環境と目標素片環境との類似度を基に算出される。一方、接続コストは、接続する音声素片間の素片環境が不連続であることによって生じる推定音質劣化度を表すもので、隣接候補素片同士の素片環境の親和度を基に算出される。この単位コスト及び接続コストの計算方法は、これまで各種提案されている。一般に、単位コストの計算には、目標素片環境に含まれる情報が用いられる。一方、接続コストには、素片の接続境界におけるピッチ周波数、ケプストラム、ＭＦＣＣ、短時間自己相関、パワー、及びこれらの△量などが用いられる。以上の通り、単位コスト及び接続コストは、素片に関する各種情報（ピッチ周波数、ケプストラム、パワー等）を複数用いて算出される。

素片選択部４は、単位コストおよび接続コストを素片ごとに計算したのちに、接続コストと単位コストの両者が最小となる音声素片を各合成単位に対して一意に求める。なお、コスト最小化により求めた素片は、候補素片の中から音声の合成に最も適した素片として選択されたものであることから、選択素片と呼ぶこともできる。

波形生成部５は、素片選択部４が選択した素片を接続して合成音声を生成する。波形生成部５は、単純に素片を接続するだけでなく、韻律生成部２から入力された目標韻律情報、素片選択部４から入力された選択素片、及び素片の属性情報をもとに、目標韻律に一致または類似する韻律を有する音声波形を生成してもよい。そして、波形生成部５は、生成した音声波形を各々接続して合成音声を生成してもよい。波形生成部５が合成音声を生成する方法として、例えば、参考文献１に記載されているＰＳＯＬＡ（ｐｉｔｃｈ ｓｙｎｃｈｒｏｕｎｏｕｓ ｏｖｅｒｌａｐ−ａｄｄ）法が挙げられる。ただし、波形生成部５が合成音声を生成する方法は、上記方法に限定されない。選択された素片から合成音声を生成する方法は広く知られているため、詳細な説明は省略する。

素片情報記憶部１２、および、モデルパラメータ記憶部２５は、例えば、磁気ディスク等により実現される。また、言語処理部１と、韻律生成部２（より詳しくは、状態継続長生成部２１と、状態継続長補正部２２と、音素継続長計算部２３と、継続長補正度計算部２４と、ピッチパタン生成部３）と、素片選択部４と、波形生成部５とは、プログラム（音声合成プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、音声合成装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、言語処理部１、韻律生成部２（より詳しくは、状態継続長生成部２１、状態継続長補正部２２、音素継続長計算部２３、継続長補正度計算部２４、ピッチパタン生成部３）、素片選択部４および波形生成部５として動作してもよい。また、言語処理部１と、韻律生成部２（より詳しくは、状態継続長生成部２１と、状態継続長補正部２２と、音素継続長計算部２３と、継続長補正度計算部２４と、ピッチパタン生成部３）と、素片選択部４と、波形生成部５とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態における音声合成装置の動作を説明する。図２は、第１の実施形態における音声合成装置の動作の例を示すフローチャートである。まず、言語処理部１は、入力されたテキストから言語情報を生成する（ステップＳ１）。状態継続長生成部２１は、言語情報とモデルパラメータとをもとに状態継続長を生成する（ステップＳ２）。また、継続長補正度計算部２４は、言語情報をもとに継続長補正度を計算する（ステップＳ３）。

状態継続長補正部２２は、状態継続長と継続長補正度と音韻継続長補正パラメータとをもとに、状態継続長を補正する（ステップＳ４）。音素継続長計算部２３は、補正された状態継続長をもとに、状態継続長の総和を計算する（ステップＳ５）。また、ピッチパタン生成部３は、言語情報と補正された状態継続長とをもとに、ピッチパタンを生成する（ステップＳ６）。素片選択部４は、入力されたテキストの解析結果である言語情報と、状態継続長の総和と、ピッチパタンとをもとに、音声の合成に用いられる素片を選択する（ステップＳ７）。そして、波形生成部５は、選択された素片を結合して合成音声を生成する（ステップＳ８）。

以上のように、本実施形態によれば、状態継続長生成部２１が、言語情報と韻律情報のモデルパラメータとをもとに、ＨＭＭにおける各状態の状態継続長を生成する。また、継続長補正度計算部２４が、言語情報から導出された音声特徴量をもとに継続長補正度を計算する。そして、状態継続長補正部２２が、音韻継続長補正パラメータと継続長補正度とに基づいて状態継続長を補正する。

すなわち、本実施形態によれば、言語情報に基づいて推定した音声特徴量、及びその変化度から補正度を求め、その補正度に基づいて音韻継続長補正パラメータに応じた態継続長補正を行っている。この結果、一般的な音声合成装置と比較して、発話リズムの自然性が高く、聞き取り易い合成音声を生成できる。

例えば、特許文献１に記載されているように、本実施形態で説明した状態継続長を補正対象にするのではなく、音素継続長を補正対象とすることも考えられる。この場合、ピッチパタンを生成し、音素継続長を生成した後で、音素継続長の補正が行われ、最終的にピッチパタンの補正が行われることになる。しかし、この場合、最後のピッチパタンの補正において、不適切な変形が行われ、音質的に問題のあるピッチパタンが生成される可能性がある。例えば、補正後の音韻継続長から状態継続長を求めるときに、音韻継続長を等間隔で分割したとする。この場合、ピッチパタンの形状が不適切となり、合成音声の品質が低くなる可能性がある。補正により音韻継続長が長くなった場合には、音節中心部のピッチパタンを長くして、音節の終端や始端のピッチパタンを伸ばさない方が、ピッチパタンを全て同様に引き延ばす場合と比較しても、音質的に望ましい。これは、自然音声を観察した場合、音節の両端の方が中心部に比べてピッチの変化が大きいことが多いためである。また、他にも、継続時間長を「音節両端では短く、音節中心では長く」と単純に割り当てることも考えられる。しかし、ＨＭＭでモデル化し、多量の音声データを学習して得た結果（すなわち、補正前の状態継続長）を無視して、状態継続長を新たに作り出す方法も適切とは言えない。

一方、本実施形態では、状態継続長を補正したうえでピッチパタンを生成し、音素継続長を生成する。そのため、このような不適切な変形が行われることを抑止できる。また、本実施形態では、状態継続長を決定する際、平均および分散といったモデルパラメータだけではなく、自然音声の性質を示す音声特徴量を利用している。そのため、自然性が高い合成音声を生成できる。

実施形態２．
図３は、本発明の第２の実施形態における音声合成装置の例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。本実施形態における音声合成装置は、言語処理部１と、韻律生成部２と、素片情報記憶部１２と、素片選択部４と、波形生成部５とを備えている。また、韻律生成部２は、状態継続長生成部２１と、状態継続長補正部２２と、音素継続長計算部２３と、継続長補正度計算部２４２と、仮ピッチパタン生成部２８と、音声波形パラメータ生成部２９と、モデルパラメータ記憶部２５と、ピッチパタン生成部３とを備えている。

すなわち、図３に例示する音声合成装置は、継続長補正度計算部２４が継続長補正度計算部２４２に置き換わり、仮ピッチパタン生成部２８と、音声波形パラメータ生成部２９とを新たに備えている点において、第１の実施形態と異なる。

仮ピッチパタン生成部２８は、言語処理部１から入力された言語情報と、状態継続長生成部２１から入力された状態継続長とをもとに、仮ピッチパタンを生成し、継続長補正度計算部２４２へ入力する。仮ピッチパタン生成部２８がピッチパタンの生成方法する方法は、ピッチパタン生成部３がピッチパタンを生成する方法と同様である。

音声波形パラメータ生成部２９は、言語処理部１から入力された言語情報と、状態継続長生成部２１から入力された状態継続長とをもとに、音声波形パラメータを生成し、継続長補正度計算部２４２へ入力する。音声波形パラメータとは、具体的にはスペクトルやケプストラム、線形予測係数など、音声波形の生成に用いられるパラメータである。音声波形パラメータ生成部２９は、ＨＭＭを利用して音声波形パラメータを生成してもよい。他にも、音声波形パラメータ生成部２９は、例えば、非特許文献１に記載されているように、メルケプストラムを用いて音声波形パラメータを生成してもよい。なお、これらの方法は広く知られているため、詳細な説明は省略する。

継続長補正度計算部２４２は、言語処理部１から入力された言語情報と、仮ピッチパタン生成部２８から入力された仮ピッチパタンと、音声波形パラメータ生成部２９から入力された音声波形パラメータとに基づいて、継続長補正度を計算し、状態継続長補正部２２へ入力する。第１の実施形態と同様、補正度は、スペクトルやピッチなどの音声特徴量、及びその時間変化度に関連した値になる。ただし、本実施形態では、継続長補正度計算部２４２が言語情報だけでなく、仮ピッチパタンや音声波形パラメータに基づいて、音声特徴量、及び音声特徴量の時間変化度を推定し、補正度に反映する点で第１の実施形態と異なる。

継続長補正度計算部２４２は、まず、言語情報を用いて補正度を計算する。次に、継続長補正度計算部２４２は、仮ピッチパタンおよび音声波形パラメータに基づいて詳細化した補正度を計算する。このように、補正度を計算することで、音声特徴量の推定に利用される情報量が増加する。そのため、第１の実施形態に比べ、より正確かつ詳細に音声特徴量を推定することが可能になる。なお、継続長補正度計算部２４２が言語情報を用いて最初に計算した補正度は、その後、仮ピッチパタンおよび音声波形パラメータに基づいて詳細化されることから、最初に計算された補正度は、補正度の概略と言うこともできる。

上述の通り、本実施形態では、第１の実施形態と同様に、音声特徴量の時間変化度を推定し、その推定結果を補正度に反映している。以下、継続長補正度計算部２４２が補正度を計算する方法を、さらに説明する。

図４は、言語情報をもとに算出された各状態における補正度の例を示す説明図である。図４に例示する１０の状態のうち、前半５つは、子音部を示す音素の状態を表し、後半５つは母音部を示す音素の状態を表す。すなわち、１つの音素あたりの状態数は５であると仮定する。また、補正度は、縦上方向に延びるほど高いことを示す。以下の説明では、図４に例示するように、言語情報を用いて求めた補正度が、子音内部では均等であり、母音部では中心から両端にかけて小さくなっているものと仮定する。

図５は、母音部における仮ピッチパタンに基づいて計算された補正度の例を示す説明図である。母音部の仮ピッチパタンが図５における（ｂ１）のような形状をしていた場合、全体的にピッチパタンの変化度が小さいことがわかる。そのため、継続長補正度計算部２４２は、母音部の補正度を全般的に大きくする。具体的には、図４に例示する補正度を、最終的には、図５における（ｂ２）のような補正度にする。

また、図６は、母音部における他の仮ピッチパタンに基づいて計算された補正度の例を示す説明図である。母音部の仮ピッチパタンが図６における（ｃ１）のような形状をしていた場合、ピッチパタンの変化度は母音前半から中心にかけては小さく、母音後半は大きいことがわかる。そのため、継続長補正度計算部２４２は、母音前半から中心の補正度を大きく、後半は小さくする。具体的には、図４に例示する補正度を、最終的には、図６における（ｃ２）のような補正度にする。

図７は、母音部における音声波形パラメータに基づいて計算された補正度の例を示す説明図である。母音部の音声波形パラメータが図７における（ｂ１）のような形状をしていた場合、全体的に音声波形パラメータの変化度が小さいことがわかる。そのため、継続長補正度計算部２４２は、母音部の補正度を全般的に大きくし、図４に例示する補正度を、図７における（ｂ２）のような補正度にする。

また、図８は、母音部における他の音声波形パラメータに基づいて計算された補正度の例を示す説明図である。母音部の音声波形パラメータが図８における（ｃ１）のような形状をしていた場合、音声波形パラメータの変化度は母音前半から中心にかけては小さく、母音後半は大きいことがわかる。そのため、継続長補正度計算部２４２は、母音前半から中心の補正度を大きく、後半は小さくし、図４に例示する補正度を、図８における（ｃ２）のような補正度にする。

なお、図７及び図８では、音声波形パラメータを一次元で例示しているが、実際には音声波形パラメータは多次元ベクトルであることが多い。この場合、継続長補正度計算部２４２は、各フレームごとに平均値や総和を計算し、一次元の値に変換した値を補正に用いればよい。

言語処理部１と、韻律生成部２（より詳しくは、状態継続長生成部２１と、状態継続長補正部２２と、音素継続長計算部２３と、継続長補正度計算部２４２と、仮ピッチパタン生成部２８と、音声波形パラメータ生成部２９と、ピッチパタン生成部３）と、素片選択部４と、波形生成部５とは、プログラム（音声合成プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、言語処理部１と、韻律生成部２（より詳しくは、状態継続長生成部２１と、状態継続長補正部２２と、音素継続長計算部２３と、継続長補正度計算部２４２と、仮ピッチパタン生成部２８と、音声波形パラメータ生成部２９と、ピッチパタン生成部３）と、素片選択部４と、波形生成部５とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態における音声合成装置の動作を説明する。図９は、第２の実施形態における音声合成装置の動作の例を示すフローチャートである。まず、言語処理部１は、入力されたテキストから言語情報を生成する（ステップＳ１）。状態継続長生成部２１は、言語情報とモデルパラメータとをもとに状態継続長を生成する（ステップＳ２）。

また、仮ピッチパタン生成部２８は、言語情報と状態継続長とをもとに、仮ピッチパタンを生成する（ステップＳ１１）。さらに、音声波形パラメータ生成部２９は、言語情報と、状態継続長とをもとに、音声波形パラメータを生成する（ステップＳ１２）。そして、継続長補正度計算部２４２は、言語情報と仮ピッチパタンと音声波形パラメータとに基づいて、継続長補正度を計算する（ステップＳ１３）。

以降、状態継続長補正部２２が状態継続長を補正し、波形生成部５が合成音声を生成するまでの処理は、図２におけるステップＳ４〜ステップＳ８までの処理と同様である。

以上のように、本実施形態によれば、仮ピッチパタン生成部２８が、言語情報と状態継続長とをもとに、仮ピッチパタンを生成し、音声波形パラメータ生成部２９が、言語情報と、状態継続長とをもとに、音声波形パラメータを生成する。そして、継続長補正度計算部２４２が、言語情報と仮ピッチパタンと音声波形パラメータとに基づいて、継続長補正度を計算する。

すなわち、本実施形態によれば、言語情報のほかにピッチパタンや音声波形パラメータを使用して状態長補正度の計算が行われる。そのため、第１の実施形態における音声合成装置よりも、より適切な継続長補正を計算することが可能になる。この結果、第１の実施形態における音声合成装置よりも、より発話リズムの自然性が高く、聞き取り易い合成音声を生成できる。

実施形態３．
図１０は、本発明の第３の実施形態における音声合成装置の例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。本実施形態における音声合成装置は、言語処理部１と、韻律生成部２と、音声波形パラメータ生成部４２と、波形生成部５２とを備えている。また、韻律生成部２は、状態継続長生成部２１と、状態継続長補正部２２と、継続長補正度計算部２４と、モデルパラメータ記憶部２５と、ピッチパタン生成部３とを備えている。

すなわち、図１０に例示する音声合成装置は、音素継続長計算部２３が省略され、素片選択部４が音声波形パラメータ生成部４２に置き換わり、波形生成部５が波形生成部５２に置き換わっている点において、第１の実施形態と異なる。

音声波形パラメータ生成部４２は、言語処理部１から入力された言語情報と、状態継続長補正部２２から入力された状態継続長とをもとに、音声波形パラメータを生成し、波形生成部５２に入力する。音声波形パラメータには、スペクトル情報が用いられる。スペクトル情報として、例えば、ケプストラムなどが挙げられる。音声波形パラメータ生成部４２が音声波形パラメータを生成する方法は、音声波形パラメータ生成部２９が音声波形パラメータを生成する方法と同様である。

波形生成部５２は、ピッチパタン生成部３から入力されたピッチパタンと、音声波形パラメータ生成部４２から入力された音声波形パラメータとをもとに、合成音声波形を生成する。波形生成部５２は、例えば、非特許文献１に記載されたＭＬＳＡ（ｍｅｌ ｌｏｇ ｓｐｅｃｔｒｕｍ ａｐｐｒｏｘｉｍａｔｉｏｎ）フィルタにより合成音声波形を生成してもよい。ただし、波形生成部５２が合成音声波形を生成する方法はＭＬＳＡフィルタを用いる方法に限定されない。

言語処理部１と、韻律生成部２（より詳しくは、状態継続長生成部２１と、状態継続長補正部２２と、継続長補正度計算部２４と、ピッチパタン生成部３）と、音声波形パラメータ生成部４２と、波形生成部５２とは、プログラム（音声合成プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、言語処理部１と、韻律生成部２（より詳しくは、状態継続長生成部２１と、状態継続長補正部２２と、継続長補正度計算部２４と、ピッチパタン生成部３）と、音声波形パラメータ生成部４２と、波形生成部５２とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態における音声合成装置の動作を説明する。図１１は、第３の実施形態における音声合成装置の動作の例を示すフローチャートである。テキストが言語処理部１に入力され、状態継続長補正部２２が状態継続長を補正するまでの処理、およびピッチパタン生成部３がピッチパタンを生成する処理は、図２におけるステップＳ１〜ステップＳ４、および、ステップＳ６と同様である。音声波形パラメータ生成部４２は、言語情報と補正された状態継続長とをもとに、音声波形パラメータを生成する（ステップＳ２１）。そして、波形生成部５２は、ピッチパタンと音声波形パラメータとをもとに、合成音声波形を生成する（ステップＳ２２）。

以上のように、本実施形態によれば、音声波形パラメータ生成部４２が、言語情報と補正された状態継続長とをもとに、音声波形パラメータを生成し、波形生成部５２が、ピッチパタンと音声波形パラメータとをもとに合成音声波形を生成する。すなわち、本実施形態では、第１の実施形態における音声合成装置とは異なり、音素継続長生成や素片選択を行わずに合成音声を生成している。つまり、一般的なＨＭＭ音声合成のように、状態継続長を直接利用して音声波形パラメータを生成するような音声合成装置においても、発話リズムの自然性が高く、聞き取り易い音声合成を生成することが可能になる。

次に、本発明による音声合成装置の最小構成の例を説明する。図１２は、本発明による音声合成装置の最小構成の例を示すブロック図である。本発明による音声合成装置は、言語情報（例えば、言語処理部１が入力されたテキストから解析した言語情報）と韻律情報のモデルパラメータ（例えば、状態継続長のモデルパラメータ）とをもとに、隠れマルコフモデル（ＨＭＭ）における各状態の継続長を示す状態継続長を生成する状態継続長生成手段８１（例えば、状態継続長生成部２１）と、言語情報から音声特徴量（例えば、スペクトル、ピッチ）を導出し、導出された音声特徴量をもとに、状態継続長を補正する度合いを表す指標である継続長補正度を計算する継続長補正度計算手段８２（例えば、継続長補正度計算部２４）と、音韻の継続時間長を補正する補正比率を表わす音韻継続長補正パラメータと継続長補正度とに基づいて、状態継続長を補正する状態継続長補正手段８３（例えば、状態継続長補正部２２）とを備えている。

そのような構成により、発話リズムの自然性が高く、聞き取り易い合成音声を生成できる。

また、継続長補正度計算手段８２は、言語情報から導出される音声特徴量の時間変化度を推定し、推定した時間変化度をもとに継続長補正度を計算してもよい。このとき、継続長補正度計算手段８２は、音声特徴量を示すスペクトルまたはピッチの時間変化度を言語情報から推定し、推定した時間変化度をもとに継続長補正度を計算してもよい。

また、状態継続長補正手段８３は、音声特徴量の時間的変化度が小さい状態における状態継続長ほど、その状態継続長の変化度をより大きくしてもよい。

また、音声合成装置は、言語情報と状態継続長生成手段８１が生成した状態継続長とをもとに、ピッチパタンを生成するピッチパタン生成手段（例えば、仮ピッチパタン生成部２８）と、言語情報と状態継続長とをもとに、音声波形を表すパラメータである音声波形パラメータを生成する音声波形パラメータ生成手段（例えば、音声波形パラメータ生成部２９）とを備えていてもよい。そして、継続長補正度計算手段８２は、言語情報とピッチパタンと音声波形パラメータとに基づいて、継続長補正度を計算してもよい。そのような構成により、より発話リズムの自然性が高く、聞き取り易い合成音声を生成できる。

また、言語情報と状態継続長補正手段８３が補正した状態継続長とをもとに、音声波形を表すパラメータである音声波形パラメータを生成する音声波形パラメータ生成手段（音声波形パラメータ生成部４２）と、ピッチパタンと音声波形パラメータとをもとに合成音声波形を生成する波形生成手段（例えば、波形生成部５２）とを備えていてもよい。そのような構成により、一般的なＨＭＭ音声合成のように、状態継続長を直接利用して音声波形パラメータを生成するような音声合成装置においても、発話リズムの自然性が高く、聞き取り易い音声合成を生成することが可能になる。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は、各実施形態で説明した音声合成装置及び音声合成方法に限定されるものではない。その構成および動作は、発明の趣旨を逸脱しない範囲で適宜変更することができる。

この出願は、２０１０年９月６日に出願された日本特許出願２０１０−１９９２２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、テキストから音声を合成する音声合成装置に好適に適用される。

１ 言語処理部
２ 韻律生成部
３ ピッチパタン生成部
４ 素片選択部
５，５２ 波形生成部
１２ 素片情報記憶部
２１ 状態継続長生成部
２２ 状態継続長補正部
２３ 音素継続長計算部
２４，２４２ 継続長補正度計算部
２５ モデルパラメータ記憶部
２８ 仮ピッチパタン生成部
２９，４２ 音声波形パラメータ生成部

Claims (6)

1. 言語情報と韻律情報のモデルパラメータとをもとに、隠れマルコフモデルにおける各状態の継続長を示す状態継続長を生成する状態継続長生成手段と、
   言語情報から音声特徴量を導出し、導出された音声特徴量をもとに、前記状態継続長を補正する度合いを表す指標である継続長補正度を計算する継続長補正度計算手段と、
   音韻の継続時間長を補正する補正比率を表わす音韻継続長補正パラメータと前記継続長補正度とに基づいて、前記状態継続長を補正する状態継続長補正手段とを備え、
   前記継続長補正度計算手段は、前記音声特徴量を示すスペクトルまたはピッチの時間変化度を言語情報から推定し、推定した時間変化度をもとに前記継続長補正度を計算する
   ことを特徴とする音声合成装置。
2. 状態継続長補正手段は、音声特徴量の時間的変化度が小さい状態における状態継続長ほど、当該状態継続長の変化度をより大きくする
   請求項１記載の音声合成装置。
3. 言語情報と状態継続長生成手段が生成した状態継続長とをもとに、ピッチパタンを生成するピッチパタン生成手段と、
   言語情報と前記状態継続長とをもとに、音声波形を表すパラメータである音声波形パラメータを生成する音声波形パラメータ生成手段とを備え、
   継続長補正度計算手段は、言語情報と前記ピッチパタンと前記音声波形パラメータとに基づいて、継続長補正度を計算する
   請求項１または請求項２記載の音声合成装置。
4. 言語情報と状態継続長補正手段が補正した状態継続長とをもとに、音声波形を表すパラメータである音声波形パラメータを生成する音声波形パラメータ生成手段と、
   ピッチパタンと前記音声波形パラメータとをもとに合成音声波形を生成する波形生成手段とを備えた
   請求項１または請求項２記載の音声合成装置。
5. 言語情報と韻律情報のモデルパラメータとをもとに、隠れマルコフモデルにおける各状態の継続長を示す状態継続長を生成し、
   言語情報から音声特徴量を導出し、
   導出された音声特徴量をもとに、前記状態継続長を補正する度合いを表す指標である継続長補正度を計算し、
   音韻の継続時間長を補正する補正比率を表わす音韻継続長補正パラメータと前記継続長補正度とに基づいて、前記状態継続長を補正し、
   継続長補正度を計算する際、前記音声特徴量を示すスペクトルまたはピッチの時間変化度を言語情報から推定し、推定した時間変化度をもとに前記継続長補正度を計算する
   ことを特徴とする音声合成方法。
6. コンピュータに、
   言語情報と韻律情報のモデルパラメータとをもとに、隠れマルコフモデルにおける各状態の継続長を示す状態継続長を生成する状態継続長生成処理、
   言語情報から音声特徴量を導出し、導出された音声特徴量をもとに、前記状態継続長を補正する度合いを表す指標である継続長補正度を計算する継続長補正度計算処理、および、
   音韻の継続時間長を補正する補正比率を表わす音韻継続長補正パラメータと前記継続長補正度とに基づいて、前記状態継続長を補正する状態継続長補正手処理を実行させ、
   前記継続長補正度計算処理で、前記音声特徴量を示すスペクトルまたはピッチの時間変化度を言語情報から推定させ、推定された時間変化度をもとに前記継続長補正度を計算させる
   ための音声合成プログラム。

Images