JP4639932B2 - 音声合成装置 - Google Patents

Description

本発明は、音声合成装置に関する。特に、音声合成時のパラメータを編集する合成音声編集装置に関する。

近年、高品質な合成音声を生成する技術として、大量の波形データベースから最適な音素片（音声波形の断片）を選択し合成を行う「コーパスベース音声合成方式」がある。コーパスベース音声合成には２つのタイプのシステムがある。一つは、狭義の素片接続型音声合成である。このアプローチでは、合成音声はコスト関数と呼ばれる基準を用いて選択された最適な音声波形を用いて生成され、波形の生成時には韻律情報による変形は行われず直接接続される。他方のアプローチでは、選択された音声波形の韻律及びスペクトルは信号処理技術を用いて変形される。

前者の例としては、ターゲットコストと接続コストと呼ばれる二つのコスト関数を用いる技術がある（例えば、非特許文献１）。ターゲットコストは、モデルから生成されたターゲットパラメータと、コーパスに格納されているパラメータの異なり度合い（距離）の尺度である。ターゲットパラメータには、基本周波数、パワー、継続時間長、スペクトルが含まれる。接続コストは、波形の接続点でのパラメータの距離をあらわす尺度として計算される。該システムでは、ターゲットコストと接続コストの重み付け加算で求められる評価値を最小化するように、動的計画法により最適波形が求められる。このアプローチでは、波形選択に関するコスト関数の設計が極めて重要である。
後者の例としては、上記技術と同様な評価値を用いて素片の選択を行うが、素片を接続する際に信号処理技術を用いて変形を行う技術がある（非特許文献２参照）
テキストデータから音声を生成する音声合成装置では、テキストデータを解析し、単語の読み、アクセントや韻律などの音声合成パラメータを得る。そして、この音声合成パラメータを元に、音声合成データベースから最適な音素片を選択し接続することにより合成音声を生成する。しかしながら、テキストデータの解析が必ずしも正確に行われるわけではなく、また、必ずしも最適な音素片が選択されるわけではない。
そこで、上記のような問題を解決するために、音声合成パラメータを編集することにより、また、音素片を差し替えることにより合成音声の品質を向上させる合成音声編集技術がある（例えば、特許文献１参照）

特開２００４−２４６１２９号公報 Ａ．Ｊ．Ｈｕｎｔ ａｎｄ Ａ．Ｗ．Ｂｌａｃｋ， "Ｕｎｉｔ ｓｅｌｅｃｔｉｏｎ ｉｎ ａ ｃｏｎｃａｔｅｎａｔｉｖｅ ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ ｓｙｓｔｅｍ ｕｓｉｎｇ ａ ｌａｒｇｅ ｓｐｅｅｃｈ ｄａｔａｂａｓｅ，" Ｐｒｏｃ．ＩＥＥＥ−ＩＣＡＳＳＰ'９６，ｐｐ．３７３−３７６，Ｍａｙ，１９９６ Ｙ．Ｓｔｙｌｉａｎｏｕ，"Ａｐｐｌｙｉｎｇ ｔｈｅ Ｈａｒｍｏｎｉｃ Ｐｌｕｓ Ｎｏｉｓｅ Ｍｏｄｅｌ ｉｎ Ｃｏｎｃａｔｅｎａｔｉｖｅ Ｓｐｅｅｃｈ Ｓｙｎｔｈｅｓｉｓ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．９，Ｎｏ．１，ｐｐ．２１−２９，Ｊａｎ，２００１

上記の特許文献１記載のような技術では、操作者が合成音声を編集する際に、修正部分を決定するために合成音声を聴取するが、音声波形や形態素解析された入力文字列の外見からは、音質劣化部分を予測することが困難であり、操作者は音声を最初から最後まで聴取確認しなければならない。また、操作者の音声に対する専門知識が十分でない場合、一度聞いただけで修正部分を決定することは難しく、操作者が違和感を感じた部分の音声を繰り返し聴取確認するなど、編集に時間がかかるという問題がある。
また、音素片を差し替える際に、複数の音素片候補から最適な音素片を操作者が選択しなければならず、音声に対する専門知識が必要であり、簡単ではない。

テキストデータから音声合成パラメータと合成音声を生成する音声合成装置と、音声合成パラメータから合成音声の品質劣化部を予測する手段と、品質劣化部予測結果を操作者に提示する手段と、音声合成パラメータを編集する手段を有する音声合成装置。特に、音声合成パラメータを編集する手段は、少なくとも操作者が差し替えを希望する音素片の指定を含む。

本発明によれば、合成された音声の品質劣化予測結果を提示することにより、操作者は合成音声の品質が劣化している可能性が高い部分を優先的に聴取することにより、合成音声編集に必要な時間を短縮することが可能になる。また、所望の音質でない音素片の差し替えを選択するだけで、音声合成装置がその音素片を除いたうえで最適な音素片を選択した合成音声を生成するため、操作者に音声に対する専門知識を必要としない。

図１に、この発明の一実施形態による音声合成装置の全体構成を示す。
音声合成装置は、入力部１１と音声合成手段１２と記憶部１３と制御手段１４と合成音声品質劣化予測手段１５と出力部１６を備え、コーパスから選択した音素片を接続して行われる音声合成方法を行うものを前提とする。
入力部１１は、音声合成装置に対して文字や数字その他の情報を入力するための装置であり、例えばキーボードやマウスなどにより構成されている。音声合成手段１２は、入力された漢字かな混じりテキストや発音記号列から音声を生成するプログラムである。出力部１６は、合成音声の出力や、文字列や波形その他の情報を出力するための装置であり、例えばスピーカやＣＲＴディスプレイなどにより構成されている。記憶部１３は、音声合成手段１２と制御手段１４と合成音声品質劣化予測手段１５を格納するための記憶媒体であり、例えば磁気ディスクや半導体メモリなどにより構成されている。

図２に、音声合成のフローチャートを示す。まずステップS21において、入力された文字列が漢字かな混じりテキストか発音記号列かを判定する。入力文字列が漢字かな混じりである場合、音声合成手段１２において言語処理を行い入力文字列に対応した発音記号列を生成する(ステップS22)。入力文字列が発音記号列であった場合、およびステップS22で発音記号列が生成されたあと、ステップS２３において、音声合成手段１２において合成音声の音の高さ、長さなどの韻律パラメータを計算する。次にステップS２４において、使用禁止音素片リストデータを参照し、使用禁止音素片が存在するかを判定する。使用禁止音素片が存在する場合、該音素片を使用せずに音素片の選択、接続、変形を行い合成音声を生成する(ステップS２５)。使用禁止音素片が存在しない場合、音素片を選択、接続、変形を行い合成音声を生成する（ステップS２６）。最後にステップS２７において、生成した合成音声、および使用音素片、言語処理結果などを含む合成結果データを出力する。ステップS２４およびステップS２５において、使用禁止音素片リストを参照し使用禁止音素片リストに記録されている使用禁止音素片を使用せずに音声合成を行うことにより、操作者により音質が劣化すると判断された音素片を音声素片の選択候補から外すことができ、音質を向上させることができる。

図３に、ステップS２４において参照される、使用禁止音素片リストデータの一例を示す。使用禁止音素片リストデータには、音声合成に使用しない音素片の種別と、該音素片を特定するための情報が記録されている。図３では、音素片の単位を音節としており、5番目の「キョ」、101番目の「ノ」、53番目と71番目の「ワ」が使用禁止であることを表している。音素片の単位は音節のほかにダイフォンやCVの単位を用いてもよい。使用禁止音素片リストデータはファイルに出力されていても、メモリに格納されていてもよい。

図４に、ステップS２７において出力される、合成結果データの一例を示す。図４は「今日の天気は晴れです。」という文を合成した際の合成結果データである。合成結果データには、使用した音素片の種別、該種別音素片の総数、使用音素片のID、音声合成時に計算されたターゲットコスト、接続コスト、言語処理結果などが記録されている。ターゲットコストは、モデルから生成されたターゲットパラメータと、コーパスに格納されているパラメータの異なり度合い（距離）の尺度である。ターゲットパラメータには、基本周波数、パワー、継続時間長、スペクトルが含まれる。接続コストは、音素片の接続点でのパラメータの距離をあらわす尺度として計算される。合成結果データに出力するデータはこれら全部でも、または一部でもよい。また、この他に、使用音素片のピッチ、継続長といった音韻情報、音声コーパス内での前後の音韻環境などを出力していもよい。合成結果データはファイルに出力されていても、メモリに格納されていてもよい。

図５に、合成音声品質予測のフローを示す。まずステップS５０１において、合成結果データを参照し、各音素片の接続コストをチェックする。接続コストがあらかじめ設定された値の範囲外である音素片が存在するかを判定し（ステップS５０２）、存在した場合は修飾表示指令を出力する（ステップS５０３）接続コストは音素片の接続点でのパラメータ距離を表す尺度であるため、接続コストの大きさにより音素片接続点での音声の不連続感を評価することができる。

次にステップS５０４において、各音素片のターゲットコストをチェックする。ターゲットコストがあらかじめ設定された値の範囲外である音素片が存在するかを判定し（ステップS５０５）、存在した場合は修飾表示指令を出力する（ステップS５０６）。ターゲットコストはターゲットパラメータと使用された音素片とのパラメータの異なり度合いを表す尺度であり、例えば非特許文献１に挙げるような選択音素片を直接接続する方式では合成音声に生じる基本周波数、パワー、継続時間長の不具合を評価することができる。また例えば非特許文献２に挙げるような選択した音素片を信号処理を行い変形して接続する方式では信号処理による音質劣化の度合いを評価することができる。

次にステップS５０７において、言語処理結果をチェックする。言語処理結果を参照し、未知語が存在するかを判定し（ステップS５０８）、存在した場合は修飾表示指令を出力する（ステップS５０９）。言語処理結果を参照し、複数の読みがある語が存在するかをチェックし（ステップS５１０）、存在した場合修飾表示指令を出力する（ステップS５１１）。言語処理の結果未知語と判定された語または複数の読みが存在する語など読み誤りの確率の高い語に対して修飾表示指令を出力することにより、操作者による読み誤り箇所の検出を容易にすることが可能となる。
合成音声品質予測にはこれらステップの全てを用いてもよいし、何れかを選択的に用いてもよい。また例えばターゲットコストと接続コストの合計値を判定に用いてもよい。また、合成音声の品質劣化を予測するための値は必ずしも一つでなくてもよい。また、合成音声の品質劣化を予測するために、必ずしもあらかじめ値を設定する必要はなく、前後のスコアとの相対値を用いてもよいしスコアそのものを品質劣化予測結果としてもよい。又図５に示したフローの順番にとらわれるものではない。

図６に、本発明の音声合成装置により合成音声を編集するフローを示す。ステップS６１において文字列が入力されると、音声合成装置は音声合成指令が与えられるまで待ちループに入る(ステップS６２)。音声合成指令が与えられると図２に示した音声合成のフローにより音声合成を行う（ステップS６３）。次に図５に示した合成音声品質予測のフローにより合成音声品質予測を行う（ステップS６４）。次に音声合成の結果をGUI上に表示する(ステップS６５)。ここでステップS６４で修飾表示指令がある場合、当該部分を修飾表示する。音声合成の結果とは言語処理結果、合成音声波形などを指す。次に音声合成装置は指令待ちループに入る（ステップS６６）。音声の再生指令があった場合、指定された範囲または全範囲の音声を再生する（ステップS６８）。編集指令があった場合、編集内容に応じて音声合成パラメータを変更する（ステップS６７）。合成指令があった場合はステップS６３へ進む。

ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いて音声合成装置を操作する場合の例を図７に示す。図７では操作者によって、テキスト入力部７０に「今日の天気は晴です。」が入力され、合成ボタン７１が押下された状態を示している。与えられた文字列「今日の天気は晴です。」に基づいて、言語処理の結果である、発音記号列７２、「キョ'ーノ／テ'ンキワ／ハレ'デス＞．」、及び文節区切り文字列７３「今日の／天気は／晴です。」が表示されている。

また、音声合成の結果に基づいて、合成波形７４が表示されている。合成波形は音素片の区切り線も併せて縦の点線で表示されており、操作者は各音素片の継続時間長を容易に確認できるようになっている。また、各音素片の区切り線横には該当音素片の音素種別を表す文字（この場合は音節名）が表示されており、音声波形に対する専門知識が無くとも音声波形と入力テキストを容易に対応付けることが可能となっている。表示は図示するものに限らない。

合成音声品質予測手段での品質予測結果はＧＵＩ上に表示され、操作者に品質劣化予測部の予測結果を提示することが可能になっている。図７では、合成音声品質推定手段において例えば「キョーノ」の「ノ」の音素片とその前の「ー」の音素片との接続コストが閾値を超え、合成音声に不連続感が生じることが予測されたため、該当音素片境界部の区切り線７６が着色されるなどして明示されている。合成音声品質劣化予測手段の結果を受けた修飾表示は、該部分を明示できれば良く、例えば線の種類や太さを変更してもよい。また接続コストによる品質予測以外の例としては、例えば該当音素片のターゲットコストが閾値を超えた場合はパワー、基本周波数などの不具合や信号処理による音質劣化が生じる可能性が予測されるため、音声波形表示部７４において該当音素片範囲全体の着色表示や音節名の拡大表示などにより明示する方法が考えられる。また、合成音声品質劣化予測手段が、閾値によるものではなく接続コストやターゲットコストそのものを品質劣化予測結果として返すような実施形態の場合、音声波形表示部７４においてコストの値そのものを明示する方法や、コストの値をＲＧＢ値などに変換し該当音素片を着色表示し、色の濃淡で品質劣化予測結果を明示する方法が考えられる。また、言語処理結果による品質劣化予測結果の修飾表示例としては、例えば言語処理の結果未知語と判定された語が存在する場合、読み誤りの可能性があるため、発音記号列表示部７２や文節区切り文字列表示部７３における該当文字列の着色表示、フォント変更表示などにより明示する方法が考えられる。本願の上記構成によれば操作者は全体音声の他、合成の品質が劣化していると考えられる箇所を容易に把握することができる。更に、操作者により音素片、または全体音声や部分音声が選択され再生ボタン７５が押された場合、音声合成装置は指定範囲のみの合成音声を出力することにより、当該部の音質をより詳しく聴取確認することができる。音素片の音声再生方法は、合成結果データに指定を受けた範囲の音素片のIDを出力し、そのIDをもとにコーパスから該音素片の波形データのみを取り出し再生してもよいし、合成結果データに合成音声全体に対する該音素片の位置情報（時間データやサンプル数データ）を出力し、その出力結果をもとに合成音声の該音素片部分のみを再生してもよい。指定された範囲の音声再生方法は、指定された範囲の始終端の位置情報を記憶し、合成音声の該当部分のみを再生すればよい。

音声合成装置は、音声合成の際に、音声合成データに記録されている多くの音素片から、接続コストやターゲットコストをもとに、ビタビサーチなどの探索を行い最適な音素片を選択して使用するようにしている（ステップS２５またはステップS２６）。音声合成装置は探索の結果合成に用いられた音素片の情報も音声合成時のパラメータとして出力する（ステップS２７）。よって、ステップS６８において合成音声を聴取確認した操作者は、ある音素片が所望の音質でないと感じた場合、当該音素片を選択して音素片変更指令を与えることができる。音素片変更指令が与えられると、音声合成時のパラメータに変更指令を受けた素片の情報を記録する（ステップＳ６７）。上記のように音声合成時のパラメータを変更した後、再度操作者により音声合成の指令が与えられると、音声合成エンジンは、該当素片を選択候補から外し、再度探索を行い最適な音素片候補を決定し音声合成を行う。したがって、操作者は音声に対する専門知識をもっていなくても、所望の音質でないと感じた音素片に対して変更指令を与えるだけで、音声合成装置によりその都度最適な音素片が自動的に選択される。
操作者は所望の音声が得られるまで、何度でも上記の操作を繰り返すことが出来る。

本願音声合成装置の構成の一実施例を示す図。 本願音声合成装置の構成の一実施例における音声合成のフローチャートを示す図。 本願音声合成装置の構成の一実施例における使用禁止素片データを示す図。 本願音声合成装置の構成の一実施例における音声合成結果データを示す図。 本願音声合成装置の構成の一実施例における合成音声品質劣化予測のフローを示す図。 本願音声合成装置の構成の一実施例における合成音声編集のフローを示す図。 本願音声合成装置の構成の一実施例におけるGUIを示す図。

符号の説明

１１…入力部、１２…音声合成手段、１３…記憶部、１４…制御手段、１５…合成音声品質劣化予測手段、１６…出力部、７０…テキスト入力部、７１…音声合成ボタン、７２…発音記号列、７３…形態素区切り情報付文字列、７４…合成音声波形表示部、７５…音声再生ボタン。

Claims (8)

1. 文字列を入力する入力手段と、
   波形データベースから最適な音素片を選択して入力された文字列の音声合成を行う音声合成手段と、
   上記合成された音声の品質の劣化部分を予測する合成音声品質予測手段と、
   上記合成音声品質予測手段により予測された品質の劣化部分と上記合成された音声の波形とを表示手段に表示させる出力部を有する音声合成装置。
2. 上記表示手段は、上記合成音声品質予測手段で品質が設定値範囲外と判定された音素片を、上記波形中および入力文字列又は入力文字列の言語処理結果に明示的に表示することを特徴とする請求項１記載の音声合成装置。
3. 上記品質予測部は、上記音声を構成する音素片選択時の接続コストを用いて上記品質を予測することを特徴とする請求項１又は２に記載の音声合成装置。
4. 上記品質予測部は、上記音声を構成する音素片のターゲットコストを用いて上記品質を予測することを特徴とする請求項１乃至３の何れかに記載の音声合成装置。
5. 上記音声合成手段は音声合成時に使用禁止音素片リストを参照し、使用禁止音素片リストに記録された音素片が存在するときに該音素片を除いて音声合成を行うことを特徴とする請求項１乃至４の何れかに記載の音声合成装置。
6. 入力手段を介して上記合成された音声の波形を構成する素片の差し替え指示を受けると、上記音声合成手段は該音素片を使用禁止音素片リストに追加することを特徴とする請求項５に記載の音声合成装置。
7. 入力手段を介して再合成の指示入力を受けると、
   上記音声合成手段は、上記使用禁止音素片リストの音素片を除いて上記音声合成を行うことを特徴とする請求項６に記載の音声合成装置。
8. 上記音声合成手段は、接続コスト又は／及びターゲットコストに基づいて上記波形データベースから音素片を選択することを特徴とする請求項１に記載の音声合成装置。

Images