JP3747492B2 - 音声信号の再生方法及び再生装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、入力音声信号をフレーム単位で区分し、符号化して求めた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法及び再生装置に関する。
【０００２】
【従来の技術】
オーディオ信号（音声信号や音響信号を含む）の時間領域や周波数領域における統計的性質と人間の聴感上の特性を利用して信号圧縮を行うような符号化方法が種々知られている。この符号化方法としては、大別して時間領域での符号化、周波数領域での符号化、分析合成符号化等が挙げられる。
【０００３】
【発明が解決しようとする課題】
ところで、符号励起線形予測（ＣＥＬＰ：Code Excited Linear Prediction ）符号化に代表されるような上記時間軸上の処理による音声高能率符号化方法では、時間軸のスピード変換（Modify）処理が困難であった。これは、デコーダ出力の後にかなりの演算を行う必要があったためである。
【０００４】
また、デコードした線形領域でスピードコントロールを行うため、例えばビットレートの変換などには使えなかった。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える音声信号の再生方法及び再生装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る音声信号の再生方法は、上記課題を解決するために、入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法において、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める工程と、この変更符号化パラメータに基づいて、少なくともサイン波を合成する工程とを有し、上記変更符号化パラメータを求める工程は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする。
【０００７】
本発明に係る音声信号の再生装置は、上記課題を解決するために、入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生装置において、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める手段と、この変更符号化パラメータに基づいて、少なくともサイン波を合成する手段とを有し、上記変更符号化パラメータを求める手段は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする。
【０００９】
【作用】
入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化して求めた符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて少なくともサイン波を合成して音声信号を再生するので、任意のレートのスピードコントロールを可能とする。
【００１０】
【実施例】
以下、本発明に係る音声信号の再生方法、再生装置を適用できるいくつかの実施例について図面を参照しながら説明する。
【００１１】
先ず、本発明に係る音声信号の再生方法、再生装置に関する実施例を第１実施例として図１に示す。この第１実施例は、入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化して求めた符号化パラメータに基づいて、サイン波及びノイズを合成することにより音声信号を再生する音声信号再生装置１である。
【００１２】
特に、この音声信号再生装置１は、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求め、この変更符号化パラメータに基づいて、サイン波及びノイズを合成している。なお、ここでは、上記変更符号化パラメータに基づいてサイン波及びノイズを合成しているが、少なくともサイン波を合成するだけでもよい。
【００１３】
この音声信号再生装置１は、入力端子１０から入力された音声信号をフレーム単位で区分しこのフレーム単位で符号化して線スペクトル対（ＬＳＰ）パラメータや、ピッチや、有声音（Ｖ）／無声音（ＵＶ）や、スペクトル振幅Ａｍのような符号化パラメータを出力する符号化部２と、上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める変更符号化パラメータ算出部３と、上記変更符号化パラメータに基づいてサイン波及びノイズを合成し、出力端子３７から合成音声信号を出力する復号化部６とを備えてなる。ここで、符号化部２と、変更符号化パラメータ算出部３と、復号化部６は、図示しない制御部により、制御される。
【００１４】
特に、この音声信号再生装置１の変更符号化パラメータ算出部３は、図２に示すように、所定フレーム毎に得られる上記符号化パラメータの時間軸を圧縮伸張して上記パラメータの出力周期を変更する周期変更回路４と、この周期変更されたパラメータを補間処理して上記所定フレーム毎の時刻に対応する変更符号化パラメータとする補間処理回路５とからなる。なお、この変更符号化パラメータ算出部３については後述する。
【００１５】
先ず、符号化部２について説明するが、この符号化部２と復号化部６では、短期予測残差、例えばＬＰＣ残差（線形予測残差）を、ハーモニクスコーディングとノイズで表現する、あるいはマルチバンド励起（ＭＢＥ）符号化あるいはＭＢＥ分析する。
【００１６】
従来の符号励起線形予測（ＣＥＬＰ）符号化においては、ＬＰＣ残差を直接時間波形としてベクトル量子化していたが、符号化部２では、残差をハーモニクスコーディングやＭＢＥ分析で符号化するため、少ないビット数でハーモニクスのスペクトルエンベロープの振幅をベクトル量子化しても比較的滑らかな合成波形が得られ、ＬＰＣ合成波形フィルタ出力も非常に聴きやすい音質となる。なお、上記スペクトルエンベロープの振幅の量子化には、本件発明者等が先に提案した特開平６−５１８００号公報に記載の次元変換あるいはデータ数変換の技術を用い、一定の次元数にしてベクトル量子化を行っている。
【００１７】
図３に示す符号化部において、入力端子１０に供給された音声信号は、フィルタ１１にて不要な帯域の信号を除去するフィルタ処理が施された後、ＬＰＣ（線形予測符号化）分析回路１２及び逆フィルタリング回路２１に送られる。
【００１８】
ＬＰＣ分析回路１２は、入力信号波形の２５６サンプル程度の長さを１ブロックとしてハミング窓をかけて、自己相関法により線形予測係数、いわゆるαパラメータを求める。データ出力の単位となるフレーミングの間隔は、１６０サンプル程度とする。サンプリング周波数ｆｓが例えば８ｋHzのとき、１フレーム間隔は１６０サンプルで２０ｍsec となる。
【００１９】
ＬＰＣ分析回路１２からのαパラメータは、α→ＬＳＰ変換回路１３に送られて、線スペクトル対（ＬＳＰ）パラメータに変換される。これは、直接型のフィルタ係数として求まったαパラメータを、例えば１０個、すなわち５対のＬＳＰパラメータに変換する。変換は例えばニュートン−ラプソン法等を用いて行う。このＬＳＰパラメータに変換するのは、αパラメータよりも補間特性に優れているからである。
【００２０】
α→ＬＳＰ変換回路１３からのＬＳＰパラメータは、ＬＳＰベクトル量子化器１４によりベクトル量子化される。このとき、フレーム間差分をとってからベクトル量子化してもよい。あるいは、複数フレーム分をまとめてマトリクス量子化してもよい。ここでの量子化では、２０ｍsec を１フレームとし、２０ｍsec 毎に算出されるＬＳＰパラメータをベクトル量子化している。
【００２１】
このＬＳＰベクトル量子化器１４からの量子化出力、すなわちＬＳＰベクトル量子化のインデクスは、端子１５を介して取り出され、また量子化済みのＬＳＰベクトルは、ＬＳＰ補間回路１６に送られる。
【００２２】
ＬＳＰ補間回路１６は、上記２０ｍsec 毎にベクトル量子化されたＬＳＰのベクトルを補間し、８倍のレートにする。すなわち、２．５ｍsec 毎にＬＳＰベクトルが更新されるようにする。これは、残差波形をＭＢＥ符号化復号化方法により分析合成すると、その合成波形のエンベロープは非常になだらかでスムーズな波形になるため、ＬＰＣ係数が２０ｍsec 毎に急激に変化すると、異音を発生することがあるからである。すなわち、２．５ｍsec 毎にＬＰＣ係数が徐々に変化してゆくようにすれば、このような異音の発生を防ぐことができる。
【００２３】
このような補間が行われた２．５ｍsec 毎のＬＳＰベクトルを用いて入力音声の逆フィルタリングを実行するために、ＬＳＰ→α変換回路１７により、ＬＳＰパラメータを例えば１０次程度の直接型フィルタの係数であるαパラメータに変換する。このＬＳＰ→α変換回路１７からの出力は、上記逆フィルタリング回路２１に送られ、この逆フィルタリング回路２１では、２．５ｍsec 毎に更新されるαパラメータにより逆フィルタリング処理を行って、滑らかな出力を得るようにしている。この逆フィルタリング回路２１からの出力は、ハーモニクス／ノイズ符号化回路２２、具体的には例えばマルチバンド励起（ＭＢＥ）分析回路、に送られる。
【００２４】
ハーモニクス／ノイズ符号化回路あるいはＭＢＥ分析回路２２では、逆フィルタリング回路２１からの出力を、例えばＭＢＥ分析と同様の方法で分析する。すなわち、ピッチ検出、各ハーモニクスの振幅Ａｍの算出、有声音（Ｖ）／無声音（ＵＶ）の判別を行い、ピッチによって変化するハーモニクスの振幅Ａｍの個数を次元変換して一定数にしている。なお、ピッチ検出には、後述するように、入力されるＬＰＣ残差の自己相関を用いている。
【００２５】
この回路２２として、マルチバンドエクサイテイション（ＭＢＥ）符号化の分析回路の具体例について、図４を参照しながら説明する。
【００２６】
この図４に示すＭＢＥ分析回路においては、同時刻（同じブロックあるいはフレーム内）の周波数軸領域に有声音（Voiced）部分と無声音（Unvoiced）部分とが存在するという仮定でモデル化している。
【００２７】
図４の入力端子１１１には、上記逆フィルタリング回路２１からのＬＰＣ残差あるいは線形予測残差が供給されており、このＬＰＣ残差の入力に対してＭＢＥ分析符号化処理を施すわけである。
【００２８】
入力端子１１１から入力されたＬＰＣ残差は、ピッチ抽出部１１３、窓かけ処理部１１４、及び後述するサブブロックパワー計算部１２６にそれぞれ送られる。
【００２９】
ピッチ抽出部１１３では、入力がすでにＬＰＣ残差となっているので、この残差の自己相関の最大値を検出することにより、ピッチ検出が行える。このピッチ抽出部１１３ではオープンループによる比較的ラフなピッチのサーチが行われ、抽出されたピッチデータは高精度（ファイン）ピッチサーチ部１１６に送られて、クローズドループによる高精度のピッチサーチ（ピッチのファインサーチ）が行われる。
【００３０】
窓かけ処理部１１４では、１ブロックＮサンプルに対して所定の窓関数、例えばハミング窓をかけ、この窓かけブロックを１フレームＬサンプルの間隔で時間軸方向に順次移動させている。窓かけ処理部１１４からの時間軸データ列に対して、直交変換部１１５により例えばＦＦＴ（高速フーリエ変換）等の直交変換処理が施される。
【００３１】
サブブロックパワー計算部１２６では、ブロック内の全バンドが無声音（ＵＶ）と判別されたときに、該ブロックの無声音信号の時間波形のエンベロープを示す特徴量を抽出する処理が行われる。
【００３２】
高精度（ファイン）ピッチサーチ部１１６には、ピッチ抽出部１１３で抽出された整数（インテジャー）値の粗（ラフ）ピッチデータと、直交変換部１１５により例えばＦＦＴされた周波数軸上のデータとが供給されている。この高精度ピッチサーチ部１１６では、上記粗ピッチデータ値を中心に、0.２〜0.５きざみで±数サンプルずつ振って、最適な小数点付き（フローティング）のファインピッチデータの値へ追い込む。このときのファインサーチの手法として、いわゆる合成による分析 (Analysis by Synthesis)法を用い、合成されたパワースペクトルが原音のパワースペクトルに最も近くなるようにピッチを選んでいる。
【００３３】
すなわち、上記ピッチ抽出部１１３で求められたラフピッチを中心として、例えば0.25きざみで上下に数種類ずつ用意する。これらの複数種類の微小に異なるピッチの各ピッチに対してそれぞれエラー総和値Σε_m を求める。この場合、ピッチが定まるとバンド幅が決まり、周波数軸上データのパワースペクトルと励起信号スペクトルとを用いて上記エラーε_m を求め、その全バンドの総和値Σε_m を求めることができる。このエラー総和値Σε_m を各ピッチ毎に求め、最小となるエラー総和値に対応するピッチを最適のピッチとして決定するわけである。以上のようにして高精度ピッチサーチ部で最適のファイン（例えば 0.25 きざみ）ピッチが求められ、この最適ピッチに対応する振幅｜Ａ_m ｜が決定される。このときの振幅値の計算は、有声音の振幅評価部１１８Ｖにおいて行われる。
【００３４】
以上ピッチのファインサーチの説明においては、全バンドが有声音（Voiced）の場合を想定しているが、上述したようにＭＢＥ分析合成系においては、同時刻の周波数軸上に無声音（Unvoiced）領域が存在するというモデルを採用していることから、上記各バンド毎に有声音／無声音の判別を行うことが必要とされる。
【００３５】
上記高精度ピッチサーチ部１１６からの最適ピッチ及び振幅評価部（有声音）１１８Ｖからの振幅｜Ａ_m ｜のデータは、有声音／無声音判別部１１７に送られ、上記各バンド毎に有声音／無声音の判別が行われる。この判別のためにＮＳＲ（ノイズｔｏシグナル比）を利用する。
【００３６】
ところで、上述したように基本ピッチ周波数で分割されたバンドの数（ハーモニックスの数）は、声の高低（ピッチの大小）によって約８〜６３程度の範囲で変動するため、各バンド毎のＶ／ＵＶフラグの個数も同様に変動してしまう。そこで、本実施例においては、固定的な周波数帯域で分割した一定個数のバンド毎にＶ／ＵＶ判別結果をまとめる（あるいは縮退させる）ようにしている。具体的には、音声帯域を含む所定帯域（例えば０〜４０００Hz）をＮ_B 個（例えば１２個）のバンドに分割し、各バンド内の上記ＮＳＲ値に従って、例えば重み付き平均値を所定の閾値Th₂ で弁別して、当該バンドのＶ／ＵＶを判断している。
【００３７】
次に、無声音の振幅評価部１１８Ｕには、直交変換部１１５からの周波数軸上データ、ピッチサーチ部１１６からのファインピッチデータ、有声音振幅評価部１１８Ｖからの振幅｜Ａ_m ｜のデータ、及び上記有声音／無声音判別部１１７からのＶ／ＵＶ（有声音／無声音）判別データが供給されている。この振幅評価部（無声音）１１８Ｕでは、有声音／無声音判別部１１７において無声音（ＵＶ）と判別されたバンドに関して、再度振幅を求めている。すなわち振幅再評価を行っている。なお、振幅評価部１１８Ｕでは、有声音（Ｖ）と判別されたバンドに関しては、有声音の振幅評価部１１８Ｖから入力された値をそのまま出力している。
【００３８】
この振幅評価部（無声音）１１８Ｕからのデータは、データ数変換（一種のサンプリングレート変換）部１１９に送られる。このデータ数変換部１１９は、上記ピッチに応じて周波数軸上での分割帯域数が異なり、データ数（特に振幅データの数）が異なることを考慮して、一定の個数にするためのものである。すなわち、例えば有効帯域を３４００ｋHzまでとすると、この有効帯域が上記ピッチに応じて、８バンド〜６３バンドに分割されることになり、これらの各バンド毎に得られる上記振幅｜Ａ_m ｜（ＵＶバンドの振幅｜Ａ_m ｜_UVも含む）データの個数ｍ_MX＋１も８〜６３と変化することになる。このためデータ数変換部１１９では、この可変個数ｍ_MX＋１の振幅データを一定個数Ｍ（例えば４４個）のデータに変換している。
【００３９】
ここで、データ数変換部１１９においては、例えば、周波数軸上の有効帯域１ブロック分の振幅データに対して、ブロック内の最後のデータからブロック内の最初のデータまでの値を補間するようなダミーデータを付加してデータ個数をＮ_F 個に拡大した後、帯域制限型のＯ_S 倍（例えば８倍）のオーバーサンプリングを施すことによりＯ_S 倍の個数の振幅データを求め、このＯ_S 倍の個数（（ｍ_MX＋１）×Ｏ_S 個）の振幅データを直線補間してさらに多くのＮ_M 個（例えば２０４８個）に拡張し、このＮ_M 個のデータを間引いて上記一定個数Ｍ（例えば４４個）のデータに変換している。
【００４０】
このデータ数変換部１１９からのデータ（上記一定個数Ｍ個の振幅データ）が上記ベクトル量子化器２３に送られて、Ｍ個のデータから成るベクトルとされるか、あるいは所定個数のデータ毎にまとめられてベクトルとされ、ベクトル量子化が施される。
【００４１】
高精度のピッチサーチ部１１６からのピッチデータについては、上記切換スイッチ２７の被選択端子ａを介して出力端子２８に送っている。これは、ブロック内の全バンドがＵＶ（無声音）となってピッチ情報が不要となる場合に、無声音信号の時間波形を示す特徴量の情報をピッチ情報と切り換えて送っているものであり、本件発明者等が特願平５−１８５３２５号の明細書及び図面において開示した技術である。
【００４２】
なお、これらの各データは、上記Ｎサンプル（例えば２５６サンプル）のブロック内のデータに対して処理を施すことにより得られるものであるが、ブロックは時間軸上を上記Ｌサンプルのフレームを単位として前進することから、伝送するデータは上記フレーム単位で得られる。すなわち、上記フレーム周期でピッチデータ、Ｖ／ＵＶ判別データ、振幅データが更新されることになる。また、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別データについては、上述したように、必要に応じて１２バンド程度に低減（縮退）したデータを用いてもよく、全バンド中で１箇所以下の有声音（Ｖ）領域と無声音（ＵＶ）領域との区分位置を表すデータを用いるようにしてもよい。あるいは、全バンドをＶ又はＵＶのどちらかで表現してもよく、また、フレーム単位のＶ／ＵＶ判別としてもよい。
【００４３】
ここで、ブロック全体がＵＶ（無声音）と判別された場合には、ブロック内の時間波形を表す特徴量を抽出するために、１ブロック（例えば２５６サンプル）を、複数個（８個）の小ブロック（サブブロック、例えば３２サンプル）に分割して、サブブロックパワー計算部１２６に送っている。
【００４４】
サブブロックパワー計算部１２６においては、各サブブロック毎の１サンプル当りの平均パワー、あるいはいわゆる平均ＲＭＳ（Root Mean Square）値についての、ブロック内全サンプル（例えば２５６サンプル）の平均パワーあるいは平均ＲＭＳ値に対する割合（比率、レシオ）を算出している。
【００４５】
すなわち、例えばｋ番目のサブブロックの平均パワーを求め、次に１ブロック全体の平均パワーを求めた後、この１ブロックの平均パワーと上記ｋ番目のサブブロックの平均パワーｐ(k) との比の平方根を算出する。
【００４６】
このようにして得られた平方根値を、所定次元のベクトルとみなし、次のベクトル量子化部１２７においてベクトル量子化を行う。
【００４７】
このベクトル量子化部１２７では、例えば、８次元８ビット（コードブックサイズ＝２５６）のストレートベクトル量子化を行う。このベクトル量子化の出力インデクス（代表ベクトルのコード）UV_Eを、切換スイッチ２７の被選択端子ｂに送っている。この切換スイッチ２７の被選択端子ａには、上記高精度ピッチサーチ部１１６からのピッチデータが送られており、切換スイッチ２７からの出力は、出力端子２８に送られている。
【００４８】
切換スイッチ２７は、有声音／無声音判別部１１７からの判別出力信号により切換制御されるようになっており、通常の有声音伝送時、すなわち上記ブロック内の全バンドの内の１つでもＶ（有声音）と判別されたときには被選択端子ａに、ブロック内の全バンドがＵＶ（無声音）と判別されたときには被選択端子ｂに、それぞれ切換接続される。
【００４９】
従って、上記サブブロック毎の正規化された平均ＲＭＳ値のベクトル量子化出力は、本来はピッチ情報を伝送していたスロットに入れ込んで伝送されることになる。すなわち、ブロック内の全バンドがＵＶ（無声音）と判別されたときにはピッチ情報は不要であり、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別フラグを見て、全てＵＶのときに限って、ベクトル量子化出力インデクスUV_Eをピッチ情報の代わりに伝送するようにしている。
【００５０】
次に、図３に戻って、ベクトル量子化器２３におけるスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化について説明する。
【００５１】
ベクトル量子化器２３は、Ｌ次元、例えば４４次元の２ステージ構成とする。
【００５２】
すなわち、４４次元でコードブックサイズが３２のベクトル量子化コードブックからの出力ベクトルの和に、ゲインｇ_i を乗じたものを、４４次元のスペクトルエンベロープベクトルｘの量子化値として使用する。これは、図５に示すように、２つのシェイプコードブックをＣＢ０、ＣＢ１とし、その出力ベクトルをｓ _0i、ｓ _1j、ただし０≦ｉ，ｊ≦３１、とする。また、ゲインコードブックＣＢｇの出力をｇ_l 、ただし０≦ｌ≦３１、とする。ｇ_l はスカラ値である。この最終出力は、ｇ_i（ｓ _0i＋ｓ _1j） となる。
【００５３】
ＬＰＣ残差について上記ＭＢＥ分析によって得られたスペクトルエンベロープＡｍを一定次元に変換したものをｘとする。このとき、ｘをいかに効率的に量子化するかが重要である。
【００５４】
ここで、量子化誤差エネルギＥを、

と定義する。この（１）式において、ＨはＬＰＣの合成フィルタの周波数軸上での特性であり、Ｗは聴覚重み付けの周波数軸上での特性を表す重み付けのための行列である。
【００５５】
現フレームのＬＰＣ分析結果によるαパラメータを、α_i （１≦ｉ≦Ｐ）として、
【００５６】
【数１】

【００５７】
の周波数特性からＬ次元、例えば４４次元の各対応する点の値をサンプルしたものである。
【００５８】
算出手順としては、一例として、１、α₁、α₂、・・・、α_p に０詰めして、すなわち、１、α₁、α₂、・・・、α_p 、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、（ｒ_e ²＋Ｉ_m ²）^1/2 を０〜πに対応する点に対して算出して、その逆数をとる。それをＬ点、すなわち例えば４４点に間引いたものを対角要素とする行列を、
【００５９】
【数２】

【００６０】
とする。
【００６１】
聴覚重み付け行列Ｗは、
【００６２】
【数３】

【００６３】
とする。この（３）式で、α_i は入力のＬＰＣ分析結果である。また、λa、λbは定数であり、一例として、λa＝０．４、λb＝０．９が挙げられる。
【００６４】
行列あるいはマトリクスＷは、上記（３）式の周波数特性から算出できる。一例として、１、α₁λb、α₂λb²、・・・、α_pλb^p、０、０、・・・、０として２５６点のデータとしてＦＦＴを行い、０以上π以下の区間に対して（ｒ_e ²[ｉ]＋Ｉ_m ²[ｉ]）^1/2 、０≦ｉ≦１２８、を求める。次に、１、α₁λa、α₂λa² 、・・・、α_pλa^p 、０、０、・・・、０として分母の周波数特性を２５６点ＦＦＴで０〜πの区間を１２８点で算出する。これを（ｒ_e'²[ｉ]＋Ｉ_m'²[ｉ]）^1/2 、０≦ｉ≦１２８、とする。
【００６５】
【数４】

【００６６】
として、上記（３）式の周波数特性が求められる。
【００６７】
これをＬ次元、例えば４４次元ベクトルの対応する点について、以下の方法で求める。より正確には、直線補間を用いるべきであるが、以下の例では最も近い点の値で代用している。
【００６８】
すなわち、
ω[ｉ]＝ω₀［nint(128ｉ/L)］ １≦ｉ≦Ｌ
ただし、nint（ｘ）は、ｘに最も近い整数を返す関数
である。
【００６９】
また、上記Ｈに関しても同様の方法で、h(1)、h(2)、・・・、h(L)を求めている。すなわち、
【００７０】
【数５】

【００７１】
となる。
【００７２】
ここで、他の例として、ＦＦＴの回数を減らすのに、Ｈ(ｚ)Ｗ(ｚ)を先に求めてから、周波数特性を求めてもよい。すなわち、
【００７３】
【数６】

【００７４】
この（５）式の分母を展開した結果を、
【００７５】
【数７】

【００７６】
とする。ここで、１、β₁、β₂、・・・、β_2p、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、振幅の周波数特性を、
【００７７】
【数８】

【００７８】
とする。これより、
【００７９】
【数９】

【００８０】
これをＬ次元ベクトルの対応する点について求める。上記ＦＦＴのポイント数が少ない場合は、直線補間で求めるべきであるが、ここでは最寄りの値を使用している。すなわち、
【００８１】
【数１０】

【００８２】
である。これを対角要素とする行列をＷ’とすると、
【００８３】
【数１１】

【００８４】
となる。（６）式は上記（４）式と同一のマトリクスとなる。
【００８５】
このマトリクス、すなわち重み付き合成フィルタの周波数特性を用いて、上記（１）を書き直すと、
【００８６】
【数１２】

【００８７】
となる。
【００８８】
ここで、シェイプコードブックとゲインコードブックの学習法について説明する。
【００８９】
先ず、ＣＢ０に関しコードベクトルｓ _0cを選択する全てのフレームｋに関して歪の期待値を最小化する。そのようなフレームがＭ個あるとして、
【００９０】
【数１３】

【００９１】
を最小化すればよい。この（８）式中で、Ｗ'_kはｋ番目のフレームに対する重み、ｘ _k はｋ番目のフレームの入力、ｇ_k はｋ番目のフレームのゲイン、ｓ _1kはｋ番目のフレームについてのコードブックＣＢ１からの出力、をそれぞれ示す。
【００９２】
この（８）式を最小化するには、
【００９３】
【数１４】

【００９４】
【数１５】

【００９５】
次に、ゲインに関しての最適化を考える。
【００９６】
ゲインのコードワードｇ_c を選択するｋ番目のフレームに関しての歪の期待値Ｊ_g は、
【００９７】
【数１６】

【００９８】
上記（１１）式及び（１２）式は、シェイプｓ _0i、ｓ _1i及びゲインｇ_i 、０≦ｉ≦３１の最適なセントロイドコンディション(Centroid Condition)、すなわち最適なデコーダ出力を与えるものである。なお、ｓ _1iに関してもｓ _0iと同様に求めることができる。
【００９９】
次に、最適エンコード条件（Nearest Neighbour Condition ）を考える。
【０１００】
歪尺度の上記（７）式、すなわち、Ｅ＝‖Ｗ'（ｘ−ｇ_l（ｓ _0i＋ｓ _1j））‖² を最小化するｓ _0i、ｓ _1jを、入力ｘ、重みマトリクスＷ' が与えられる毎に、すなわち毎フレームごとに決定する。
【０１０１】
本来は、総当り的に全てのｇ_l （０≦ｌ≦３１）、ｓ _0i （０≦ｉ≦３１）、ｓ _1j （０≦ｊ≦３１）の組み合せの、３２×３２×３２＝３２７６８通りについてＥを求めて、最小のＥを与えるｇ_l 、ｓ _0i、ｓ _1jの組を求めるべきであるが、膨大な演算量となるので、この符号化部２では、シェイプとゲインのシーケンシャルサーチを行っている。なお、ｓ _0iとｓ _1jとの組み合せについては、総当りサーチを行うものとする。これは、３２×３２＝１０２４通りである。以下の説明では、簡単化のため、ｓ _0i＋ｓ _1jをｓ _m と記す。
【０１０２】
上記（７）式は、Ｅ＝‖Ｗ'（ｘ−ｇ_lｓ_m）‖² となる。さらに簡単のため、ｘ _w＝Ｗ'ｘ、ｓ _w＝Ｗ'ｓ _m とすると、
【０１０３】
【数１７】

【０１０４】
となる。従って、ｇ_l の精度が充分にとれると仮定すると、
【０１０５】
【数１８】

【０１０６】
という２つのステップに分けてサーチすることができる。元の表記を用いて書き直すと、
【０１０７】
【数１９】

【０１０８】
となる。この（１５）式が最適エンコード条件(Nearest Neighbour Condition) である。
【０１０９】
ここで上記（１１）、（１２）式の条件（Centroid Condition）と、（１５）式の条件を用いて、一般化ロイドアルゴリズム（Generalized Lloyd Algorithm:ＧＬＡ）によりコードブック（ＣＢ０、ＣＢ１、ＣＢｇ）を同時にトレーニングできる。
【０１１０】
ところで、図３において、ベクトル量子化器２３は、切換スイッチ２４を介して、有声音用コードブック２５Ｖと、無声音用コードブック２５Ｕとに接続されており、回路２２からのＶ／ＵＶ判別出力に応じて切換スイッチ２４が切換制御されることにより、有声音時には有声音用コードブック２５Ｖを用いたベクトル量子化が、無声音時には無声音用コードブック２５Ｕを用いたベクトル量子化がそれぞれ施されるようになっている。
【０１１１】
このように有声音（Ｖ）／無声音（ＵＶ）の判断によってコードブックを切り換える意味は、上記（１１）、（１２）式の新たなセントロイドの算出において、Ｗ'_kとｇ_l とによる重み付き平均を行っているため、著しく異なるＷ'_kとｇ_l とを同時に平均化してしまうのは好ましくないからである。
【０１１２】
なお、この符号化部２では、Ｗ’として、入力ｘのノルムで割り込んだＷ’を使用している。すなわち、上記（１１）、（１２）、（１５）式において、事前にＷ’にＷ'／‖ｘ‖ を代入して使用している。
【０１１３】
Ｖ／ＵＶでコードブックを切り換える場合は、同様の方法でトレーニングデータを振り分けて各々のトレーニングデータからＶ（有声音）用、ＵＶ（無声音）用のコードブックを作ればよい。
【０１１４】
また、この符号化部２では、Ｖ／ＵＶのビット数を減らすため、単一バンド励起（ＳＢＥ）とし、Ｖの含有率が５割を越える場合は有声音（Ｖ）フレーム、それ以外は無声音（ＵＶ）フレームとしている。
【０１１５】
なお、図６、図７に入力ｘ及び重みＷ'／‖ｘ‖ の平均値を、Ｖ（有声音）のみ、ＵＶ（無声音）のみでまとめたものと、ＶとＵＶとを区別せずにひとまとめにしたものとを示す。
【０１１６】
図６より、ｘ自体のｆ軸上のエネルギ分布は、Ｖ、ＵＶで大きく差はなく、ゲインの（‖ｘ‖）平均値が大きく異なるのみであるように見える。しかし、図７から明らかなように、ＶとＵＶでは重みの形が異なり、ＶではＵＶに比べより低域にビットアサインを増やすような重みとなっている。これが、ＶとＵＶとを分けてトレーニングすることでより高性能なコードブックが作成される根拠である。
【０１１７】
次に、図８は、Ｖ（有声音）のみ、ＵＶ（無声音）のみ、ＶとＵＶとをまとめたものの３つの例について、それぞれのトレーニングの様子を示している。すなわち、図８の曲線ａがＶのみの場合で終値が３．７２であり、曲線ｂがＵＶのみで終値が７．０１１であり、曲線ｃがＶとＵＶとをまとめたもので終値が６．２５である。
【０１１８】
この図８から明らかなように、ＶとＵＶとの各コードブックのトレーニングを分離することで出力の歪の期待値が減少する。曲線ｂのＵＶのみの場合で若干悪化しているが、Ｖ／ＵＶの頻度としては、Ｖの区間が長いので、トータルとしては改善される。ここで、ＶとＵＶの頻度の一例として、Ｖ及びＵＶのトレーニングデータ長を１としたとき、実測によるとＶのみの割合が０．５３８、ＵＶのみの割合が０．４６２であり、図８の各曲線ａ、ｂの終値より、
３．７２×０．５３８＋７．０１１×０．４６２＝５．２４
がトータルの歪の期待値となり、ＶとＵＶとをまとめてトレーニングする場合の歪の期待値の６．２５に比べて、上記値５．２４は、約０．７６ｄＢの改善がなされたことになる。
【０１１９】
トレーニングの様子から判断すると、前述のように０．７６ｄＢ程度の改善であるが、実際にトレーニングセット外の音声（男女４人ずつ）を処理し、量子化を行わないときとのＳＮＲあるいはＳＮ比をとると、コードブックをＶ、ＵＶに分割することで平均して１．３ｄＢ程度のセグメンタルＳＮＲの向上が確認された。これは、Ｖの比率がＵＶに比べてかなり高いためと考えられる。
【０１２０】
ところで、ベクトル量子化器２３でのベクトル量子化の際の聴覚重み付けに用いられる重みＷ’については、上記（６）式で定義されているが、過去のＷ’も加味して現在のＷ’を求めることにより、テンポラルマスキングも考慮したＷ’が求められる。
【０１２１】
上記（６）式中のwh(1),wh(2),・・・,wh(L)に関して、時刻ｎ、すなわち第ｎフレームで算出されたものをそれぞれwh_n(1),wh_n(2),・・・,wh_n(L) とする。
【０１２２】
時刻ｎで過去の値を考慮した重みをＡ_n(i)、１≦ｉ≦Ｌ と定義すると、

とする。ここで、λは例えばλ＝０．２とすればよい。このようにして求められたＡ_n(i)、１≦ｉ≦Ｌ について、これを対角要素とするマトリクスを上記重みとして用いればよい。
【０１２３】
次に、図１に戻り変更符号化パラメータ算出部３について説明する。音声信号再生装置１は、符号化部２が出力した上記符号化パラメータを変更符号化パラメータ算出部３によりスピード変換して変更符号化パラメータを算出し、復号化部６でデコードして、例えば固体録音した内容をリアルタイムの倍のスピードで再生する。このとき、再生スピードを高速にしてもピッチ、音韻が不変であるため、かなりの高速再生を行っても内容を聞きとることができる。
【０１２４】
変更符号化パラメータ算出部３は、上記符号化パラメータをスピード変換しているため、デコーダ出力後の処理が不要で、かつ同様のアルゴリズムで異なるレートでの固定レートに容易に対応することもできる。
【０１２５】
以下、図９及び図１１のフローチャートを参照しながらこの音声信号再生装置１の変更符号化パラメータ算出部３の動作を説明する。変更符号化パラメータ算出部３は、図２を参照して上述したように、周期変更回路４と補間処理回路５からなる。
【０１２６】
先ず、図９のステップＳ１に示すように、周期変更回路４には、入力端子１５，２８，２９，２６を介してＬＳＰ，ピッチ，Ｖ／ＵＶ，Ａｍのような符号化パラメータが供給される。ここで、ピッチをｐ_ch[ｎ]，Ｖ／ＵＶをｖｕ_v[ｎ]，Ａｍをａ_m[ｎ][ｌ]，ＬＳＰをｌ_sp[ｎ][ｉ]とする。また、変更符号化パラメータ算出部３で最終的に算出される変更符号化パラメータをmod_ｐ_ch[ｍ]，mod_ｖｕ_v[ｍ]，mod_ａ_m[ｍ][ｌ]，mod_ｌ_sp[ｍ][ｉ]とする。ｌはハーモニクス数、ｉはＬＳＰ次数である。ｎ，ｍは、時間軸のインデクスに相当するフレームナンバーに対応する。ｎは時間軸変更前、ｍは時間軸変更後である。なお、０≦ｎ＜Ｎ₁，０≦ｍ＜Ｎ₂であり、ｎ，ｍともに例えば２０msecをフレームインターバルとするフレームのインデクスである。
【０１２７】
上述したようにｌはハーモニクス数であるが、真のハーモニクスの数に対応するａ_m[ｎ][ｌ]に戻してから実行しても、あるいはデータ数変換で一定の個数のａ_m[ｎ][ｌ]（ｌ＝０〜４３）の状態で行っても良い。つまり、データ数変換をデコータで解く前でも後でもよい。
【０１２８】
次に、周期変更回路４は、ステップＳ２に示すように、オリジナルの時間長となるフレーム数をＮ₁とし、変更後の時間長となるフレーム数をＮ₂としてから、ステップＳ３に示すように、Ｎ₁の音声をＮ₂の音声に時間軸圧縮する。すなわち、周期変更回路４での時間軸圧縮の比をspdとすると、spdをＮ₂／Ｎ₁として求める。
【０１２９】
次に、補間処理回路５は、ステップＳ４に示すように、時間軸変更後の時間軸のインデクスに相当するフレームナンバーに対応するｍを２とする。
【０１３０】
次に、補間処理回路５はステップＳ５に示すように、二つのフレームｆ_r0，ｆ_r1と、該二つのフレームｆ_r0，ｆ_r1とｍ／spdとの差left，rightとを求める。上記符号化パラメータのｐ_ch，ｖｕ_v，ａ_m，ｌ_spを＊とするときmod_＊[ｍ]は、
mod_＊[ｍ]＝＊[ｍ／spd] （０≦ｍ＜Ｎ₂）
という一般式で表せる。しかし、ｍ／spdは、整数にはならないので、
ｆ_r0＝L ｍ／spd 」
ｆ_r1＝ｆ₀＋１
の２フレームから補間して、ｍ／spdにおける変更符号化パラメータを作る。ここで、フレームｆ_r0とｍ／spdとフレームｆ_r1との間には、図１０に示すような関係、すなわち、
left＝ｍ／spd−ｆ_r0
right＝ｆ_r1−ｍ／spd
が成立する。
【０１３１】
この図１０におけるｍ／spdのときの符号化パラメータ、すなわち変更符号化パラメータをステップＳ６に示すように、補間処理によって作ればよい。単純に直線補間により求めると、
mod_＊[ｍ]＝＊[ｆ_r0]×right＋＊[ｆ_r1]×left
となる。
【０１３２】
しかし、２つのフレームｆ_r0，ｆ_r1間での補間では、それらのフレームが有声音（Ｖ）と，無声音（ＵＶ）というように異なる場合には、上記一般式を適用できない。このため、２つのフレームｆ_r0，ｆ_r1間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、補間処理回路５は、図１１のステップＳ１１以降に示すように、上記符号化パラメータの求め方を変える。
【０１３３】
先ず、ステップＳ１１に示すように２つのフレームｆ_r0，ｆ_r1が有声音（Ｖ），有声音（Ｖ）であるか否かを判断する。ここで、２つのフレームｆ_r0，ｆ_r1が共に、有声音（Ｖ）であると判断すると、ステップＳ１２に進み、全てのパラメータを線形補間して以下のように表す。
【０１３４】
mod_ｐ_ch[ｍ]＝ｐ_ch[ｆ_r0]×right＋ｐ_ch[ｆ_r1]×left
mod_ａ_m[ｍ][ｌ]＝ａ_m[ｆ_r0][ｌ]×right＋ａ_m[ｆ_r1][ｌ]×left
ただし、０≦ｌ＜Ｌである。ここで、Ｌはハーモニクスとしてとりうる最大の数である。また、ａ_m[ｎ][ｌ]は、ハーモニクスの存在しない位置では０を入れておく。フレームｆ_r0とフレームｆ_r1とで、ハーモニクスの数が異なる時には、余った方のハーモニクスは、相方を０として補間する。または、デコーダ側でデータ数変換器を通す前であれば、０≦ｌ＜ＬのＬ＝４３といった固定の値でもよい。
【０１３５】
mod_ｌ_sp[ｍ][ｉ]＝ｌ_sp[ｆ_r0][ｉ]×right＋ｌ_sp[ｆ_r1][ｉ]×left
ただし、０≦ｉ＜Ｉである。ここで、ＩはＬＳＰの次数であり、通常は１０を使用する。
【０１３６】
mod_ｖｕ_v[ｍ]＝１
ＶＵＶの判定で１は有声音（Ｖ）を、０は無声音（ＵＶ）を意味する。
【０１３７】
次に、ステップＳ１１で２つのフレームｆ_r0，ｆ_r1が共に有声音（Ｖ）でないと判断すると、ステップＳ１３に示すような判断、すなわち、２つのフレームｆ_r0，ｆ_r1が共に無声音（ＵＶ）であるか否かを判断する。ここで、ＹＥＳ（共に無声音である。）となると、補間処理回路５は、ステップＳ１４に示すように、ｐ_chを固定値とし、またａ_mとｌ_spを線形補間により以下のように求める。
【０１３８】
mod_ｐ_ch[ｍ]＝ＭａｘＰｉｔｃｈ
このように無声音のときは、Ｐｉｔｃｈの値を例えばＭａｘＰｉｔｃｈ＝１４８のように、最大値等の固定値にはりつける。
【０１３９】
mod_ａ_m[ｍ][ｌ]＝ａ_m[ｆ_r0][ｌ]×right＋ａ_m[ｆ_r1][ｌ]×left
ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。
【０１４０】
mod_ｌ_sp[ｍ][ｉ]＝ｌ_sp[ｆ_r0][ｉ]×right＋ｌ_sp[ｆ_r1][ｉ]×left
ただし、０≦ｉ＜Ｉである。
【０１４１】
mod_ｖｕ_v[ｍ]＝０
次に、２つのフレームｆ_r0，ｆ_r1が共に、無声音でない場合、ステップＳ１５に進み、フレームｆ_r0が有声音（Ｖ）で，ｆ_r1が無声音（ＵＶ）であるか否かを判断する。ここでＹＥＳ（フレームｆ_r0が有声音（Ｖ）で，ｆ_r1が無声音（ＵＶ）である。）となると、ステップＳ１６に進み、ＮＯ（フレームｆ_r0が無声音（ＵＶ）であり、ｆ_r1が有声音（Ｖ）である。）となると、ステップＳ１７に進む。
【０１４２】
ステップＳ１６以降の処理では、二つのフレームｆ_r0，ｆ_r1が、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった場合について説明している。これは、例えば有声音（Ｖ），無声音（ＵＶ）のように、異なった２つのフレームｆ_r0，ｆ_r1間でパラメータを補間すると意味のないものになってしまうためである。この場合、補間は行わずに、時刻ｍ／spdに近い方のフレームのパラメータの値を用いる。
【０１４３】
フレームｆ_r0が有声音（Ｖ），フレームｆ_r1が無声音（ＵＶ）である場合、ステップ１６に進む。このステップＳ１６では、図１０に示す上記left（＝ｍ／spd−ｆ_r0）と上記right（＝ｆ_r1−ｍ／spd）の大きさを比較している。これにより、ｍ／spdに対してどちらのフレームｆ_r0またはフレームｆ_r1が近いのかを判断している。そして、上述したように近い方のパラメータの値を用いて変更符号化パラメータを算出する。
【０１４４】
すなわち、ステップＳ１６でＹＥＳを判断すると、上記rightが大きいのであるから、フレームｆ_r1の方が遠いので、ステップＳ１８に示すように近い方のフレームｆ_r0側のパラメータを用いて、
mod_ｐ_ch[ｍ]＝ｐ_ch[ｆ_r0]
mod_ａ_m[ｍ][ｌ]＝ａ_m[ｆ_r0][ｌ] ，（ただし、０≦ｌ＜Ｌである。）
mod_ｌ_sp[ｍ][ｉ]＝ｌ_sp[ｆ_r0][ｉ] ，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕ_v[ｍ]＝１
とする。
【０１４５】
また、ステップＳ１６でＮＯを判断すると、left≧rightとなり、フレームｆ_r1の方が近いので、ステップＳ１９に進み、ピッチを最大値にし、他のパラメータについてはｆ_r1側のパラメータを用いて、
mod_ｐ_ch[ｍ]＝ＭａｘＰｉｔｃｈ
mod_ａ_m[ｍ][ｌ]＝ａ_m[ｆ_r1][ｌ] ，（ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。）
mod_ｌ_sp[ｍ][ｉ]＝ｌ_sp[ｆ_r1][ｉ]，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕ_v[ｍ]＝０
とする。
【０１４６】
次に、ステップＳ１７では、ステップＳ１５で２つのフレームｆ_r0，ｆ_r1が無声音（ＵＶ），有声音（Ｖ）であるという判断を受けて、上記ステップＳ１６と同様の判断を行う。すなわち、この場合も、補間は行わずに、時刻ｍ／spdに近い方のフレームのパラメータの値を用いる。
【０１４７】
ステップＳ１７でＹＥＳを判断すると、ステップＳ２０に示すように、ピッチを最大値にし、他のパラメータについては近い方のフレームｆ_r0側のパラメータを用いて、
mod_ｐ_ch[ｍ]＝ＭａｘＰｉｔｃｈ
mod_ａ_m[ｍ][ｌ]＝ａ_m[ｆ_r0][ｌ]，（ただし、０≦ｌ＜ＭａｘＰｉｔｃｈ／２である。）
mod_ｌ_sp[ｍ][ｉ]＝ｌ_sp[ｆ_r0][ｉ]，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕ_v[ｍ]＝０
とする。
【０１４８】
また、ステップＳ１７でＮＯを判断すると、left≧rightとなり、フレームｆ_r1の方が近いので、ステップＳ２１に進み、ｆ_r1側のパラメータを用いて、
mod_ｐ_ch[ｍ]＝ｐ_ch[ｆ_r1]
mod_ａ_m[ｍ][ｌ]＝ａ_m[ｆ_r1][ｌ]，（ただし、０≦ｌ＜Ｌである。）
mod_ｌ_sp[ｍ][ｉ]＝ｌ_sp[ｆ_r1][ｉ] ，（ただし、０≦ｉ＜Ｉである。）
mod_ｖｕ_v[ｍ]＝１
とする。
【０１４９】
このように２つのフレームｆ_r0，ｆ_r1間における有声音（Ｖ）と，無声音（ＵＶ）との関係によって、補間処理回路５は、図９に示すステップＳ６の補間処理を異ならせる。このステップＳ６の補間処理が終了すると、ステップＳ７に進み、ｍをインクリメントする。そして、このｍがＮ₂に等しくなるまで、ステップＳ５，ステップＳ６の処理を繰り返す。
【０１５０】
なお、本来は、これ以外にも、ＵＶ部分の短時間ｒｍｓのシーケンスを、ノイズのゲインコントロールに用いているが、ここではこのパラメータは１で固定する。
【０１５１】
以上に説明したような変更符号化パラメータ算出部３の動作をまとめると、図１２に示すようになる。例えば２０msecで符号化部２が抽出している符号化パラメータのモデルを図１２の（Ａ）に示す。変更符号化パラメータ算出部３の周期変更回路４は、図１２の（Ｂ）に示すように、１５msecとし、図１２の（Ｂ）に示すように、時間圧縮する。そして、上述したように、二つのフレームｆ_R0，ｆ_r1のＶ／ＵＶの状態に応じた補間処理により、図１２の（Ｃ）に示すような変更符号化パラメータを算出する。
【０１５２】
変更符号化パラメータ算出部３は、周期変更回路４と補間処理回路５を逆の順番として、図１３の（Ａ）に示す符号化パラメータを先ず図１３の（Ｂ）に示すように補間してから、図１３の（Ｃ）に示すように圧縮して変更符号化パラメータを算出してもよい。
【０１５３】
変更符号化パラメータ算出部３からの変更符号化パラメータは、図１に示す復号化部６に供給される。この復号化部６は、上記変更符号化パラメータに基づいてサイン波及びノイズを合成し、合成音を出力端子３７から導出する。
【０１５４】
以下、復号化部６について図１４及び図１５を参照しながら説明する。先ず、復号化部６に供給されてくるパラメータが通常の符号化パラメータであるとして説明しておく。
【０１５５】
この図１４において、端子３１には、上記図３の端子１５からの出力に相当するＬＳＰのベクトル量子化出力、いわゆるインデクスが供給されている。
【０１５６】
この入力信号は、ＬＳＰ逆ベクトル量子化器３２に送られてＬＳＰ（線スペクトル対）データに逆ベクトル量子化され、ＬＳＰ補間回路３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータが合成フィルタ３５に送られる。
【０１５７】
また、図１４の端子４１には、上記図３のエンコーダ側の端子２６からの出力に対応するスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化されたコードワードのインデックスデータが供給され、端子４３には、上記図３の端子２８からのピッチ情報やＵＶ時のブロック内の時間波形の特徴量を表すデータが供給され、端子４６には、上記図３の端子２９からのＶ／ＵＶ判別データが供給されている。
【０１５８】
端子４１からのＡｍのベクトル量子化されたデータは、逆ベクトル量子化器４２に送られて逆ベクトル量子化が施され、スペクトルエンベロープのデータとなって、ハーモニクス／ノイズ合成回路、あるいはマルチバンド励起（ＭＢＥ）合成回路４５に送られている。この合成回路４５には、端子４３からのデータが上記Ｖ／ＵＶ判別データに応じて切換スイッチ４４により上記ピッチデータとＵＶ時の波形の特徴量データとに切り換えられて供給されており、また、端子４６からのＶ／ＵＶ判別データも供給されている。
【０１５９】
この合成回路４５の具体例としてのＭＢＥ合成回路の構成については、図１５を参照しながら後述する。
【０１６０】
合成回路４５からは、上述した図３の逆フィルタリング回路２１からの出力に相当するＬＰＣ残差データが取り出され、これが合成フィルタ回路３５に送られてＬＰＣの合成処理が施されることにより時間波形データとなり、さらにポストフィルタ３６でフィルタ処理された後、出力端子３７より再生された時間軸波形信号が取り出される。
【０１６１】
次に、上記合成回路４５の一例としてのＭＢＥ合成回路構成の具体例について、図１５を参照しながら説明する。
【０１６２】
この図１５において、入力端子１３１には、図１４のスペクトルエンベロープの逆ベクトル量子化器４２からのスペクトルエンベロープデータ、実際にはＬＰＣ残差のスペクトルエンベロープデータが供給されている。各端子４３、４６に供給されるデータは図１４と同様である。なお端子４３に送られたデータは、切換スイッチ４４で切換選択され、ピッチデータが有声音合成部１３７へ、ＵＶ波形の特徴量データが逆ベクトル量子化器１５２へそれぞれ送られている。
【０１６３】
端子１３１からの上記ＬＰＣ残差のスペクトル振幅データは、データ数逆変換部１３６に送られて逆変換される。このデータ数逆変換部１３６では、上述した図４のデータ数変換部１１９と対照的な逆変換が行われ、得られた振幅データが有声音合成部１３７及び無声音合成部１３８に送られる。端子４３から切換スイッチ４４の被選択端子ａを介して得られた上記ピッチデータは、有声音合成部１３７及び無声音合成部１３８に送られる。また端子４６からの上記Ｖ／ＵＶ判別データも、有声音合成部１３７及び無声音合成部１３８に送られる。
【０１６４】
有声音合成部１３７では例えば余弦(cosine)波合成あるいは正弦(sine)波合成により時間軸上の有声音波形を合成し、無声音合成部１３８では例えばホワイトノイズをバンドパスフィルタでフィルタリングして時間軸上の無声音波形を合成し、これらの各有声音合成波形と無声音合成波形とを加算部１４１で加算合成して、出力端子１４２より取り出すようにしている。
【０１６５】
また、Ｖ／ＵＶ判別データとして上記Ｖ／ＵＶコードが伝送された場合には、このＶ／ＵＶコードに応じて全バンドを１箇所の区分位置で有声音（Ｖ）領域と無声音（ＵＶ）領域とに区分することができ、この区分に応じて、各バンド毎のＶ／ＵＶ判別データを得ることができる。ここで、分析側（エンコーダ側）で一定数（例えば１２程度）のバンドに低減（縮退）されている場合には、これを解いて（復元して）、元のピッチに応じた間隔で可変個数のバンドとすることは勿論である。
【０１６６】
以下、無声音合成部１３８における無声音合成処理を説明する。
【０１６７】
ホワイトノイズ発生部１４３からの時間軸上のホワイトノイズ信号波形を窓かけ処理部１４４に送って、所定の長さ（例えば２５６サンプル）で適当な窓関数（例えばハミング窓）により窓かけをし、ＳＴＦＴ処理部１４５によりＳＴＦＴ（ショートタームフーリエ変換）処理を施すことにより、ホワイトノイズの周波数軸上のパワースペクトルを得る。このＳＴＦＴ処理部１４５からのパワースペクトルをバンド振幅処理部１４６に送り、上記ＵＶ（無声音）とされたバンドについて上記振幅｜Ａ_m ｜_UVを乗算し、他のＶ（有声音）とされたバンドの振幅を０にする。このバンド振幅処理部１４６には上記振幅データ、ピッチデータ、Ｖ／ＵＶ判別データが供給されている。
【０１６８】
バンド振幅処理部１４６からの出力は、ＩＳＴＦＴ処理部１４７に送られ、位相は元のホワイトノイズの位相を用いて逆ＳＴＦＴ処理を施すことにより時間軸上の信号に変換する。ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６を介し、後述する乗算部１５７を介して、オーバーラップ加算部１４８に送られ、時間軸上で適当な（元の連続的なノイズ波形を復元できるように）重み付けをしながらオーバーラップ及び加算を繰り返し、連続的な時間軸波形を合成する。このオーバーラップ加算部１４８からの出力信号が上記加算部１４１に送られる。
【０１６９】
ブロック内のバンドの少なくとも１つがＶ（有声音）の場合には、上述したような処理が各合成部１３７、１３８にて行われるわけであるが、ブロック内の全バンドがＵＶ（無音声）と判別されたときには、切換スイッチ４４が被選択端子ｂ側に切換接続され、ピッチ情報の代わりに無声音信号の時間波形に関する情報が逆ベクトル量子化部１５２に送られる。
【０１７０】
すなわち、逆ベクトル量子化部１５２には、上記図４のベクトル量子化部１２７からのデータに相当するデータが供給される。これを逆ベクトル量子化することにより、上記無音声信号波形の特徴量抽出データが取り出される。
【０１７１】
ここで、ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６により時間軸方向のエネルギ分布の整形処理を行った後、乗算部１５７に送られている。この乗算部１５７では、上記逆ベクトル量子化部１５２からスムージング部（スムージング処理部）１５３を介して得られた信号と乗算されている。なお、スムージング部１５３でスムージング処理を施すことで、耳障りな急激なゲイン変化を抑えることができる。
【０１７２】
以上のようにして合成された無声音信号が無声音合成部１３８から取り出され、上記加算部１４１に送られて、有声音合成部１３７からの信号と加算され、出力端子１４２よりＭＢＥ合成出力としてのＬＰＣ残差信号が取り出される。
【０１７３】
このＬＰＣ残差信号が、上記図１４の合成フィルタ３５に送られることにより、最終的な再生音声信号が得られるわけである。
【０１７４】
この音声信号再生装置１は、図示しない制御部の制御に応じて、上記変更符号化パラメータ算出部３に変更符号化パラメータを算出させ、この変更符号化パラメータを用いて元の音声信号の時間軸を圧縮伸長した音声を合成している。
この場合、変更符号化パラメータ算出部３からの上記mod_ｌ_sp[ｍ][ｉ]は、ＬＳＰ逆ベクトル量子化回路３２の出力の代わりに使用される。上記mod_ｌ_sp[ｍ][ｉ]を本来の逆ベクトル量子化値の代わりに使用する。上記mod_ｌ_sp[ｍ][ｉ]は、ＬＳＰ補間回路３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータが合成フィルタ３５に送られる。
【０１７５】
また、データ数変換回路１３６の出力又は入力の代わりに上記mod_ａ_m[ｍ][ｌ]が、端子４３にはmod_ｐ_ch[ｍ]が、端子４６には上記mod_ｖｕ_v[ｍ]が供給される。
【０１７６】
上記mod_ａ_m[ｍ][ｌ]は、スペクトルエンベロープのデータとして、ハーモニクス／ノイズ合成回路４５に送られている。この合成回路４５には、端子４３からのmod_ｐ_ch[ｍ]が判別データに応じて切換スイッチ４４により供給されており、また、端子４６からの上記mod_ｖｕ_v[ｍ]も供給されている。
【０１７７】
合成回路４５は、上述したような図１５に示すような構成により、上記変更符号化パラメータを用いて、元の音声信号の時間軸を圧縮伸長した音声を合成し、端子３７から導出している。
【０１７８】
このように、この音声信号再生装置１は、変更符号化パラメータmod_＊[ｍ]の配列（０≦ｍ＜Ｎ₂）を本来の配列＊[ｎ]（０≦ｎ＜Ｎ₁）のかわりにデコードしている。デコード時のフレーム間隔は従来通り例えば２０ｍsecのように固定である。このため、Ｎ₂＜Ｎ₁の時には、時間軸圧縮となり、スピードアップとなる。他方、Ｎ₂＞Ｎ₁の時には、時間軸伸長となり、スピードダウンとなる。
【０１７９】
上記時間軸変更を行っても、瞬時スペクトル、ピッチが不変である為、０．５≦spd≦２程度以上の広い範囲の変更を行っても劣化が少ない。
【０１８０】
この方式では、最終的に得られたパラメータ列を本来のスペーシング（２０ｍsec）に並べてデコードするため、任意のスピードコントロール（上下）が簡単に実現できる。又、スピードアップとスピードダウンが区別なしに、同一の処理で可能である。
【０１８１】
このため、例えば固体録音した内容をリアルタイムの倍のスピードで再生できる。このとき、再生スピードを高速にしてもピッチ、音韻が不変であるため、かなりの高速再生を行っても内容を聞きとることができる。また、音声コーデックとして、上記符号励起線形予測（ＣＥＬＰ）符号化を用いたときに必要とされたデコード出力後の演算処理のような付加的な処理を不要とする。
【０１８２】
なお、上記第１実施例では、変更符号化パラメータ算出部３を復号化部６と切り離した構成としたが、復号化部６内に設けてもよい。
【０１８３】
なお、上記第１実施例の音声信号再生装置１の変更符号化パラメータ算出部３が行うパラメータ算出において、ａ_mに関する補間処理は、ベクトル量子化の値、もしくはベクトル量子化された値を逆ベクトル量子化して得られた値に対して行われる。
【０１８４】
次に、本発明に係る音声信号の伝送方法に関する実施例を第２実施例として説明する。この第２実施例は、図１６に示すように、入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化することにより符号化パラメータを求め、この符号化パラメータを補間処理して求めた変更符号化パラメータを伝送する送信側５１と、上記変更符号化パラメータを受信して、サイン波及びノイズを合成する受信側５６とからなる音声信号伝送装置５０である。
【０１８５】
すなわち、この音声信号伝送装置５０は、送信側５１に、入力端子５２から入力された入力音声信号を時間軸上の所定フレーム単位で区分し、各フレーム単位で符号化することにより符号化パラメータを抽出する符号化部５３と、上記符号化パラメータを補間処理して変更符号化パラメータを求める補間部５４と、上記変更符号化パラメータを送信する送信部５５とを備え、また、受信側５６に、受信部５７と、上記変更符号化パラメータを補間する補間部５８と、補間されたパラメータに基づいてサイン波及びノイズを合成することにより出力端子６０から合成音声信号を出力する復号化部５９とを備える。
【０１８６】
符号化部５３と復号化部５９の基本的な動作は、上記第１実施例の音声信号再生装置のそれと同様であるので、ここでは詳細な説明を省略する。
【０１８７】
送信側５１の動作について図１７のフローチャートを参照しながら説明する。なお、このフローチャートは、符号化部５３の符号化処理と、補間部５４の補間処理とをまとめて示している。
【０１８８】
符号化部５３は、ステップＳ３１及びステップＳ３３に示すように、ＬＳＰ、ピッチＰｃｈ、Ｖ／ＵＶ、ａｍからなる符号化パラメータを抽出している。特に、ＬＳＰについては、ステップＳ３１に示すように補間部５４で補間，リアレンジしてから、ステップＳ３２に示すように量子化し、また、ピッチＰｃｈ、Ｖ／ＵＶ、ａｍについては、ステップＳ３４で補間，リアレンジしてから、ステップＳ３５に示すように量子化している。これらの量子化データは、送信部５５を介して受信側５６に伝送される。
【０１８９】
受信側５６で受信部５７を介して受け取った上記量子化データは、補間部５８に供給され、ステップＳ３６に示すようにパラメータの補間，リアレンジが行われた後、ステップＳ３７に示すように復号化部５９で合成される。
【０１９０】
このように、音声信号伝送装置５０は、時間軸圧縮によるスピードアップについては、パラメータの補間を行い、伝送時におけるパラメータのフレームインターバルを変更している。なお、受信時に例えば２０msecのような固定フレームインターバルにおけるパラメータを求めることによって再生処理を行っているため、スピードコントロールのためのアルゴリズムが即ビットレートの変更に使える。
【０１９１】
すなわち、スピードコントロールとして上記パラメータ補間を使う時は、パラメータ補間はデコード内で行われることを想定しているが、もしこの処理をエンコーダで行い時間軸圧縮した（間引いた）データをエンコードし、デコーダで時間軸伸長（補間）を行えば、spdの割合で伝送ビットレートを調節できる。
【０１９２】
例えば、１．９７５ｋｂｐｓの伝送レートの場合、spd＝０．５とセットして倍速にしてエンコードすると、本来１０秒のスピードが５秒のものとして、エンコードされるので、伝送レートは１．９７５×０．５ｋｂｐｓとなる。
【０１９３】
また、図１８に示すように、符号化部５３で得られた図１８の（Ａ）に示す符号化パラメータを、補間部５４で図１８の（Ｂ）に示すように、例えば３０msecのように、任意の間隔となるように補間，リアレンジしなおしてから量子化し、受信側５６の補間部５８で図１８の（Ｃ）に示すように２０msecとなるようにパラメータの補間，リアレンジを行い、復号化部５９で合成している。
【０１９４】
デコーダ内に同様のスキームを持っていれば、スピードを元に戻して（オリジナルのスピード）で再生することもできるし、高速（低速）のまま聞くことももちろんできる。すなわち、スピードコントロールを可変ビットレートコーデックとして使うこともできる。
【０１９５】
【発明の効果】
本発明に係る音声信号の再生方法は、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える。
【０１９６】
また、本発明に係る音声信号の再生装置は、広いレンジにわたる任意のレートのスピードコントロールを簡単に、かつ音韻、ピッチを不変として高品質に行える。
【図面の簡単な説明】
【図１】本発明の第１実施例となる音声信号再生装置の概略構成を示すブロック図である。
【図２】上記音声信号再生装置の概略構成を示すブロック図である。
【図３】上記音声信号再生装置の符号化部を示すブロック図である。
【図４】上記符号化部のハーモニクス／ノイズ符号化回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）分析回路の構成を示すブロック図である。
【図５】ベクトル量子化器の構成を説明するための図である。
【図６】入力ｘの平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図７】重みＷ’／‖ｘ‖の平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図８】ベクトル量子化に用いられるコードブックについて、有声音、無声音、有声音と無声音をまとめた場合のそれぞれのトレーニングの様子を示すグラフである。
【図９】上記音声信号再生装置に用いられる変更符号化パラメータ算出回路のおおまかな動作を示すフローチャートである。
【図１０】変更符号化パラメータ算出回路で得られる変更符号化パラメータを時間軸上で表現するための模式図である。
【図１１】上記音声信号再生装置に用いられる変更符号化パラメータ算出回路の詳細な動作を示すフローチャートである。
【図１２】上記変更符号化パラメータ算出部の具体的動作を説明するための模式図である。
【図１３】上記変更符号化パラメータ算出部の他の具体的動作を説明するための模式図である。
【図１４】上記音声信号再生装置に用いる復号化部の概略構成を示すブロック図である。
【図１５】上記復号化部に用いられるハーモニクス／ノイズ合成回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）合成回路の構成を示すブロック図である。
【図１６】本発明の第２実施例となる音声信号伝送装置の概略構成を示すブロック図である。
【図１７】上記音声信号伝送装置の送信側の動作を示すフローチャートである。
【図１８】上記音声信号伝送装置の動作を説明するための模式図である。
【符号の説明】
１ 音声信号再生装置
２ 符号化部
３ 変更符号化パラメータ算出部
４ 周期変更回路
５ 補間処理回路
６ 復号化部

Claims (4)

1. 入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生方法において、
   上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める工程と、
   この変更符号化パラメータに基づいて、少なくともサイン波を合成する工程とを有し、
   上記変更符号化パラメータを求める工程は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする
   ことを特徴とする音声信号の再生方法。
2. 上記符号化パラメータとして、上記入力音声信号についての短期予測残差をサイン合成波とノイズとで表現し、これらのサイン合成波とノイズとのそれぞれの周波数スペクトル情報を符号化して得られたものを用いることを特徴とする請求項１記載の音声信号の再生方法。
3. 入力音声信号が時間軸上の所定フレーム単位で区分され、各フレーム単位で符号化されることにより求められた符号化パラメータに基づいて、少なくともサイン波を合成することにより音声信号を再生する音声信号の再生装置において、
   上記符号化パラメータを補間処理して所望の時刻に対応する変更符号化パラメータを求める手段と、
   この変更符号化パラメータに基づいて、少なくともサイン波を合成する手段とを有し、
   上記変更符号化パラメータを求める手段は、前後のフレームが共に有声音または前後のフレームが共に無声音である場合、符号化パラメータを、前後のフレームの符号化パラメータの値を補間することにより求め、前後のフレームの一方が有声音、他方が無声音である場合、符号化パラメータを、所望の時刻に近いフレームの符号化パラメータ値とする
   ことを特徴とする音声信号の再生装置。
4. 上記符号化パラメータとして、上記入力音声信号についての短期予測残差をサイン合成波とノイズとで表現し、これらのサイン合成波とノイズとのそれぞれの周波数スペクトル情報を符号化して得られたものを用いることを特徴とする請求項３記載の音声信号の再生装置。

Images