JP4313740B2 - 残響除去方法、プログラムおよび記録媒体 - Google Patents

Description

この発明は、残響除去方法、プログラムおよび記録媒体に関し、特に、残響を含んだ音声信号から残響を除去する残響除去における調波構造音抽出処理に用いることで、正確に調波構造音を得ることができ、全体として正確な残響除去処理を実施する残響除去方法、プログラムおよび記録媒体に関する。

図７を参照して残響除去方法の先行例を説明する（参考文献［１］参照）。
図７の残響除去装置による残響除去処理は、音声収集装置８より入力した残響を含んだ音声信号ｘ（ｔ）に対して、基本周波数推定部１による基本周波数推定処理と、調波構造音抽出部４による調波構造音抽出処理と、逆伝達関数推定部６による逆伝達関数推定処理と、逆伝達関数適用部７による逆伝達関数適用処理より成る。調波構造音抽出部４が抽出する調波構造音を、音声信号の直接音を近似する信号とみなし、この信号と観測された信号である音声信号ｘ（ｔ）とから逆伝達関数推定部６において逆伝達関数を推定する。この逆伝達関数を、逆伝達関数適用部７において残響を含んだ観測音声信号に畳み込むことで残響除去を行う。

音声信号は、一般に、残響のある環境で収音されると、本来の音声信号に残響が重畳された信号として観測される。このため、本来の音声信号の性質を抽出することが困難になると共に、音声自体の明瞭度が低下する。これに対して、残響除去処理は、重畳した残響を取り除くことで、音声本来の性質を抽出しやすくすると共に、音声の明瞭度を回復することができる。これは、他の様々な音声信号処理方法および装置の要素技術として用いることで、その全体の性能向上につながる技術である。残響除去処理を要素技術として使用して性能向上する音声信号処理技術としたは、以下の様なものを列挙することができる。

１．残響除去を前処理として用いる音声認識方法および装置。
２．残響除去により音声の明瞭度を向上させるＴＶ会議方法および装置などの通信方法および装置。
３．講演の録音に含まれる残響を除去することで、録音された音声の明瞭度を向上させる再生方法および装置。
４．残響を除去することで聞き取りやすさを向上させる補聴器。
５．人が歌ったり、楽器で演奏したり、またはスピーカで演奏された音楽の残響を除去して、楽曲を検索したり、採譜したりする音楽情報処理方法および装置。
６．人が発した声に反応して機械にコマンドをわたす機械制御インターフェース、および機械と人間との間の対話装置。

上述した残響除去技術の先行例（参考文献［１］ 参照）は、調波構造音抽出処理部４において調波構造音を抽出するに際して、短い時間区間で切り出された音声信号の基本周波数はその区間内で一定であると仮定して処理を行っていた。しかし、実際の音声信号は短い時間区間内においてもその基本周波数は一定ではない。従って、先行例においては、この仮定が原因で、調波構造音の抽出精度を或る程度以上に高くすることができなかった。このために、直接音の近似精度が低く、逆伝達関数を精密に推定することができなかった。その結果、残響除去方法の先行例には達成することができる残響除去性能に限界があった。この様に、残響除去の先行例は基本周波数に関する不正確な仮定に基づいていたところから、或る程度以上の高性能な残響除去を実現することはできなかった。

一方、調波構造音の抽出精度を向上させる仕方として、時間伸縮処理技術を使用することが従来検討されている。時間伸縮処理とは音声信号の振幅を変えずに時間軸のみを伸び縮みさせることで波形を変形させる処理である。この時間伸縮処理を用いれば、音声信号の基本周波数の増加減少に合わせて時間軸の伸縮を適切に制御することで、基本周波数が一定の音声信号を得ることができる。これを図８を参照して説明する。図８（ａ）は時間伸縮処理を施す前の音声信号波形を示し、図８（ｂ）は時間伸縮処理を施された後の音声信号波形を示す。図８（ｃ）は図８（ａ）の音声信号のスペクトログラムを示し、図８（ｄ）は図８（ｂ）の音声信号のスペクトログラムを示す。

図８（ａ）、（ｃ）における時間伸縮処理を施す前の音声信号波形は、同じ波形の繰り返し間隔が時間の経過に伴って短くなって行く。これは、基本周波数が時間の経過に伴って高くなって行くことを示している。これに対して、図８（ｂ）、（ｄ）における時間伸縮処理を施された後の音声信号波形は、例えば、時間的に前半の信号の時間軸を縮めると共に、後半の信号の時間軸を伸ばすことで、近似的に基本周波数が一定の信号を得ることができる。
この発明は、この公知の時間伸縮処理技術を上述した先行例における調波構造音抽出処理に先だって適用し、近似的に基本周波数が一定の信号に調波構造音抽出処理を施すことに着目した。

即ち、この発明は、この公知の時間伸縮処理技術を、特に、残響を含んだ音声信号から残響を除去する残響除去における調波構造音抽出処理に用いることで、先行例と比較してより正確に調波構造音を得ることができ、その結果、全体としてより正確な残響除去処理を実施することができる、以上の問題を解消した残響除去方法、プログラムおよび記録媒体を提供するものである。

請求項１：入力された音声信号に対して基本周波数推定処理をする第一段階の基本周波数推定ステップと、
第一段階の基本周波数推定ステップにより求められた基本周波数に基づいてその時間微分を推定する第一段階の基本周波数時間微分推定ステップと、
前記音声信号、第一段階の基本周波数推定ステップにより求められた基本周波数、第一段階の基本周波数時間微分推定ステップにより求められた基本周波数の時間微分に基づいて前記音声信号の基本周波数を一定にする第一段階の信号波形時間伸縮ステップと、
第一段階の信号波形時間伸縮ステップにより得られた時間伸縮信号に基づいてその調波構造音を抽出する第一段階の調波構造音抽出ステップと、
第一段階の調波構造音抽出ステップにより得られた調波構造音に対して信号波形の時間伸縮復元処理を施して時間伸縮前と同じ基本周波数を持つ調波構造音を得る第一段階の信号波形時間伸縮復元ステップと、
前記音声信号と第一段階の信号波形時間伸縮復元ステップにおいて得られた調波構造音を、調波構造音抽出処理とは異なる長さの時間フレームに分割して分析を進めて第一段階の逆伝達関数を推定する第一段階の逆伝達関数推定ステップと、
第一段階の逆伝達関数推定ステップにより求めた第一段階の逆伝達関数を前記音声信号に適用して第一段階の残響除去後の信号を得る第一段階の逆伝達関数適用ステップと、
から構成される第一段階の残響除去処理ステップと、
第一段階の残響除去後の信号に対して基本周波数推定処理をする第二段階の基本周波数推定ステップと、
第二段階の基本周波数推定ステップにより求められた基本周波数に基づいてその時間微分を推定する第二段階の基本周波数時間微分推定ステップと、
前記音声信号、第二段階の基本周波数推定ステップにより求められた基本周波数、第二段階の基本周波数時間微分推定ステップにより求められた基本周波数の時間微分に基づいて前記音声信号の基本周波数を一定にする第二段階の信号波形時間伸縮ステップと、
第二段階の信号波形時間伸縮ステップにより得られた時間伸縮信号に基づいてその調波構造音を抽出する第二段階の調波構造音抽出ステップと、
第二段階の調波構造音抽出ステップにより得られた調波構造音に対して信号波形の時間伸縮復元処理を施して時間伸縮前と同じ基本周波数を持つ調波構造音を得る第二段階の信号波形時間伸縮復元ステップと、
前記音声信号と第二段階の信号波形時間伸縮復元ステップにおいて得られた調波構造音を、調波構造音抽出処理とは異なる長さの時間フレームに分割して分析を進めて第二段階の逆伝達関数を推定する第二段階の逆伝達関数推定ステップと、
第二段階の逆伝達関数推定ステップにより求めた第二段階の逆伝達関数を前記音声信号に適用して第二段階の残響除去後の信号を得る第二段階の逆伝達関数適用ステップと、
から構成される第二段階の残響除去処理ステップと、
第二段階の残響除去後の信号に対して基本周波数推定処理をする第三段階の基本周波数推定ステップと、
第三段階の基本周波数推定ステップにより求められた基本周波数に基づいてその時間微分を推定する第三段階の基本周波数時間微分推定ステップと、
第二段階の残響除去後の信号、第三段階の基本周波数推定ステップにより求められた基本周波数、第三段階の基本周波数時間微分推定ステップにより求められた基本周波数の時間微分に基づいて第二段階の残響除去後の信号の基本周波数を一定にする第三段階の信号波形時間伸縮ステップと、
第三段階の信号波形時間伸縮ステップにより得られた時間伸縮信号に基づいてその調波構造音を抽出する第三段階の調波構造音抽出ステップと、
第三段階の調波構造音抽出ステップにより得られた調波構造音に対して信号波形の時間伸縮復元処理を施して時間伸縮前と同じ基本周波数を持つ調波構造音を得る第三段階の信号波形時間伸縮復元ステップと、
第二段階の残響除去後の信号と第三段階の信号波形時間伸縮復元ステップにおいて得られた調波構造音を、調波構造音抽出処理とは異なる長さの時間フレームに分割して分析を進めて第三段階の逆伝達関数を推定する第三段階の逆伝達関数推定ステップと、
第三段階の逆伝達関数推定ステップにより求めた第三段階の逆伝達関数を第二段階の残響除去後の信号に適用して第三段階の残響除去後の信号を得る第三段階の逆伝達関数適用ステップと、
から構成される第三段階の残響除去処理ステップと、
を備える。

そして、請求項２：請求項１記載の残響除去方法の各ステップをコンピュータに実行させるためのプログラムを構成した。
また、請求項３：請求項２記載のプログラムを記録した記録媒体を構成した。
上述した通り、この発明は、調波構造音の抽出処理に音声信号の時間伸縮処理技術を導入している。時間伸縮処理を施された後の音声信号波形は、例えば、時間的に前半の信号の時間軸を縮めると共に、後半の信号の時間軸を伸ばすことで、近似的に基本周波数が一定の信号を得ることができる。この基本周波数が一定になった音声信号に調波構造音抽出処理を施すことにより、調波構造音を正確に抽出することができるに到る。但し、このとき抽出される調波構造音は基本周波数が一定の信号である。これを元の音声信号に含まれた調波構造音に戻すには、この音声信号に対して、最初に適用した時間伸縮処理とは逆の時間伸縮処理を施せばよい。これにより、元の音声信号と同じ基本周波数の変化をもった
調波構造音に変換される。

この発明は、調波構造音抽出処理に時間伸縮処理技術を用いることで、調波構造音を先行例と比較してより正確に得ることができ、その結果、全体としてより正確な残響除去処理を実施することができるに到る。

この発明は、調波構造音の抽出処理に音声信号の時間伸縮処理技術を導入している。この時間伸縮処理を用いて音声信号の基本周波数の増加減少に合わせて時間軸の伸縮を適切に制御することで、基本周波数が一定の音声信号を得ることができる。この発明は、公知の時間伸縮処理技術を、特に、残響を含んだ音声信号から残響を除去する残響除去における調波構造音抽出処理に用いることで、先行例と比較してより正確に調波構造音を得ることができ、その結果、全体としてより正確な残響除去処理を実施することができる、という効果を奏す。

そして、この発明は、時間伸縮処理の精度を改善するために、前処理として残響除去処理自体を用いる。即ち、一旦、残響除去処理を行った信号から基本周波数とその時間微分を求めることで、残響の影響を取り除くことができ、より正確にこれらの値を求めることができる。その結果、時間伸縮処理の精度を改善することができ、残響除去性能を更に改善させることができる。

発明を実施するための最良の形態を図１の実施例１を参照して説明する。
音声収集装置８より収集され、入力した残響を含むディジタルの信号である音声信号ｘ（ｔ）（ｔ＝０，１，・・・・・はディジタル信号の各標本のインデックス、標本化周波数ｆ_s Ｈｚ）が図１の残響除去装置に入力されると、先ず、基本周波数推定部１において基本周波数推定処理が行われる。この基本周波数推定処理は、音声信号ｘ（ｔ）を分析窓と呼ばれる短時間（例えば、４０ミリ秒程度）の信号区間（フレーム）に分割すると共に、各フレームの基本周波数と調波構造が含まれているフレーム（調波構造区間）を推定する。この基本周波数の推定、および調波構造区間の推定には、ケプストラム法（参考文献[２］、[３］ 参照）、従来例の特許［１］に記述されている雑音に頑健な推定法その他、多くの方法を用いることができる。以下、この分析に用いたフレームを番号ｌ（ｌ＝０，１，２，・・・・）、フレーム中心時間の標本インデックスをｔ_l で表し、各フレームの基本周波数をθ・_l（Ｈｚ）と表すものとする。

次に、２は基本周波数時間微分推定部である。基本周波数時間微分推定部２における基本周波数時間微分推定処理は、求められた各フレームの基本周波数をもとにその時間微分θ・・_lを計算する。残響下でも頑健にこの時間微分を求めるために、フレームｌの前後のフレームにおける基本周波数の値の時系列θ・_m（ｌ−ｐ＜ｍ＜ｌ＋ｐ）を二次関数などで近似し、その時刻ｔ_l における時間微分を求めることで近似的に計算する。この値は、具体的には例えば以下の様に計算することができる。

ここで、△ｌはフレーム周期（秒）、pは近似計算のために考慮する局所的な時間フレームの範囲を決めるパラメータである。
次に、３は信号波形時間伸縮部である。ここで、図２は信号波形の時間伸縮のフローと信号波形の時間伸縮復元のフローを示す図である。信号波形時間伸縮部３における信号波形の時間伸縮処理は、求められた基本周波数をもとにして、各フレームの基本周波数を一定にするために各フレーム毎に時間軸の伸縮を行う。このために、先ず、時間伸縮関数を求める。或るフレームが調波構造区間であると判定されているとしたとき、そのフレームに対する時間伸縮関数τ＝Ｗ_l（ｔ）、およびその逆関数ｔ＝Ｗ_l ^-1（τ）は、例えば、以下の通りに決定することができる。

ここで、τ、τ_l 、φ・_lは、それぞれ時間伸縮後の信号の時間インデックス、フレームｌの中心時間のインデックス、およびτ_l における基本周波数を表している。τ_l とφ・_lは、任意の値に設定してよいパラメータであり、例えば、τ_l ＝０、φ・_l＝θ・_lの値に設定することができる。この時間伸縮関数を用いて、音声信号ｘ（ｔ）と時間伸縮後の信号ｘｗ_l（τ）の関係を表すと、以下の様になる。

ここで、Ｔ₀ は時間伸縮前の信号のフレーム長を表す。式（５）から、時間伸縮処理後の信号ｘｗ_l（τ）の時系列を得ることができる。即ち、各時間インデックスτに対する信号ｘｗ_l（τ）は、時間伸縮前の時間インデックスＷ_l ^-1（τ）における信号の値であるｘ（Ｗ_l ^-1（τ））と同じ値を持つ。ただし、一般に、時間インデックスＷ_l ^-1（τ）は整数値を取るとは限らず、離散的なディジタル信号のどの標本インデックスとも一致しない場合がある。このために、ｘ（Ｗ_l ^-1（τ））の値は、近接する時刻の標本値を補完した値を取る必要がある。標本値の補完には、ディジタル信号処理で一般に知られた方法を適用すれば良い。例えば、アップサンプリングによる補完、スプライン関数を用いた補完、二次関数或いは三次関数を用いた補完を列挙することができる。

この様にして得られた信号ｘｗ_l（τ）は、基本周波数がほぼ一定の値をとることが期待される。このために、調波構造音抽出部４においては、信号波形時間伸縮部３により得られた信号ｘｗ_l（τ）を入力してその調波構造音を正確に抽出する調波構造音抽出処理をする。例えば、くし型フィルタを用いて以下の様に調波構造音ｘ＾ｗ_l（τ）を抽出することができる。

ここで、ｇ_l（ｔ）は時間分析窓を表し、Hanning窓その他の一般に信号処理で用いられる関数を用いることができる。また、“＊”は畳み込み演算を表す。式（６）はフレームｌに関する時間範囲、即ち、｜Ｗ_l ^-1（τ）−ｔ_l ｜＜Ｔ₀ ／２の近傍のみで意味を持つ値であり、それ以外の時間で値を計算する必要はない。
次に、５は信号波形時間伸縮復元部である。信号波形時間伸縮復元部５は、この様にして得られた調波構造音ｘ＾ｗ_l（τ）に対して、式（４）の関係を利用し、以下の様に信号波形の時間伸縮復元処理を施すことで、時間伸縮前と同じ基本周波数を持つ調波構造音ｘ＾_l（ｔ）を得る（図２ｂ参照）。

なお、上式を計算するには、式（５）と同様に、ディジタル信号の補完が必要である。
信号波形の時間伸縮復元処理においては、各フレーム毎に得られた信号ｘ＾_l（ｔ）を時間的に接続することで、音声信号ｘ（ｔ）から調波構造音だけを取り出した信号ｘ＾（ｔ）を得ることができる。これには、例えば、以下の様に、overlap-add合成として知られた方法を用いることができる。

ｘ＾（ｔ）＝Σ_lｇ₂（ｔ−ｔ_l）ｘ＾_l（ｔ） （８）
ここで、ｇ₂（ｔ）は時間分析窓を表し、Hanning窓などの一般に信号処理で用いられる関数を用いることができる。
次に、６は逆伝達関数推定部である。逆伝達関数推定部６による逆伝達関数推定処理は、音声信号ｘ（ｔ）と信号波形時間伸縮復元部５において得られた調波構造音ｘ＾（ｔ）を、調波構造音抽出処理とは異なる長さの時間フレームに分割して分析を進める。調波構造音抽出処理の場合と区別するために時間フレームのインデックスをＬ（＝０，１，２，・・・・）と書く。各ｘ（ｔ）とｘ＾（ｔ）の各組から切り出された各時間フレーム毎に、逆伝達関数の初期推定値Ｗ_L（ω）を以下の式により計算する。

ここで、ＤＦＴ（・）は、標本インデックスｔ_L での短時間離散フーリエ変換を表す。Ｔ_lはフレーム長を表す。次に、こうして求められた逆伝達関数の初期推定値の異なる時間フレームに亘る平均を求めることで、残響除去のための逆伝達関数Ｗ（ω）を求める。

なお、式（１３）の計算において、単純に平均値を求めるかわりに、振幅スペクトル
｜Ｘ＾_L（ω）｜の重みを付けて計算することで、より精確な逆伝達関数の近似をすることができる。

これにより、雑音成分の影響を抑制しつつ占有的な調波成分の影響を強調することができるからである。振幅スペクトルのかわりにパワースペクトル｜Ｘ＾_L（ω）｜² などを重みに使っても同様の効果を得ることができる。
最後に、７は逆伝達関数適用部である。逆伝達関数適用部７による逆伝達関数適用処理は、こうして求めた逆伝達関数W（ω）に離散逆フーリエ変換（ＩＤＦＴ（・））を適用することで時間領域の逆フィルタｗ（ｔ）に戻した後、音声信号ｘ（ｔ）に畳み込むことで、残響除去後の信号ｙ（ｔ）を得る。

ｗ（ｔ）＝ＩＤＦＴ（Ｔ_l ，Ｗ（ω）） （１５）
ｙ（ｔ）＝ｗ（ｔ）*ｘ（ｔ） （１６）
更に、残響除去は、図３に示される様に、上述の処理とほぼ同じ処理を三段階で適用することで、各段階毎に、次第に残響除去性能が改善する構成をとることもできる。各段階の処理のポイントは以下の通りにまとめられる。
１．第一段階：調波構造区間、基本周波数、その時間微分、および調波構造音はすべて音声信号ｘ（ｔ）から推定される。このために、各推定値には残響に起因する多くの誤差が含まれている可能性がある。

２．第二段階：調波構造区間、基本周波数とその時間微分は一つ前の段階で残響除去された信号から推定され、調波構造音のみ音声信号ｘ（ｔ）から推定される。調波構造区間、基本周波数とその時問微分の推定に対する残響の影響が低減されるため、その推定精度が向上する。更に、それらの推定値に基づいて推定される調波構造成分の推定精度も改善される。
３．第三段階：上記すべての値が一つ前の段階で残響除去された信号から推定される。調波構造音の推定精度も向上することからより効果的な残響除去が期待される。

この内の第二、第三段階については、それぞれの処理を一回ずつ適用するのではなく、更に繰り返して適用することでより残響除去性能を改善することもできる。
式（６）から（７）に示した時間伸縮処理を施した観測された音声信号から調波構造音を取り出すもう一つの方法として、正弦波合成法がある。この方法を用いると、時間伸縮処理を施した信号から時間伸縮前の信号に含まれる調波構造音を直接推定することができるので、調波構造抽出処理と時間伸縮復元処理を一緒に実施することができる。Ｘｗ_l（ω）を
ｘｗ_l（τ）の短時間離散フーリエ変換とすると、時間伸縮処理を適用した信号の第ｋ番目の高調波成分の振幅Ａ_k、_lと位相ｐ_k、_lは以下の様に抽出することができる。

ここで、［・］は連続周波数を最も近い離散フーリエ変換の中心周波数に変換する手続きを意味する。これらの値から、時間伸縮前の信号に含まれる調波構造音は以下の様に抽出することができる。
ｘ＾_l（ｔ）＝Σ_kＡ_k,lｃｏｓ（［２πｋφ・_l］Ｗ_l（ｔ）＋ｐ_k,l） （２０）
式（２）,（３）で示される時間伸縮関数について補足して説明する。先ず、時間伸縮前の観測された音声信号中の調波構造の基本周波数に相当する周波数成分（基本波成分）の位相をθ（ｔ）と書き、時間伸縮後の信号の基本波成分の位相をφ（τ）と書くと、式（４）より、以下の関係式が成り立つ。

θ（ｔ）＝φ（Ｗ_l（ｔ）） for ｜ｔ−ｔ_l｜＜Ｔ／２ （２１）
また、時問伸縮処理は、φ・（τ）を一定にする関数としてＷ_l（ｔ）を定めるため、以下の関係式が成立する。

更に、時間伸縮処理の計算を簡単化するために、元の信号の基本周波数の時間微分は短時間フレーム中で一定であると仮定することは有効である。これは以下の様に表現される。

ここで、θ_l¨は時間インデックスｔ_l における基本周波数の時間微分を示す。式（２１）、（２２）および（２３）を満たすＷ_l（ｔ）を求めることで、式（２）,（３）を導くことができる。
次いで、残響除去方法の実施例２を、実施例１と同様に、図１を参照して説明する。実施例２は、逆伝達関数の推定値を求める計算方法のみが実施例１とは異なる。

実施例２においては、Ｘ_L（ω）とＸ＾_L（ω）の誤差を最小にする関数として逆伝達関数Ｗ（ω）を決定する。例えば、誤差の評価基準として二条誤差最小基準を用いれば、Ｗ（ω）を以下の様に決定することができる。

この式は解析的に解くことができ、Ｗ（ω）は以下の様に求められる。
Ｗ（ω）＝Ｅ（Ｘ＾_L（ω）Ｘ＾_L ^*（ω））／Ｅ（Ｘ_L（ω）Ｘ＾_L ^*（ω）） （２６）
従って、実施例１において式（１２）の計算を上式に置き換えることで、実施例２を構成することができる。
また、式（１４）の様な重み付けによる平均の計算を実施例２に導入することもできる。こうするためには、式（２６）のかわりに以下の計算式を用いればよい。

以上の通りの実施例の効果を、図４ないし図６に示されるインパルス応答のエネルギー減衰曲線、残響除去後の音声波形とスペクトログラムにより説明する。評価実験に用いた課題は、残響を含む単語音声の残響除去である。ＡＴＲ単語データベースから男女各一話者の５２４０単語音声を音源信号として用意した。残響のある部屋で測定した４種類の室内インパルス応答（残響時間：０．１、０．２、０．５、１．０秒）を用意した。残響を含んだ観測音声信号は、単語音声に室内インパルス応答を畳み込むことで合成した。残響除去のための逆フィルタはすべての男性の単語音声、またはすべての女性の単語音声を用いて推定した。

図４と図５は残響時間が異なる場合の室内インパルス応答および残響除去処理を施した後のインパルス応答のエネルギー減衰曲線を示す図である。図４は男声、図５は女声である。減衰曲線はシュレーダ法により計算した。
図４および図５より、すべての残響時間において、また、男女何れの音声に対しても、この発明は従来例よりも効果的に残響のエネルギーを低減することができていることが示されている。図６は、残響を含まない信号、残響を含んだ信号（残響時間：１．０秒）、およびこの発明により残響除去された信号の波形とスペクトログラムを示している。図６より、この発明は、残響を含まない信号の時間構造および周波数構造を効果的に復元することができていることがわかる。

参考文献
［１］ 特願２００３−０６００２５：音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体。
［２］ 特願２００２−０６２５１３：占有度抽出装置および基本周波数抽出装置、それらの方法、それらのプログラム並びにそれらのプログラムを記録した記録媒体
［３］ 特顧２００２−２７４５２５：調波構造区間推定方法及び装置、調波構造区間推定プログラム及びそのプログラムを記録した記録媒体、調波構造区間推定の閾値決定方法及び装置、調波構造区間推定の閾値決定プログラム及びそのプログラムを記録した記録媒体

実施例を説明するブロック図。 信号波形の時間伸縮のフローと信号波形の時間伸縮復元のフローを示す図。 他の実施例を説明するブロック図。 残響時間が異なる場合の室内インパルス応答および残響除去処理を施した後のインパルス応答のエネルギー減衰曲線（男声）を示す図。 残響時間が異なる場合の室内インパルス応答および残響除去処理を施した後のインパルス応答のエネルギー減衰曲線（女声）を示す図。 残響を含まない信号、残響を含んだ信号（残響時間：１．０秒）、および残響除去された信号の波形とスペクトログラムを示す図。 従来例を説明するブロック図。 時間伸縮処理を説明する図。

符号の説明

１ 基本周波数推定部 ２ 基本周波数時間微分推定部
３ 信号波形時間伸縮部 ４ 調波構造音抽出部
５ 信号波形時間伸縮復元部 ６ 逆伝達関数推定部
７ 逆伝達関数適用部 ８ 音声収音装置

Claims (3)

1. 入力された音声信号に対して基本周波数推定処理をする第一段階の基本周波数推定ステップと、
   前記第一段階の基本周波数推定ステップにより求められた基本周波数に基づいてその時間微分を推定する第一段階の基本周波数時間微分推定ステップと、
   前記音声信号、前記第一段階の基本周波数推定ステップにより求められた基本周波数、前記第一段階の基本周波数時間微分推定ステップにより求められた基本周波数の時間微分に基づいて前記音声信号の基本周波数を一定にする第一段階の信号波形時間伸縮ステップと、
   前記第一段階の信号波形時間伸縮ステップにより得られた時間伸縮信号に基づいてその調波構造音を抽出する第一段階の調波構造音抽出ステップと、
   前記第一段階の調波構造音抽出ステップにより得られた調波構造音に対して信号波形の時間伸縮復元処理を施して時間伸縮前と同じ基本周波数を持つ調波構造音を得る第一段階の信号波形時間伸縮復元ステップと、
   前記音声信号と前記第一段階の信号波形時間伸縮復元ステップにおいて得られた調波構造音を、調波構造音抽出処理とは異なる長さの時間フレームに分割して分析を進めて第一段階の逆伝達関数を推定する第一段階の逆伝達関数推定ステップと、
   前記第一段階の逆伝達関数推定ステップにより求めた第一段階の逆伝達関数を前記音声信号に適用して第一段階の残響除去後の信号を得る第一段階の逆伝達関数適用ステップと、
   から構成される第一段階の残響除去処理ステップと、
   前記第一段階の残響除去後の信号に対して基本周波数推定処理をする第二段階の基本周波数推定ステップと、
   前記第二段階の基本周波数推定ステップにより求められた基本周波数に基づいてその時間微分を推定する第二段階の基本周波数時間微分推定ステップと、
   前記音声信号、前記第二段階の基本周波数推定ステップにより求められた基本周波数、前記第二段階の基本周波数時間微分推定ステップにより求められた基本周波数の時間微分に基づいて前記音声信号の基本周波数を一定にする第二段階の信号波形時間伸縮ステップと、
   前記第二段階の信号波形時間伸縮ステップにより得られた時間伸縮信号に基づいてその調波構造音を抽出する第二段階の調波構造音抽出ステップと、
   前記第二段階の調波構造音抽出ステップにより得られた調波構造音に対して信号波形の時間伸縮復元処理を施して時間伸縮前と同じ基本周波数を持つ調波構造音を得る第二段階の信号波形時間伸縮復元ステップと、
   前記音声信号と前記第二段階の信号波形時間伸縮復元ステップにおいて得られた調波構造音を、調波構造音抽出処理とは異なる長さの時間フレームに分割して分析を進めて第二段階の逆伝達関数を推定する第二段階の逆伝達関数推定ステップと、
   前記第二段階の逆伝達関数推定ステップにより求めた第二段階の逆伝達関数を前記音声信号に適用して第二段階の残響除去後の信号を得る第二段階の逆伝達関数適用ステップと、
   から構成される第二段階の残響除去処理ステップと、
   前記第二段階の残響除去後の信号に対して基本周波数推定処理をする第三段階の基本周波数推定ステップと、
   前記第三段階の基本周波数推定ステップにより求められた基本周波数に基づいてその時間微分を推定する第三段階の基本周波数時間微分推定ステップと、
   前記第二段階の残響除去後の信号、前記第三段階の基本周波数推定ステップにより求められた基本周波数、前記第三段階の基本周波数時間微分推定ステップにより求められた基本周波数の時間微分に基づいて前記第二段階の残響除去後の信号の基本周波数を一定にする第三段階の信号波形時間伸縮ステップと、
   前記第三段階の信号波形時間伸縮ステップにより得られた時間伸縮信号に基づいてその調波構造音を抽出する第三段階の調波構造音抽出ステップと、
   前記第三段階の調波構造音抽出ステップにより得られた調波構造音に対して信号波形の時間伸縮復元処理を施して時間伸縮前と同じ基本周波数を持つ調波構造音を得る第三段階の信号波形時間伸縮復元ステップと、
   前記第二段階の残響除去後の信号と前記第三段階の信号波形時間伸縮復元ステップにおいて得られた調波構造音を、調波構造音抽出処理とは異なる長さの時間フレームに分割して分析を進めて第三段階の逆伝達関数を推定する第三段階の逆伝達関数推定ステップと、
   前記第三段階の逆伝達関数推定ステップにより求めた第三段階の逆伝達関数を前記第二段階の残響除去後の信号に適用して第三段階の残響除去後の信号を得る第三段階の逆伝達関数適用ステップと、
   から構成される第三段階の残響除去処理ステップと、
   を備えたことを特徴とする残響除去方法。
2. 請求項１記載の残響除去方法の各ステップをコンピュータに実行させるためのプログラム。
3. 請求項２記載のプログラムを記録した記録媒体。

Images