JP4396449B2

JP4396449B2 - 残響除去方法及びその装置

Info

Publication number: JP4396449B2
Application number: JP2004245778A
Authority: JP
Inventors: 恵一 ▲吉▼田; 博昭竹山; 靖久井平; 実福島; 彰洋菊池; 敏杉本; 章寺澤
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2004-08-25
Filing date: 2004-08-25
Publication date: 2010-01-13
Anticipated expiration: 2024-08-25
Also published as: JP2006067127A

Description

本発明は、浴室などの残響のある場所で音声を明瞭に集音するために用いる残響除去方法及びその装置に関するものである。

近年、インターホンシステムなどにおいてマイクロホンとスピーカを利用して拡声通話を行う拡声通話装置が普及してきているが、この種の拡声通話装置を残響のある場所（例えば、浴室など）に設置した場合、話者の音声の残響がマイクロホンで集音されるために音声が不明瞭になってしまう虞があった。これに対してマイクロホンで集音される音声から残響を除去する方法（残響除去方法）及び残響除去装置が種々提案されている。

例えば、非特許文献１には、単一マイクロホンで集音された信号から室内伝達特性の最小位相成分のみを取り除いて回復させる方法が提案されている。しかし、この方法は室内音場が最小位相特性をもつときのみしか有効でない。また、非特許文献２には、音源の数に対しマイクロホンを一つ以上多く配置することで、音源とマイクロホン間の伝達特性の零点が重複しない場合、系が最小位相特性を有していなくても音源波形そのものを正確に復元できる音場逆フィルタ理論が提唱されている。これらの伝達特性の逆特性を逆フィルタ手段で実現する方法では、逆フィルタを決定する上であらかじめ逆フィルタ用パラメータ（残響のインパルス応答）を測定しておかなければならない。しかし、室内伝達系は、室内環境の様々な変動に伴い時間と共に変動するため、高い回復精度を保持するために、その都度、伝達系を測定し、適応的に処理しなければならない。さらに、非特許文献３には、残響特性がスペクトル歪だけでなく信号波形のエンベロープに影響を与えることに着目し、室内伝達特性の測定を必要としない方法が提案されている。これは、変調伝達関数（MTF：Modulation Transfer Function）に基づいて音源信号と伝達系をモデル化し、信号波形そのものではなく、パワーエンベロープの回復を目的としたパワーエンベロープ逆フィルタ処理として実現されている。
特開平９−３２１８６０号公報 Stephen T. Neely and Jont B. Allen 「Invertibility of a room impulse response」,J.Acoust.Soc.Am.Vol.66,No.1,July 1979 Miyoshi,M. and Kaneda,Y.,「Inverse filtering of room acoustics,」 IEEE Trans.ASSP,Vol.36,No.2,pp.145-152,Feb.1988 広林茂樹、野村博昭、東山三樹夫「パワーエンベローブ伝達関数の逆フィルタ処理による残響音声の回復」電子情報通信学会論文誌A,Vol.J81-A,No.10,pp.1323-1330,2000 古川正和,鵜木祐史,赤木正人,「ＭＴＦに基づいた残響音声パワーエンベローブの回復方法」電子情報通信学会信学技法,EA2002-15,SP2002-15(2002-04)

しかしながら、非特許文献３に開示されたパワーエンベロープ回復方法では、モデル化された室内伝達特性のパラメータ（振幅と残響時間）の決定法が不明確であり、一般的なパラメータ決定法であるＴＳＰ法やＭ系列法といったインパルス応答測定方法では、測定時に可聴領域音をスピーカから出力せねばならず、これが現実的な応用問題への発展を制限しているという問題があった。

これに対して非特許文献４では、非特許文献３のパワーエンベローブ逆フィルタ処理をベースに（１）パワーエンベローブの抽出法,（２）室内インパルス応答のパラメータ（振幅項と残響時間）の決定法といった原理上の問題点の改善を提案している。しかしながら、非特許文献４に開示された方法においては、音声信号のキャリア信号をホワイトノイズで近似しており、キャリア信号が受ける残響音場の影響を考慮していないため、不十分な音源信号しか復元されないという問題がある。特に、かかる方法を浴室に設置されるインターホンの通話端末に適用した場合、来訪者からは話者が浴室内で通話していることが判ってしまい、居住者のプライバシーを侵害してしまうという問題があった。

一方、特許文献１には、事前に可聴領域音を測定できない場合や伝達関数が時々刻々変化する場合でも適用可能な残響除去装置及び方法が開示されている。この残響除去装置は、少なくとも２つのマイクロホンと、これら２つのマイクロホンに対応した逆フィルタ部及び伝達関数模擬フィルタ部をそれぞれ構成要件としているが、インターホン等の拡声通話装置にこの方法及び装置を適用しようとすると、マイクロホンと演算用メモリ領域を増設し且つ高性能の信号処理演算器を用いる必要があるため、利用者への提供価格が高くなってしまい、これが一般家庭への普及の障壁になっているという問題があった。

本発明は、上記事情に鑑みてなされたものであり、その目的は、可聴領域音を鳴らさなくとも残響音を除去することができる残響除去方法及びその装置を提供することにある。

請求項１の発明は、上記目的を達成するために、残響空間においてマイクロホンで集音する残響音声信号から残響成分を除去して元の音源信号を復元する残響除去方法であって、残響空間に存在するスピーカとマイクロホンとの音響結合によって形成される帰還経路のインパルス応答をＦＩＲ型フィルタからなる適応フィルタにより適応的に同定してマイクロホンで集音した残響音声信号から帰還経路のエコー成分を推定する第１のステップと、第１のステップにおいて適応フィルタで推定されたエコー成分を帰還経路の出力信号より減算する第２のステップと、第２のステップにおける減算結果に含まれたエコー成分推定値の推定誤差が最小となるように適応フィルタのフィルタ係数を更新する第３のステップと、第３のステップにおいてエコー成分推定値の推定誤差が最小となったときのフィルタ係数を残響空間のインパルス応答に代用し該フィルタ係数から残響空間の伝達関数を求める第４のステップと、第４のステップで求めた残響空間の伝達関数とマイクロホンで集音した残響音声信号との演算から元の音声信号を求める第５のステップとを有し、第３のステップにおいて、最小自乗平均アルゴリズムにより適応フィルタのフィルタ係数を更新するとともに、残響音声信号に音声が含まれているか否かを判定し、音声が含まれている場合にだけ適応フィルタのフィルタ係数を更新し、さらに、スピーカから出力する音声信号の瞬時パワーに対する残響音声信号の瞬時パワー比が所定のしきい値よりも大きい場合に適応フィルタにおけるステップゲインを相対的に小さい値に設定するとともに、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれているか否かを判定し、双方に音声が含まれている場合には適応フィルタのフィルタ係数を更新しないことを特徴とする。

請求項２の発明は、請求項１の発明において、第４のステップにおいて、フィルタ係数をフーリエ変換することにより周波数領域における伝達関数を求め、第５のステップにおいては残響音声信号をフーリエ変換するとともに第４のステップで求めた周波数領域の伝達関数の大きさで除算した後に逆フーリエ変換することを特徴とする。

請求項３の発明は、請求項１の発明において、第３のステップにおいて、フィルタ係数が発散した場合にフィルタ係数を初期化することを特徴とする。

請求項４の発明は、請求項１の発明において、第３のステップにおいて、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれている場合であっても帰還経路が変動したときにはフィルタ係数の更新を継続することを特徴とする。

請求項５の発明は、請求項１又は２の発明において、第５のステップにおいて、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれているか否かを判定し、マイクロホンで集音された信号とスピーカから出力される信号の少なくとも何れか一方に音声が含まれておらず、且つエコー成分推定値の推定誤差が所定のしきい値より小さい場合に残響音声信号をゼロとすることを特徴とする。

請求項６の発明は、上記目的を達成するために、残響空間においてマイクロホンで集音する残響音声信号から残響成分を除去して元の音源信号を復元する残響除去装置であって、ＦＩＲ型フィルタからなり、残響空間に存在するスピーカとマイクロホンとの音響結合によって形成される帰還経路のインパルス応答を適応的に同定してマイクロホンで集音した残響音声信号から帰還経路のエコー成分を推定する適応フィルタと、適応フィルタで推定されたエコー成分を帰還経路の出力信号より減算する減算手段と、減算手段による減算結果に含まれたエコー成分推定値の推定誤差が最小となるように適応フィルタのフィルタ係数を更新するフィルタ係数更新手段と、フィルタ係数更新手段においてエコー成分推定値の推定誤差が最小となったときのフィルタ係数を残響空間のインパルス応答に代用し該フィルタ係数から残響空間の伝達関数を求める伝達関数演算手段と、伝達関数演算手段で求めた残響空間の伝達関数とマイクロホンで集音した残響音声信号との演算から元の音声信号を求める残響演算手段とを備え、フィルタ係数更新手段は、最小自乗平均アルゴリズムにより適応フィルタのフィルタ係数を更新し、さらに残響音声信号に音声が含まれているか否かを判定し、音声が含まれている場合にだけ適応フィルタのフィルタ係数を更新する有音／無音判定部と、スピーカから出力する音声信号の瞬時パワーに対する残響音声信号の瞬時パワー比が所定のしきい値よりも大きい場合に適応フィルタにおけるステップゲインを相対的に小さい値に設定するステップゲイン切替部と、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれているか否かを判定する判定部とを具備し、判定部によって双方に音声が含まれている場合には適応フィルタのフィルタ係数を更新しないことを特徴とする。

請求項７の発明は、請求項６の発明において、伝達関数演算手段は、フィルタ係数をフーリエ変換することにより周波数領域における伝達関数を求め、残響演算手段は、残響音声信号をフーリエ変換するとともに該残響信号を周波数領域の伝達関数の大きさで除算した後に逆フーリエ変換することを特徴とする。

請求項８の発明は、請求項６の発明において、フィルタ係数更新手段は、フィルタ係数の発散を検出するとともに発散検出時にフィルタ係数を初期化する発散検出部を具備することを特徴とする。

請求項９の発明は、請求項６の発明において、フィルタ係数更新手段は、帰還経路の変動を検出する帰還経路変動検出部を具備し、判定部によって双方に音声が含まれていると判定された場合であっても帰還経路変動検出手段が帰還経路の変動を検出したときにはフィルタ係数の更新を継続することを特徴とする。

請求項１０の発明は、請求項６又は７の発明において、減算手段の出力信号とスピーカから出力される信号に音声が含まれているか否かを検出するとともにエコー成分推定値の推定誤差を所定のしきい値と比較し、少なくとも何れか一方の信号に音声が含まれておらず、且つ推定誤差がしきい値より小さい場合に残響音声信号に非線形のエコー成分が含まれていると判断して当該残響音声信号をゼロとする非線形エコー抑圧手段を備えたことを特徴とする。

本発明によれば、残響空間に存在するスピーカとマイクロホンとの音響結合によって形成される帰還経路のインパルス応答を適応フィルタのフィルタ係数で代用し、そのフィルタ係数を用いて残響成分を除去するため、単一のマイクロホンのみを用い、従来例のように可聴領域音を鳴らさなくとも残響音を除去することができるという効果がある。

以下、本発明の残響除去方法を実現する残響除去装置の実施形態について説明する。なお、本実施形態ではインターホンシステムを構成し浴室内に設置される拡声通話装置に残響除去装置を搭載した場合について例示しているが、これに限定する主旨ではなく、マイクロホンとスピーカを用いて音声を拡声する拡声装置全般に本発明の残響除去方法及び残響除去装置が適用可能である。

図２に拡声通話装置としてのインターホン親機（以下、「親機」と略す）Ｍ、相手側通話端末としてのドアホン子器Ｓのブロック図を示す。親機Ｍは、マイクロホン１、スピーカ２、２線−４線変換回路３、マイクロホンアンプＧ１、回線（２線の伝送路）への送話信号を増幅する回線出力アンプＧ２、回線からの受話信号を増幅する回線入力アンプＧ３、スピーカアンプＧ４、送話音量調整用増幅器Ｇ５、受話音量調整用増幅器Ｇ６、並びに第１及び第２のエコーキャンセラ３０Ａ，３０Ｂで構成される。また、ドアホン子器Ｓはマイクロホン１′、スピーカ２′、２線−４線変換回路３′、マイクロホンアンプＧ１′並びにスピーカアンプＧ４′で構成される。

第１のエコーキャンセラ３０Ａは適応フィルタ３１Ａと減算器３２Ａからなり、スピーカ２−マイクロホン１間の音響結合により形成される帰還経路（音響エコー経路）Ｈ_ACのインパルス応答を適応フィルタ３１Ａにより適応的に同定し、参照信号（スピーカアンプＧ４への入力信号）Ｘ(ｊ)から推定したエコー成分（音響エコー）Ｇ＾(ｊ)を減算器３２ＡによりマイクロホンアンプＧ１の出力信号Ｙ(ｊ)から減算することでエコー成分を相殺して消去するものである。また、第２のエコーキャンセラ３０Ｂも適応フィルタ３１Ｂと減算器３２Ｂからなり、２線−４線変換回路３と伝送路との間のインピーダンスの不整合による反射およびドアホン子器Ｓにおけるスピーカ２’−マイクロホン１’間の音響結合とにより形成される帰還経路（回線エコー経路）Ｈ_LINのインパルス応答を適応フィルタ３１Ｂにより適応的に同定し、参照信号（回線出力アンプＧ２への入力信号、すなわち送話信号）から推定したエコー成分（回線エコー）を減算器３２Ｂにより受話信号から減算することでエコー成分を相殺して消去するものである。

而して、第１及び第２のエコーキャンセラ３０Ａ，３０Ｂにより帰還経路Ｈ_ACおよびＨ_LINのエコー成分を相殺して閉ループを断ち切るため、不快なエコーおよびハウリングを抑制することができる。また、マイクロホンアンプＧ１の出力信号に含まれるエコー以外の成分、すなわち、親機Ｍに対して通話者が発声した音声信号および親機Ｍの周囲の騒音については全く損失を与えずにドアホン子器Ｓ側へ伝送することができ、同様に受話信号に含まれるエコー以外の成分、すなわち、ドアホン子器Ｓに対して通話者が発声した音声信号およびドアホン子器Ｓの周囲の騒音については全く損失を与えずに親機Ｍ側へ伝送することができる。したがって、双方向の同時通話を実現することができる。

次に本発明の要旨である残響除去装置Ａについて説明する。本実施形態における残響除去装置Ａは、図１に示すようにマイクロホン１、スピーカ２、第１のエコーキャンセラ３０Ａ、並びに親機Ｍの送話側の信号経路における第１のエコーキャンセラ３０Ａと送話音量調整用増幅器Ｇ５との間に設けられた逆フィルタ処理部１０によって構成されている。但し、第１のエコーキャンセラ３０Ａと逆フィルタ処理部１０はＤＳＰ（Digital Signal Proccesser）のハードウェアを専用のソフトウェアで制御することによって実現されるものであり、アナログの音声信号をディジタル信号に変換するＡ／Ｄ変換器３７とディジタルの音声信号をアナログ信号に変換するＤ／Ａ変換器３８を備えている。

適応フィルタ３１Ａは、ＦＩＲ型、ＩＩＲ型、ラティス型などの種々の構造のうちで最も安定的で且つ入力信号の特性変化にも強いＦＩＲ型であって、可変のフィルタ係数を適応更新することによって帰還経路のエコー成分（帰還経路を介した受話信号の回り込み成分）を推定するアルゴリズムとして、減算器３２Ａの出力信号の自乗平均値を最小化する最小自乗平均（ＬＭＳ：Least-Mean-Square）アルゴリズムを用いている。

適応フィルタ３１Ａの動作をさらに詳しく説明すると、ＬＭＳアルゴリズムにおいては次式によってフィルタ係数（「タップ重み」ともいう）ｈ^_i(ｊ)を再帰的に更新していく。

ｈ^_i(ｊ＋１)＝ｈ^_i(ｊ)＋μＥ(ｊ)・Ｘ(ｊ−ｉ)
但し、ｉはタップ番号、ｊはサンプル時間を示す。

ここで、Ｅ(ｊ)は、遠端側（ドアホン子器Ｓ）からのみ発声が行われて近端側（親機Ｍ）では発声が行われていない、いわゆるシングルトークの状態である場合にエコー成分をＧ(ｊ)とするとＥ(ｊ)＝Ｇ(ｊ)−Ｇ＾(ｊ)となり、サンプル時間ｊにおけるエコー成分Ｇ(ｊ)の推定誤差（瞬時誤差）を表し、μは毎回の繰り返しにおける補正量の大きさ（すなわち、収束の速さ）を制御するための定数であるステップゲイン（あるいは「ステップサイズパラメータ」ともいう）を表す。なお、エコー成分Ｇ(ｊ)の推定値Ｇ＾(ｊ)は上記フィルタ係数ｈ^_i(ｊ)と受話信号Ｘ(ｊ)とから下記式（１）によって求められる。

ここで、Ｉはフィルタタップ数、ｉはタップ番号である。

そして、フィルタ係数ｈ^_i(ｊ)を再帰的に更新することで上記推定誤差Ｅ(ｊ)の平均自乗誤差を最小とする最適解に到達する（収束する）と、その最適解のフィルタ係数ｈ^_i(ｊ)から求められるエコー成分の推定値Ｇ＾(ｊ)を送話信号Ｙ(ｊ)から減算することでエコー成分を相殺した出力信号Ｅ(ｊ)が得られることになる。

よって、第１のエコーキャンセラ３０Ａにより音響側帰還経路Ｈ_ACのエコー成分を相殺して閉ループを断ち切るため、不快なエコーを抑制することができる。また、マイクロホンアンプＧ１の出力信号に含まれるエコー以外の成分、すなわち、親機Ｍに対して通話者が発声した音声信号および親機Ｍの周囲の騒音については全く損失を与えずにドアホン子器Ｓ側へ伝送することができ、同様に受話信号に含まれるエコー以外の成分、すなわち、ドアホン子器Ｓに対して通話者が発声した音声信号およびドアホン子器Ｓの周囲の騒音については全く損失を与えずに親機Ｍ側へ伝送することができる。

ところで、親機Ｍとドアホン子器Ｓで同時に発声が行われる、いわゆるダブルトークの状態においてエコーキャンセラ３０Ａ，３０Ｂの適応フィルタ３１Ａ，３１Ｂがフィルタ係数ｈ^_i(ｊ)の更新を継続すると、フィルタ係数ｈ^_i(ｊ)が収束せずに発散してしまう虞がある。例えば第１のエコーキャンセラ３０Ａにおいて、マイクロホン１から入力するダブルトーク成分Ｎ(ｊ)が存在する場合、送話信号Ｙ(ｊ)はＹ(ｊ)＝Ｎ(ｊ)＋Ｇ(ｊ)となり、推定誤差Ｅ(ｊ)はＥ(ｊ)＝Ｎ(ｊ)＋（Ｇ(ｊ)−Ｇ＾(ｊ)）と表される。このとき、フィルタ係数ｈ^_i(ｊ)を再帰的に更新することで推定誤差Ｅ(ｊ)の平均自乗誤差を最小とする最適解を求めようとすると、参照信号（受話信号Ｘ(ｊ)）と相関のないダブルトーク成分Ｎ(ｊ)の項が推定誤差Ｅ(ｊ)に含まれているためにフィルタ係数ｈ^_i(ｊ)が収束せず、逆に発散する虞がある。すなわち、ダブルトーク成分Ｎ(ｊ)は適応フィルタ３１Ａの動作においては外乱成分となる。

そこで本実施形態のエコーキャンセラ３０Ａでは、遠端側からの入力信号Ｘ(ｊ)に音声成分が含まれるかどうかを判別する有音／無音判定部１３を適応フィルタ３１Ａに具備するとともにダブルトークを検出するダブルトーク検出部１４を具備し、後述するように有音／無音判定部１３で音声が含まれると判定され、かつダブルトーク検出部１４によりダブルトークが検出されない状態でのみフィルタ係数ｈ^_i(ｊ)を更新するとともに、その他の状態ではフィルタ係数ｈ^_i(ｊ)を更新せずにそれ以前の値に固定するようにして、フィルタ係数ｈ^_i(ｊ)の発散を防止している。

さらに本実施形態のエコーキャンセラ３０Ａでは、遠端側の信号の瞬時パワーに対する近端側の信号の瞬時パワー比が所定のしきい値よりも大きい場合に適応フィルタ３１Ａにおけるステップゲインμを相対的に小さい値に設定するステップゲイン切替部１５を具備しており、これにより上記比が所定のしきい値よりも大きいか否かを判定し、しきい値よりも大きいと判定した場合に適応フィルタ３１Ａにおけるステップゲインμを相対的に小さい値に設定するため、ダブルトークか否かにかかわらず、上記比がしきい値よりも大きければ適応フィルタ３１Ａにおけるフィルタ係数ｈ^_i(ｊ)の収束の速さを相対的に遅くすることで発散を未然に防止して抑制することができるようになっている。

ところで、インターホンシステムの親機Ｍのように、マイクロホン１やスピーカ２の前に手をかざしたり顔を近づけたりすることでエコー経路の利得が頻繁に変動する系では、ダブルトークの状態とエコー経路の利得が変動した状態とを判別することができず、エコー経路の利得の変動に伴って本来更新すべきフィルタ係数ｈ^_i(ｊ)が更新されない虞がある。そこで本実施形態では、音響エコー経路変動検出部１６をエコーキャンセラ３０Ａに具備しており、音響エコー経路Ｈ_ACの変動を検出した場合、フィルタ係数ｈ^_i(ｊ)の更新を継続するようにしている。このため、フィルタ係数ｈ^_i(ｊ)を速く収束させることが可能となり、エコー成分のみを早期に精度よく抑圧できるようになっている。

また本実施形態では、適応フィルタ３１Ａにおいてフィルタ係数ｈ^_i(ｊ)が発散したことを検出する音響エコー発散検出部１７をエコーキャンセラ３０Ａに具備しており、音響エコー発散検出部１７でフィルタ係数ｈ^_i(ｊ)の発散が検出された場合、そのままフィルタ係数ｈ^_i(ｊ)の更新を継続しても再度収束させることは困難であるため、フィルタ係数ｈ^_i(ｊ)を初期化するようになっている。このため、フィルタ係数ｈ^_i(ｊ)を速く収束させることが可能になり、エコー成分のみを早期に精度よく抑圧できるようになっている。

ところで本実施形態のエコーキャンセラ３０Ａは、上述した様々な方法でも抑圧しきれない残留エコー成分を除去するために非線形エコー抑圧部１８を具備している。この非線形エコー抑圧部１８は、後述するように近端側からの入力信号（送話信号）Ｙ(ｊ)に伝送すべき音声信号が含まれていない場合にのみ残留エコーを抑圧するものであって、通話の安定性向上が可能となる。

次に本発明の要旨である残響除去装置について説明する。一般に音源信号をｘ(ｔ)（ｔは時間をあらわすインデックス）、室内インパルス応答をｈ(ｔ)とすると、残響信号（観測信号）は下記の式（２）で表される（非特許文献３参照）。

ｙ(ｔ)＝ｘ(ｔ)＊ｈ(ｔ) （２）
但し、＊はコンボリューション（畳み込み）演算を示す演算子である。
式（２）は周波数領域で下記の式（３）で表される（非特許文献３参照）。

Ｙ(ｋ)＝Ｘ(ｋ)Ｈ(ｋ) （３）
但し、ｋは周波数領域をあらわすインデックスである。
従って音源信号Ｘ(ｋ)は、下記の式（４）から求められる。

Ｘ(ｋ)＝Ｙ(ｋ)Ｈ^-1 (ｋ) （４）
ここで、線形システムにおいて観測信号から音源信号を推定するためには伝達系の推定が必要である。しかし、伝達関数Ｈ(ｋ)は一般に時変系であるために適応的な推定を必要とする。

一方、エコーキャンセラ３０Ａにおいてフィルタ係数ｈ^_i(ｊ)が十分に収束している、すなわち、推定誤差Ｅ(ｊ)の平均自乗誤差を最小とする最適解に到達しているときは、そのフィルタ係数ｈ^_i(ｊ)が音響側帰還経路Ｈ_ACのインパルス応答をよく近似している。そして、上記式（２）における室内インパルス応答ｈ(ｔ)を音響側帰還経路Ｈ_ACのインパルス応答で代用すれば、フィルタ係数ｈ^_i(ｊ)を用いて伝達関数Ｈ(ｋ)を演算し、残響信号（参照信号）から音源信号を復元することができるものであり、かかる演算処理を逆フィルタ処理部１０で実行している。すなわち、本実施形態では逆フィルタ処理部１０が伝達関数演算手段並びに残響演算手段となる。

親機Ｍが浴室のような残響のある場所に設置されている場合、マイクロホン１で集音する音声信号Ｚ(ｊ)には音源信号（通話者が発した音声信号）だけでなく残響信号が含まれており、第１のエコーキャンセラ３０Ａによってエコー成分のみが抑圧された音声信号Ｚ’(ｊ)には残響成分がそのまま残っているため、この残響成分を逆フィルタ処理部１０で除去することにより残響成分を含まない音声信号（音源信号）Ｚ”(ｊ)が復元される。具体的には逆フィルタ処理部１０では、次の５つのステップ１〜５の演算処理を行っている。
＜ステップ１：室内インパルス応答ｈ(ｔ)を高速フーリエ変換演算するステップ＞
室内インパルス応答ｈ(ｔ)を代用するフィルタ係数ｈ^_i(ｊ)を第１のエコーキャンセラ３０Ａから取得し、このフィルタ係数ｈ^_i(ｊ)を高速フーリエ変換して伝達関数Ｈ(ｋ)を求める。この伝達関数Ｈ(ｋ)は下式のように複素形式で表される。但し、Ａは振幅を調整するパラメータであり、ｉは虚数単位である。

Ｈ(ｋ)＝Ａ{ｈ_real(k)＋ｉ・ｈ_img(k)}
＜ステップ２：残響音声信号Ｚ’(ｊ)を高速フーリエ変換演算するステップ＞
第１のエコーキャンセラ３０Ａから出力される残響成分を含んだ音声信号（残響音声信号）Ｚ’(ｊ)を高速フーリエ変換して周波数領域の残響音声信号Ｚ’(ｋ)を求める。この残響音声信号Ｚ’(ｋ)も下式のように複素形式で表される。

Ｚ’(ｋ)＝ｚ’_real(k)＋ｉ・ｚ’_img(k)
＜ステップ３：伝達関数Ｈ(ｋ)の大きさ｜Ｈ(ｋ)｜を演算するステップ＞
下式により伝達関数Ｈ(ｋ)の大きさ｜Ｈ(ｋ)｜を求める。

｜Ｈ(ｋ)｜＝{ｈ_real²(k)＋ｈ_img²(k)}^1/2
＜ステップ４：音源信号Ｚ”(ｋ)を回復する演算を行うステップ＞
ステップ１〜３でそれぞれ求めたＨ(ｋ)、｜Ｈ(ｋ)｜、Ｚ’(ｋ)を用いて音源信号、すなわち、残響成分が除去された音声信号Ｚ”(ｋ)を求める。式（４）より、
Ｚ”(ｋ)＝Ｚ’(ｋ)／Ｈ(ｋ)＝ｚ”_real(k)＋ｉ・ｚ”_img(k)
但し、
ｚ”_real(k)＝{ｚ’_real(k)・ｈ_real(k)＋ｚ’_img(k)・ｈ_img(k)}／｜Ｈ(ｋ)｜²
ｚ”_img(k)＝{ｚ’_img(k)・ｈ_real(k)−ｚ’_real(k)・ｈ_img(k)}／｜Ｈ(ｋ)｜²
＜ステップ５：音源信号Ｚ”(ｋ)を逆高速フーリエ変換演算するステップ＞
周波数領域の音源信号Ｚ”(ｋ)を逆高速フーリエ変換して時間領域の音源信号Ｚ”(ｊ)を求める。

上記ステップ１〜５の演算処理により、残響音声信号Ｚ’(ｊ)から残響成分を除去した音声信号（音源信号）Ｚ”(ｊ)が逆フィルタ処理部１０から遠端側に出力される。

ここで、親機Ｍが相手の通話機器（ドアホン子器Ｓなど）と通話を行う際に第１のエコーキャンセラ３０Ａ及び逆フィルタ処理部１０が行う処理について、図３及び図４のフローチャートを参照して説明する。

例えば、ドアホン子器Ｓからの呼出に対して親機Ｍの応答釦が操作されると、親機Ｍとドアホン子器Ｓとの間に通話路が確立されて親機Ｍが通話状態に移行すると同時にＤＳＰがエコーキャンセラ３０Ａ，３０Ｂや逆フィルタ処理部１０を実現するプログラム（ソフトウェア）を実行する。

図３に示すように、まず最初に変数の初期化処理（フィルタ係数ｈ＾_i(０）＝０、ステップゲインμ＝μ_MAX、推定誤差Ｅ(０)＝１）３９が行われ、続いて遠端側（ドアホン子器Ｓ側）の入力信号Ｘ(ｊ＋１)と近端側（マイクロホン１側）の入力信号Ｙ(ｊ＋１)の取得処理４０，４１が行われ、取得した入力信号Ｘ(ｊ＋１)，Ｙ(ｊ＋１)はＦＩＦＯ型のメモリ（図示せず）に最新データとして蓄積される。

次にフィルタ係数ｈ＾_i(ｊ)を更新するか、更新を停止する（更新しない）か、変数初期化処理３９から処理をやり直すかの判別処理（係数更新判別処理４２）が行われる。このフィルタ係数更新判別処理４２では、図４のフローチャートに示すように発散判定処理、有音／無音判定処理、ダブルトーク判定処理が行われる。音響エコー発散検出部１７による発散判定処理では、まず近端側入力信号Ｙ(ｊ)とエコー成分推定値Ｇ＾(ｊ)の積に基づいて両者の符号を判別し、両者の符号が異符号であるときにのみカウント値divcountをインクリメントする処理５１が行われた後、発散判定時間未経過判別処理５２において発散検出の判定を行なう時間（例えば、２００ミリ秒）が経過したかどうかが判別され、経過していなければ有音／無音判定処理が実行され、経過していれば上記時間のカウントを０に初期化するとともに、カウント値divcountつまり異符号の割合が発散判定閾値div_sliceを超えているか否かが判断される。そして、カウント値divcountが発散判定閾値div_sliceを越えていれば発散状態と判定し、カウント値divcountを０に初期化する処理５４が行われた後、変数初期化処理３９が行われる。一方、カウント値divcountが発散判定閾値div_sliceを越えていなければ非発散状態と判定し、カウント値divcountを０に初期化する処理５６が行われた後、有音／無音判定部１３による有音／無音判定処理が実行される。

有音／無音判定処理では、蓄積された入力信号Ｘ(ｊ＋１)の絶対値平均ＬＸ(ｊ＋１)が有音／無音判定閾値ＬＸ_SLICEを超えているか否かが判断され、絶対値平均ＬＸ(ｊ＋１)が有音／無音判定閾値ＬＸ_SLICEを越えていなければ無音状態と判定し、フィルタ係数ｈ＾_i(ｊ)の更新が停止される。一方、絶対値平均ＬＸ(ｊ＋１)が有音／無音判定閾値ＬＸ_SLICEを越えていれば有音状態と判定し、ダブルトーク判定処理が実行される。さらにダブルトーク判定処理では、蓄積された入力信号Ｙ(ｊ＋１)の絶対値平均ＬＹ(ｊ＋１)がダブルトーク判定閾値ＬＹ_SLICEを越えているか否かが判断され、絶対値平均ＬＹ(ｊ＋１)がダブルトーク判定閾値ＬＹ_SLICEを越えていればダブルトーク状態と判定し、フィルタ係数ｈ＾_i(ｊ)の更新が停止される。一方、絶対値平均ＬＹ(ｊ＋１)がダブルトーク判定閾値ＬＹ_SLICEを越えていなければダブルトーク状態でないと判定し、適応フィルタ３１Ａにおけるフィルタ係数ｈ＾_i(ｊ)の更新処理が実行される。

そして、図３に示すように、フィルタ係数ｈ＾_i(ｊ)を更新する場合はステップゲイン切替部１５においてステップゲイン切替処理４３が実行され、フィルタ係数ｈ＾_i(ｊ)の更新を停止する場合は前回のフィルタ係数ｈ＾_i(ｊ)を今回のフィルタ係数ｈ＾_i(ｊ)に代入する処理４４’が行われた後にエコー成分推定値Ｇ＾(ｊ＋１)の演算処理４５が行われる。

ステップゲイン切替処理４３では、入力信号Ｘ(ｊ)，Ｙ(ｊ)を最新のものから所定時間（例えば、２ミリ秒）前まで平均して求めた瞬時値（Ｘ瞬時値、Ｙ瞬時値）の比（＝Ｘ瞬時値／Ｙ瞬時値）を所定の閾値α_sliceと比較し、上記比が閾値α_sliceを越えていなければフィルタ係数更新処理４４で用いるステップゲインμを最小値μ_MINに設定し、瞬時値の比が閾値α_slice以上であればステップゲインμを最大値μ_MAXに設定することでフィルタ係数ｈ＾_i(ｊ)の発散を防止している。

フィルタ係数更新処理４４では、蓄積されているエコー成分の推定誤差Ｅ(ｊ)と入力信号Ｘ(ｊ)を取得してフィルタ係数ｈ＾_i(ｊ)がタップ番号ごとに更新される。続いて式（１）によりエコー成分推定値Ｇ＾(ｊ＋１)を演算する処理４５が行われた後、入力信号Ｙ(ｊ＋１)からエコー成分推定値Ｇ＾(ｊ＋１)を減算してエコー成分の推定誤差Ｅ(ｊ＋１)を演算する処理４６が行われ、さらに非線形エコー除去処理４７が行われる。この非線形エコー除去処理４７においては、メモリに蓄積された入力信号Ｙ(ｊ＋１)の絶対値平均ＬＹ(ｊ＋１)がシングルトークとダブルトークを判定する閾値ＬＹ_sliceより小さい、つまりシングルトークの状態にあり、かつエコー成分の推定誤差Ｅ(ｊ＋１)がクリッピング閾値Ｅclipより小さければ、これを非線形エコー成分と判定し、出力信号（残響音声信号）Ｚ’(ｊ＋１)を０とすることで除去する。それ以外の場合はエコー成分の推定誤差Ｅ(ｊ＋１)がそのまま出力信号Ｚ’(ｊ＋１)とされる。

逆フィルタ処理部１０による逆フィルタ処理４８では、既に説明したように５つのステップ１〜５により残響音声信号Ｚ’(ｊ)から残響成分を除去した音声信号（音源信号）Ｚ”(ｊ)を復元しており、復元された音声信号Ｚ”(ｊ)を送話側の信号経路に出力する処理４９，５０が行われた後、再び入力信号Ｘ(ｊ＋１)，Ｙ(ｊ＋１)を取得する処理４０に戻って上述の処理が繰り返されることになる。尚、逆フィルタ処理４８で用いられるフィルタ係数ｈ＾_i(ｊ)が、係数更新判別処理４２、ステップゲイン切替処理４３、非線形エコー除去処理４７によって時変系である空間（例えば、浴室）のインパルス応答を精度よく近似することができるため、残響成分を高い精度で除去できるものである。

また本実施形態においては、第１のエコーキャンセラ３０Ａにおけるエコー抑圧量が所定の基準値を超えているか否かを判断して基準値を超えている場合はフィルタ係数ｈ＾_i(ｊ)が室内インパルス応答ｈ(ｊ)をよく近似しているとみなして逆フィルタ処理部１０にフィルタ係数ｈ＾_i(ｊ)を出力し、逆フィルタ処理部１０が上述の逆フィルタ処理４８を実行して残響音声信号Ｚ’(ｊ)から残響成分を除去した音声信号Ｚ”(ｊ)を出力し、反対に基準値を超えていない場合はフィルタ係数ｈ＾_i(ｊ)が室内インパルス応答ｈ(ｊ)を近似していないとみなして逆フィルタ処理部１０にフィルタ係数ｈ＾_i(ｊ)を出力せず、残響音声信号Ｚ’(ｊ)が逆フィルタ処理部１０を通過してそのまま音声信号Ｚ”(ｊ)として出力されるようにしている。

例えば、Ａ／Ｄ変換器３７のサンプリング周波数を８ｋＨｚ、インパルス応答長を２５６ミリ秒とした場合、式（１）のフィルタタップ数Ｉは２０４８個となり、逆フィルタ処理部１０が逆フィルタ処理４８を行うか否かの判断は、エコー抑圧量をエコー成分の推定誤差Ｅ(ｊ)とエコー成分推定値Ｇ＾(ｊ)との比Ｅ(ｊ)／Ｇ＾(ｊ)と定義したときに２０log{Ｅ(ｊ)／Ｇ＾(ｊ)}（エコー抑圧量）の値が基準値−８ｄＢを越えているか否かで行われる。すなわち、上記エコー抑圧量が−８ｄＢ未満となったときに第１のエコーキャンセラ３０Ａが音響側帰還経路Ｈ_ACを回り込んでくる音響エコーを十分抑圧している、つまりフィルタ係数ｈ＾_i(ｊ)が帰還経路Ｈ_ACの室内インパルス応答ｈ(ｊ)をよく近似していると判断して、第１のエコーキャンセラ３０Ａから逆フィルタ処理部１０にフィルタ係数ｈ＾_i(ｊ)が渡されて逆フィルタ処理部１０が逆フィルタ処理４８を行い、エコー抑圧量が−８ｄＢ以上のときは音響エコーが十分に抑圧されていない、つまりフィルタ係数ｈ＾_i(ｊ)が帰還経路Ｈ_ACの室内インパルス応答ｈ(ｊ)を近似していないと判断して、第１のエコーキャンセラ３０Ａから逆フィルタ処理部１０にフィルタ係数ｈ＾_i(ｊ)が渡されずに逆フィルタ処理部１０は逆フィルタ処理４８を行わず、残響音声信号Ｚ’(ｊ)がそのまま出力される。ここで、「省エネルギーは心がけ次第です。」というフレーズを浴室（室内寸法：２．０ｍ×１．７ｍ×２．２ｍ）内で男性が発したときの残響音声信号の波形を図５に、逆フィルタ処理部１０が逆フィルタ処理４８を行うことで残響成分を除去した後の音声信号の波形を図６に、第１のエコーキャンセラ３０Ａが収束したときの２０４８個のフィルタ係数ｈ＾_i(ｊ)を図７にそれぞれ示す。図５と図６を比較すれば明らかなように、本実施形態の残響除去装置Ａにより音声信号に含まれる残響成分が除去されて音声信号が聞き取りやすくなっていることが判る。

而して、残響のある浴室内に設置された親機Ｍと玄関先に設置されたドアホン子器Ｓとの間で拡声通話を行う場合、浴室内の残響成分が付加された音声信号が親機Ｍのマイクロホン１に集音されるために残響成分が音源信号（通話者の音声信号）をマスクしてしまい、ドアホン子器Ｓのスピーカから出力される音声が聞き取りにくくなっていたが、上述のように本発明に係る残響除去装置Ａを親機Ｍに搭載することにより、親機Ｍからドアホン子器Ｓへは残響成分が除去された音声信号が伝送されるため、ドアホン子器Ｓのスピーカから出力される音声が聞き取り易くなって快適な通話環境が実現できる。また、ドアホン子器Ｓのスピーカから聞こえる音声に残響成分が含まれていると相手の通話者に浴室内にいることが判ってしまうことからプライバシーが侵害される虞があり、しかも、入浴中であればそのことが相手の通話者に判ってしまうことで住居に侵入されたり盗難の被害に遭いかねないという防犯上の問題もあったが、ドアホン子器Ｓのスピーカから聞こえる音声に残響成分がなければ相手の通話者に浴室内に居ることが判らないため、居住者のプライバシー保護と防犯性の向上とが図れるものである。

尚、コンサートホールや講堂に設置された拡声システムにおいても講演者の音声が空間から反射してくる残響成分によってマスクされて聴講者が内容を聞き取りにくくなることがあるが、かかる拡声システムに本発明の残響除去方法及び装置を適用すれば、インターホンシステムの親機Ｍを浴室に設置した場合と同様の効果を奏し、コンサートホールや講堂内でＴＳＰ方やＭ系列法などに基づく基準音を出力せずとも逆フィルタ処理によって残響成分を除去することが可能である。

本発明の実施形態を示すブロック図である。同上を搭載した親機と、親機とともにインターホンシステムを構成するドアホン子器のブロック図である。同上の動作説明用のフローチャートである。同上の動作説明用のフローチャートである。残響音声信号の波形図である。同上を用いて残響成分が除去された音声信号の波形図である。同上におけるフィルタ係数を示す図である。

符号の説明

Ａ残響除去装置
１マイクロホン
２スピーカ
１０逆フィルタ処理部
３０Ａ第１のエコーキャンセラ
３１Ａ適応フィルタ
３２Ａ減算器

Claims

残響空間においてマイクロホンで集音する残響音声信号から残響成分を除去して元の音源信号を復元する残響除去方法であって、残響空間に存在するスピーカとマイクロホンとの音響結合によって形成される帰還経路のインパルス応答をＦＩＲ型フィルタからなる適応フィルタにより適応的に同定してマイクロホンで集音した残響音声信号から帰還経路のエコー成分を推定する第１のステップと、第１のステップにおいて適応フィルタで推定されたエコー成分を帰還経路の出力信号より減算する第２のステップと、第２のステップにおける減算結果に含まれたエコー成分推定値の推定誤差が最小となるように適応フィルタのフィルタ係数を更新する第３のステップと、第３のステップにおいてエコー成分推定値の推定誤差が最小となったときのフィルタ係数を残響空間のインパルス応答に代用し該フィルタ係数から残響空間の伝達関数を求める第４のステップと、第４のステップで求めた残響空間の伝達関数とマイクロホンで集音した残響音声信号との演算から元の音声信号を求める第５のステップとを有し、第３のステップにおいて、最小自乗平均アルゴリズムにより適応フィルタのフィルタ係数を更新するとともに、残響音声信号に音声が含まれているか否かを判定し、音声が含まれている場合にだけ適応フィルタのフィルタ係数を更新し、さらに、スピーカから出力する音声信号の瞬時パワーに対する残響音声信号の瞬時パワー比が所定のしきい値よりも大きい場合に適応フィルタにおけるステップゲインを相対的に小さい値に設定するとともに、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれているか否かを判定し、双方に音声が含まれている場合には適応フィルタのフィルタ係数を更新しないことを特徴とする残響除去方法。
第４のステップにおいて、フィルタ係数をフーリエ変換することにより周波数領域における伝達関数を求め、第５のステップにおいては残響音声信号をフーリエ変換するとともに第４のステップで求めた周波数領域の伝達関数の大きさで除算した後に逆フーリエ変換することを特徴とする請求項１記載の残響除去方法。
第３のステップにおいて、フィルタ係数が発散した場合にフィルタ係数を初期化することを特徴とする請求項１記載の残響除去方法。
第３のステップにおいて、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれている場合であっても帰還経路が変動したときにはフィルタ係数の更新を継続することを特徴とする請求項１記載の残響除去方法。
第５のステップにおいて、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれているか否かを判定し、マイクロホンで集音された信号とスピーカから出力される信号の少なくとも何れか一方に音声が含まれておらず、且つエコー成分推定値の推定誤差が所定のしきい値より小さい場合に残響音声信号をゼロとすることを特徴とする請求項１又は２記載の残響除去方法。
残響空間においてマイクロホンで集音する残響音声信号から残響成分を除去して元の音源信号を復元する残響除去装置であって、ＦＩＲ型フィルタからなり、残響空間に存在するスピーカとマイクロホンとの音響結合によって形成される帰還経路のインパルス応答を適応的に同定してマイクロホンで集音した残響音声信号から帰還経路のエコー成分を推定する適応フィルタと、適応フィルタで推定されたエコー成分を帰還経路の出力信号より減算する減算手段と、減算手段による減算結果に含まれたエコー成分推定値の推定誤差が最小となるように適応フィルタのフィルタ係数を更新するフィルタ係数更新手段と、フィルタ係数更新手段においてエコー成分推定値の推定誤差が最小となったときのフィルタ係数を残響空間のインパルス応答に代用し該フィルタ係数から残響空間の伝達関数を求める伝達関数演算手段と、伝達関数演算手段で求めた残響空間の伝達関数とマイクロホンで集音した残響音声信号との演算から元の音声信号を求める残響演算手段とを備え、フィルタ係数更新手段は、最小自乗平均アルゴリズムにより適応フィルタのフィルタ係数を更新し、さらに残響音声信号に音声が含まれているか否かを判定し、音声が含まれている場合にだけ適応フィルタのフィルタ係数を更新する有音／無音判定部と、スピーカから出力する音声信号の瞬時パワーに対する残響音声信号の瞬時パワー比が所定のしきい値よりも大きい場合に適応フィルタにおけるステップゲインを相対的に小さい値に設定するステップゲイン切替部と、マイクロホンで集音された信号とスピーカから出力される信号の双方に音声が含まれているか否かを判定する判定部とを具備し、判定部によって双方に音声が含まれている場合には適応フィルタのフィルタ係数を更新しないことを特徴とする残響除去装置。
伝達関数演算手段は、フィルタ係数をフーリエ変換することにより周波数領域における伝達関数を求め、残響演算手段は、残響音声信号をフーリエ変換するとともに該残響信号を周波数領域の伝達関数の大きさで除算した後に逆フーリエ変換することを特徴とする請求項６記載の残響除去装置。
フィルタ係数更新手段は、フィルタ係数の発散を検出するとともに発散検出時にフィルタ係数を初期化する発散検出部を具備することを特徴とする請求項６記載の残響除去装置。
フィルタ係数更新手段は、帰還経路の変動を検出する帰還経路変動検出部を具備し、判定部によって双方に音声が含まれていると判定された場合であっても帰還経路変動検出手段が帰還経路の変動を検出したときにはフィルタ係数の更新を継続することを特徴とする請求項６記載の残響除去装置。
減算手段の出力信号とスピーカから出力される信号に音声が含まれているか否かを検出するとともにエコー成分推定値の推定誤差を所定のしきい値と比較し、少なくとも何れか一方の信号に音声が含まれておらず、且つ推定誤差がしきい値より小さい場合に残響音声信号に非線形のエコー成分が含まれていると判断して当該残響音声信号をゼロとする非線形エコー抑圧手段を備えたことを特徴とする請求項６又は７記載の残響除去装置。