JP2015070321A - 音声処理装置、音声処理方法、及び音声処理プログラム - Google Patents

Abstract

【課題】音源の向きが変化した場合であっても、音声認識精度を向上する残響抑圧を実現できる音声処理装置、音声処理方法、及び音声処理プログラムを提供することを目的としている。
【解決手段】音声処理装置は、音響信号を収録する収音部と、収音部が収録した音響信号の音源の向きを推定する音源向き推定部と、収音部が収録した音響信号に対して作用させる残響抑圧フィルタを算出する残響抑圧フィルタ算出部と、残響抑圧フィルタ算出部によって算出された残響抑圧フィルタを音響信号に作用させる抑圧処理部と、を備え、残響抑圧フィルタ算出部は、音源向き推定部によって推定された前記音源の向きに基づいて作用させる前記残響抑圧フィルタを算出する。
【選択図】図３

Description

本発明は、音声処理装置、音声処理方法、及び音声処理プログラムに関する。

室内で放射された音は、壁面や設置物で反射が繰り返されることによって残響が生じる。残響が付加されると周波数特性が原音声から変化するため、音声認識を行う音声認識装置では、音声認識率が低下することがある。また、音声認識装置では、過去に発された音声が現在発されている音声に重畳するため明瞭度が低下することがある。そこで、残響環境下で収録した音声から残響成分を抑圧する残響抑圧技術が従来から開発されている。

例えば、特許文献１には、逆フィルタ処理部で適応的に同定した帰還経路のインパルス応答を用いて残響空間の伝達関数を求め、残響音声信号を伝達関数の大きさで除算することにより音源信号を復元する残響除去方法について記載されている。特許文献１に記載の残響除去方法では、残響特性を示すインパルスレスポンスを推定するが、残響時間は０．２〜２．０秒と比較的長いため、演算量が過大になり処理遅延が著しくなる。そのため、音声認識等への応用が広がらなかった。

また、非特許文献１には、予め残響時間が異なる残響環境下で学習しておいた音響モデルを複数個準備しておき、音声が収録された環境において最も尤度が高くなる音響モデルを検索する方法が記載されている。残響時間とは、最大値を基準とした残響の強度が所定の強度に減衰するまでの時間である。特許文献１に記載の技術では、検索した音響モデルを用いて音声認識が行われる。

特許第４３９６４４９号公報

Ｈ−Ｇ．Ｈｉｒｓｃｈ，Ｈａｒａｌｄ Ｆｉｎｓｔｅｒ，Ａ Ｎｅｗ Ａｐｐｒｏａｃｈ ｆｏｒ ｔｈｅ Ａｄａｐｔａｔｉｏｎ ｏｆ ＨＭＭｓ ｔｏ Ｒｅｖｅｂｅｒａｔｉｏｎ ａｎｄ Ｂａｃｋｇｒａｏｕｎｄ Ｎｏｉｓｅ，Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｅｌｓｅｖｉｅｒ，２００８，２４４−２６３

しかしながら、特許文献１に記載の技術では、音声認識を行う装置に対して、発話者の向きが変化した場合が考慮されていないため、発話者の向きが変化した場合に残響抑圧性能が低下して音声認識精度が低下するという課題があった。

本発明は、上記の問題点に鑑みてなされたものであって、音源の向きが変化した場合であっても、音声認識精度を向上する残響抑圧を実現できる音声処理装置、音声処理方法、及び音声処理プログラムを提供することを目的としている。

（１）上記目的を達成するため、本発明の一態様に係る音声処理装置は、音響信号を収録する収音部と、前記収音部が収録した前記音響信号の音源の向きを推定する音源向き推定部と、前記収音部が収録した前記音響信号に対して作用させる残響抑圧フィルタを算出する残響抑圧フィルタ算出部と、前記残響抑圧フィルタ算出部によって算出された前記残響抑圧フィルタを前記音響信号に作用させる抑圧処理部と、を備え、前記残響抑圧フィルタ算出部は、前記音源向き推定部によって推定された前記音源の向きに基づいて作用させる前記残響抑圧フィルタを算出することを特徴としている。

（２）本発明に係るその他の様態は、前記残響抑圧フィルタ算出部が、前記音響信号の後期反射成分と前記音源の方位毎の前記後期反射成分の応答とを用いて生成された拡張フィルタを用いて、前記残響抑圧フィルタを生成することを特徴とする（１）の音声処理装置である。

（３）本発明に係るその他の様態は、前記音源向き推定部が、前記収音部が収録した１つの前記音響信号の特徴ベクトルと音源の向き毎の確率モデルを用いて前記音源向きを推定することを特徴とする（１）または（２）の音声処理装置である。

（４）本発明に係るその他の様態は、前記収音部が収録した複数の前記音響信号から残響信号と後期反射成分とを分離する音源分離部、を備え、前記残響抑圧フィルタ算出部が、記音源分離部によって分離された後期反射成分と前記音源の方位毎の前記後期反射成分の応答とを用いて生成された拡張フィルタを用いて、前記残響抑圧フィルタを生成することを特徴とする（１）から（３）のいずれかの音声処理装置である。

（５）本発明に係るその他の様態は、前記抑圧処理部が、前記残響抑圧フィルタ算出部によって算出された前記残響抑圧フィルタを前記残響信号に作用させることで、前記音源分離部によって分離された残響信号から前記後期反射成分を抑圧することを特徴とする（４）の音声処理装置である。

（６）本発明に係るその他の様態は、第１の室内伝達関数に基づいて、前記収音部が収録した複数の前記音響信号の第１の特徴ベクトルを算出する第１の音響信号処理部と、第２の室内伝達関数に基づいて、前記収音部が収録した複数の前記音響信号の第２の特徴ベクトルを算出する第２の音響信号処理部と、を備え、前記音源分離部は、前記第１の音響信号処理部によって算出された前記第１の特徴ベクトルに基づいて、残響音信号を分離する第１の音源分離部と、前記第２の音響信号処理部によって算出された前記第２の特徴ベクトルに基づいて、前記後期反射成分を分離する第２の音源分離部と、を備え、前記抑圧処理部は、前記残響抑圧フィルタ算出部によって算出された前記残響抑圧フィルタを前記残響信号に作用させることで、前記第１の音源分離部によって分離された残響音信号から、前記第２の音源分離部によって分離された前記後期反射成分を抑圧することを特徴とする（４）または（５）の音声処理装置である。

（７）本発明に係るその他の様態は、前記音源向き推定部が、撮像部によって撮像された画像、または前記音源の近傍に取り付けられている方位検出器の検出結果の少なくとも一方に基づいて前記音源の向きを推定することを特徴とする（１）から（６）のいずれかの音声処理装置である。

（８）本発明のその他の態様は、収音部が、音響信号を収録する収音手順と、音源向き推定部が、前記収音手順によって収録された前記音響信号の音源の向きを推定する音源向き推定手順と、残響抑圧フィルタ算出部が、前記収音手順によって収録された前記音響信号に対して作用させる残響抑圧フィルタを、前記音源向き推定手順によって推定された前記音源の向きに基づいて前記残響抑圧フィルタを算出する残響抑圧フィルタ算出手順と、抑圧処理部が、前記残響抑圧フィルタ算出手順によって算出された前記残響抑圧フィルタを前記音響信号に作用させる抑圧処理手順と、を含むことを特徴とする音声処理方法である。

（９）本発明に係るその他の様態は、音響処理装置のコンピュータに、音響信号を収録する収音手順と、前記収音手順によって収録された前記音響信号の音源の向きを推定する音源向き推定手順と、前記収音手順によって収録された前記音響信号に対して作用させる残響抑圧フィルタを、前記音源向き推定手順によって推定された前記音源の向きに基づいて前記残響抑圧フィルタを算出する残響抑圧フィルタ算出手順と、前記残響抑圧フィルタ算出手順によって算出された前記残響抑圧フィルタを前記音響信号に作用させる抑圧処理手順と、を実行させる音声処理プログラムである。

上述した（１）、（８）又は（９）の構成によれば、音響信号を発した音源の向きに応じて算出された残響抑圧フィルタを前記音響信号に作用させることで残響抑圧が行えるので、音源の向きが変化した場合であっても、音声認識精度を向上する残響抑圧を実現できる。
上述した（２）の構成によれば、拡張フィルタを用いて前記残響抑圧フィルタを生成するため、少ない演算量で残響抑圧を行うことができる。
上述した（３）の構成によれば、収音部が収録した１つの音響信号を用いて音源の向きを推定できるので、少ない演算量で音源の向きを推定できる。

上述した（４）の構成によれば、収音部が収録した複数の音響信号を用いて音源の向きを推定し、推定した音源の向きに応じて算出された残響抑圧フィルタを前記音響信号に作用させることで残響抑圧が行えるので、音声認識精度を向上する残響抑圧を実現できる。
上述した（５）の構成によれば、残響抑圧フィルタによって後期反射成分を抑圧できるので、少ない演算量で残響抑圧を行うことができる。
上述した（６）の構成によれば、第１の音源分離部によって分離された残響音信号から、第２の音源分離部によって分離された後期反射成分を抑圧できるので、少ない演算量で残響抑圧を行うことができる。
上述した（７）の構成によれば、撮像された画像、または方位検出器の検出結果に応じて音源の向きを推定できるので、少ない演算量で音源の向きを推定できる。

第１実施形態に係る音声処理システムの配置例を示す平面図である。 第１実施形態に係る音声処理装置の構成を示すブロック図である。 第１実施形態に係る音源分離部と抑圧部の構成を示すブロック図である。 第１実施形態に係る音声処理を示すフローチャートである。 第１実施形態に係る実験を行った環境を説明する図である。 第１設定の部屋の主成分分析結果を説明する図である。 第２設定の部屋の主成分分析結果を説明する図である。 第３設定の部屋の主成分分析結果を説明する図である。 第４設定の部屋の主成分分析結果を説明する図である。 発話者の向き推定の有効性を説明する図である。 第１実施形態の音声処理装置を用いて実験室Ａで音声認識処理を行ったときの結果を説明する図である。 第１実施形態の音声処理装置を用いて実験室Ｂで音声認識処理を行ったときの結果を説明する図である。 実験室Ａにおける図１１及び図１２に示した手法Ａ、Ｂ、Ｅ、Ｆ、及びＧによる単語認識率を説明する図である。 実験室Ｂにおける図１１及び図１２に示した手法Ａ、Ｂ、Ｅ、Ｆ、及びＧによる単語認識率を説明する図である。 第２実施形態に係る抑圧部の構成を説明するブロック図である。

まず、本発明の概要を説明する。
本発明の音声処理装置は、収録した音響信号を残響音信号と後期反射音信号とに分離する。また、本発明の音声処理装置は、後期反射音信号に基づいて装置に対する発話者（音源）の向きを推定し、推定した音源の向きに基づいて音響信号に作用させる残響抑圧フィルタを算出する。そして、本発明の音声処理装置は、分離された後期反射音信号を残響抑圧フィルタによって補正する。さらに、本発明の音声処理装置は、補正後の後期反射音信号に基づいて、残響音信号に対して抑圧処理を行う。この結果、本発明の音声処理装置は、音源の向きが変化した場合であっても、音声認識精度を向上する残響抑圧を実現できる。
なお、音源は指向性のあるスピーカ等であってもよい。

［第１実施形態］
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る音声処理システム１の配置例を示す平面図である。図１に示すように、音声処理システム１は、音声処理装置１１及び収音部１２を備えている。
この配置例では、残響環境として部屋Ｒｍにおいて発話者Ｓｐが収音部１２の中心部から距離ｄだけ離れた位置に所在していることを示す。また、収音部１２に対する発話者Ｓｐ（音源）の向き（ａｚｉｍｕｔｈ）を、例えば反時計回りにθ_１、・・・、θ_ｇ、・・・、θ_Ｇとする。部屋Ｒｍは、到来した音波を反射する内壁を有する。収音部１２は、音源として発話者Ｓｐから直接到来した音声ｌ（ω）と、内壁を反射した音声ｅ（ω）を収録する。なお、ωは、周波数である。
また、発話者Ｓｐ（音源）の向きは、水平面上の方位角に限られず、垂直方向の方位角も含む。垂直方向の方位角は、例えば、部屋Ｒｍの天井方向（上方向）、床方向（下方向）などである。

音源から直接到来した音声、反射した音声を、それぞれ直接音（ｄｉｒｅｃｔ ｓｏｕｎｄ）、反射音（ｒｅｆｌｅｃｔｉｏｎ）と呼ぶ。反射音のうち、直接音が発されてからの経過時間が所定の時間よりも比較的短く（例えば、約３０ｍｓ以下）、反射回数が比較的少なくそれぞれの反射パターンが区別される部分は、初期反射（ｅａｒｌｙ ｒｅｆｌｅｃｔｉｏｎ）と呼ばれる。反射音のうち、それよりも経過時間が長く、反射回数が多くそれぞれの反射パターンを区別できない部分は、後期反射（ｌａｔｅ ｒｅｆｌｅｃｔｉｏｎ）、後期残響（ｌａｔｅ ｒｅｖｅｒｂｅｒａｔｉｏｎ）又は単に残響（ｒｅｖｅｒｂｅｒａｔｉｏｎ）と呼ばれる。初期反射と後期反射とを区分する時間は、部屋Ｒｍの大きさによっても異なるが、音声認識においては処理単位となるフレーム長がその時間に相当する。前フレームで処理した直接音及び初期反射に係る後期反射が、現フレームの処理に影響することによる。

図１において、発話者Ｓｐが収音部１２に対して正面を向いている（θ_ｇ）場合、収音部１２には、発話者Ｓｐが発した音声信号が直接音の音声ｌ（ω）として届く。一方、発話者Ｓｐが収音部１２に対して左を向いている（θ_Ｇ）場合、収音部１２には、発話者Ｓｐが発した音声信号が左の内壁に反射した音声ｅ（ω）が届く。
残響が付加されると周波数特性が原音声から変化するため、音声認識を行う音声認識装置では、音声認識率が低下することがある。また、音声認識装置では、過去に発された音声が現在発されている音声に重畳するため明瞭度が低下することがある。このため、本実施形態では、後期反射信号を抑圧することで、音声認識率を向上できる。

一般に、音源が収音部１２に近接する（距離ｄが小さい）ほど、音源からの直接音が主となり相対的に残響の割合が少なくなる。以下の説明では、収音部１２で収録される音声のうち、残響成分を含まない又は無視できるほど少ない音声をクリーン音声（ｃｌｅａｎ ｓｐｅｅｃｈ）と呼ぶ。

収音部１２は、１個又は複数（Ｎ個、Ｎは０よりも大きい整数）のチャネルの音響信号を収録し、収録したＮチャネルの音響信号を音声処理装置１１に送信する。収音部１２には、Ｎ個のマイクロホンが、例えばそれぞれ異なる位置に配置されている。収音部１２は、例えば周波数帯域（例えば２００Ｈｚ〜４ｋＨｚ）の音波を受信するマイクロホンである。収音部１２は、収録したＮチャネルの音響信号を無線で送信してもよいし、有線で送信してもよい。Ｎが１よりも大きい場合には、送信の際にチャネル間で音響信号が同期していればよい。収音部１２の位置は、固定されていてもよいし、車両、航空機、ロボット等の移動体に設置され、移動が可能であってもよい。

音声処理装置１１は、発話者Ｓｐの向きに応じた室内伝達関数（ＲＴＦ；Ｒｏｏｍ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）Ａ（ω）を記憶する。音声処理装置１１は、記憶した室内伝達関数に基づいて、収録した音声を残響音信号（Ｆｕｌｌ Ｒｅｖｅｒｂｅｒａｎｔ ｓｉｇｎａｌ）と後期反射音信号（Ｌａｔｅ ｒｅｆｌｅｃｔｉｏｎ ｓｉｇｎａｌ）とに分離する。音声処理装置１１は、分離した後期反射音信号に基づいて、発話者Ｓｐの向きを推定する。音声処理装置１１は、推定した発話者Ｓｐの向きと、分離した後期反射音信号とに基づいて、雑音抑圧フィルタの特性を算出する。音声処理装置１１は、算出した雑音抑圧フィルタの特性に基づいて、分離された残響音信号に対して残響抑圧を行う残響抑圧処理を行う。そして、音声処理装置１１は、残響抑圧処理を行った後の音声信号に対して音声認識処理を行う。

次に、本実施形態に係る音声処理装置１１の構成について説明する。
図２は、本実施形態に係る音声処理装置１１の構成を示すブロック図である。図２に示すように、音声処理装置１１は、音源分離部１０１、抑圧部１０２、音声認識部１０３、及び記憶部１０４を備えている。

記憶部１０４には、室内伝達関数（第１の室内伝達関数）Ａ（ω）と室内伝達関数第２の室内伝達関数）Ａ^Ｌ（ω）とが記憶されている。なお、上付き文字Ｌは、後期反射に関する信号、情報を表す。
音源分離部１０１は、収音部１２が送信したＮチャネルの音響信号を取得し、記憶部１０４に記憶されている室内伝達関数Ａ（ω）に基づいて、取得したＮチャネルの音響信号を残響音信号ｓ（ω）と後期反射音信号（後期反射音成分）ｓ^Ｌ（ω）とに分離する。音源分離部１０１は、分離した残響音信号ｓ（ω）と後期反射音信号ｓ^Ｌ（ω）と抑圧部１０２に出力する。なお、音源分離部１０１の構成については後述する。

抑圧部１０２は、音源分離部１０１から入力された後期反射音信号ｓ^Ｌ（ω）に基づいて、発話者Ｓｐの向きを推定する。抑圧部１０２は、推定した発話者Ｓｐの向きと、入力された後期反射音信号ｓ^Ｌ（ω）とに基づいて、雑音抑圧フィルタの特性を算出する。抑圧部１０２は、算出した雑音抑圧フィルタの特性に基づいて、入力された残響音信号ｓ（ω）に対して残響抑圧を行う残響抑圧処理を行う。抑圧部１０２は、残響抑圧処理が行われた音響信号の推定値（以下、残響抑圧後音響信号という）ｅ_θ＾（ω）を音声認識部１０３に出力する。なお、θ＾は、推定された発話者Ｓｐの推定された向きの角度である。

音声認識部１０３は、抑圧部１０２から入力された残響抑圧後音響信号ｅ_θ＾（ω）に対して音声認識処理を行って発話内容（例えば、単語、文を示すテキスト）を認識し、認識した発話内容を示す認識データを外部に出力する。音声認識部１０３は例えば、音響モデルである隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）と単語辞書を備える。
ここで、音声認識部１０３は、残響抑圧後音響信号について予め定めた時間間隔（例えば、１０ｍｓ）毎に音響特徴量を算出する。音響特徴量は、例えば、３４次のメル周波数ケプストラム（ＭＦＣＣ；Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、静的メル尺度対数スペクトル（ｓｔａｔｉｃ ＭＳＬＳ：Ｍｅｌ−Ｓｃａｌｅ Ｌｏｇ Ｓｐｅｃｔｒｕｍ）、デルタＭＳＬＳ及び１個のデルタパワーの組である特性ベクトル（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）、静的メル尺度対数スペクトル（ＭＳＬＳ：Ｍｅｌ−Ｓｃａｌｅ Ｌｏｇ Ｓｐｅｃｔｒｕｍ）、デルタＭＳＬＳ及び１個のデルタパワーの組等である。音声認識部１０３は、算出した音響特徴量から音響モデルを用いて音韻を定め、定めた音韻で構成される音韻列から単語辞書を用いて単語を認識する。

次に、音源分離部１０１と抑圧部１０２について、図３を用いて説明する。図３は、本実施形態に係る音源分離部１０１と抑圧部１０２の構成を示すブロック図である。
まず、音源分離部１０１について説明する。図３に示すように、音源分離部１０１は、音響信号処理部１０１１、音響信号処理部１０１２、音源分離処理部１０１３、及び音源分離処理部１０１４を備えている。

音響信号処理部１０１１は、収音部１２の複数のマイクロホンが収録した音響信号ｕ（ω）が入力される。なお、ｕ（ω）は、音源がＫ個ある場合のベクトル［ｕ_１（ω）、・・・、ｕ_Ｍ（ω）］^Ｔである。そして、M個のマイクロホンで観察された信号を含むベクトルｘ（ω）は、次式（１）のように表される。

記憶部１０４に記憶されている室内伝達関数Ａ（ω）が集合Ｃ^Ｍ×ＫのＫ×Ｍ次元であるとすると、音響信号処理部１０１１は、式（１）に基づいて、ベクトルｘ（ω）を次式（２）のように演算する。なお、集合Ｃは、Ｍ個のマイクロホン、Ｋ個の音源の組み合わせによる集合を表している。音響信号処理部１０１１は、算出したベクトルｘ（ω）を音源分離処理部１０１３に出力する。なお、Ａ（ω）は、例えば予め測定や実験によって求めた初期反射の室内伝達関数である。また、Ａ（ω）は、毎回測定するようにしてもよい。

同様に記憶部１０４に記憶されている室内伝達関数Ａ^Ｌ（ω）を用いて、音響信号処理部１０１２は、ベクトルｘ^Ｌ（ω）を次式（３）のように演算する。音響信号処理部１０１２は、算出したベクトルｘ^Ｌ（ω）を音源分離処理部１０１４に出力する。なお、Ａ^Ｌ（ω）は、例えば予め測定や実験によって求めた後期反射の室内伝達関数である。また、Ａ^Ｌ（ω）は、毎回測定するようにしてもよい。

音源分離処理部１０１３は、音響信号処理部１０１１から入力されたベクトルｘ（ω）に対して音源分離処理を行い１個又は複数の音源の音響信号に分離する。音源分離処理部１０１３は、分離した残響音信号ｓ（ω）を抑圧部１０２に出力する。なお、残響音信号ｓ（ω）は、残響信号ｒ（ω）とほぼ等しい。なお、残響信号ｒ（ω）は、初期反射信号ｅ（ω）と後期反射信号ｌ（ω）とにより、次式（４）のように表される。

音源分離処理部１０１３は、音源分離処理として、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ−ｃｏｎｓｔｒａｉｎｅｄ Ｈｉｇｈｏｒｄｅｒ Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ）法を用いて、次式（５）のように残響音信号ｓ（ω）を算出する。

音源分離処理部１０１４は、音響信号処理部１０１２から入力されたベクトルｘ^Ｌ（ω）に対して音源分離処理を行い１個又は複数の音源の音響信号に分離する。音源分離処理部１０１４は、分離した後期反射音信号ｓ^Ｌ（ω）を抑圧部１０２に出力する。音源分離処理部１０１４は、音源分離処理として、例えば、ＧＨＤＳＳ法を用いて、次式（６）のように後期反射音信号ｓ^Ｌ（ω）を算出する。

なお、音源分離処理部１０１３及び音源分離処理部１０１４は、ＧＨＤＳＳ法に代えて、例えば、音源方向を推定し、指定した音源方向に感度が最も高くなるように指向性を制御する適応ビームフォーミング法（ａｄａｐｔｉｖｅ ｂｅａｍｆｏｒｍｉｎｇ）を用いてもよい。また、音源方向を推定する際、音源分離処理部１０１３及び音源分離処理部１０１４は、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ Ｓｉｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法を用いてもよい。

ここで、 次に、ＧＨＤＳＳ法について説明する。
ＧＨＤＳＳ法は、収録された多チャネルの音響信号を音源毎の音響信号に分離する一つの方法である。この方法では、分離行列（ｓｅｐａｒａｔｉｏｎ ｍａｔｒｉｘ）［Ｖ（ω）］（残響音信号ｓ（ω）または後期反射音信号ｓ^Ｌ（ω））が逐次に算出され、入力音声ベクトル［ｘ（ω）］に分離行列［Ｖ（ω）］を乗算して音源ベクトル［ｕ（ω）］が推定される。分離行列［Ｖ（ω）］は、各音源から収音部１２の各マイクロホンまでの伝達関数を要素とする伝達関数行列［Ｈ（ω）］の擬似逆行列（ｐｓｅｕｄｏ−ｉｎｖｅｒｓｅ ｍａｔｒｉｘ）である。入力音声ベクトル［ｘ（ω）］は、各チャネルの音響信号の周波数領域係数を要素とするベクトルである。音源ベクトル［ｕ（ω）］は、各音源が発する音響信号の周波数領域係数を要素とするベクトルである。

音源分離処理部１０１３及び音源分離処理部１０１４は、分離行列［Ｖ（ω）］を算出する際、分離尖鋭度（ｓｅｐａｒａｔｉｏｎ ｓｈａｒｐｎｅｓｓ）ＪＳＳ、幾何制約度（ｇｅｏｍｅｔｒｉｃ ｃｏｎｓｔｒａｉｎｔｓ）ＪＧＣといった２つのコスト関数をそれぞれ最小化するように音源ベクトル［ｕ（ω）］を算出する。

分離尖鋭度ＪＳＳは、１つの音源が他の音源として誤って分離される度合いを表す指標値であり、例えば、式（７）で表される。

式（７）において、||…||^２は、…のフロベニウスノルム（Ｆｒｏｂｅｎｉｕｓ ｎｏｒｍ）を示す。＊は、ベクトル又は行列の共役転置（ｃｏｎｊｕｇａｔｅ ｔｒａｎｓｐｏｓｅ）を示す。ｄｉａｇ（…）は、…の対角要素からなる対角行列（ｄｉａｇｏｎａｌ ｍａｔｒｉｘ）を示す。
また、幾何制約度ＪＧＣ（ω）は、音源ベクトル［ｕ（ω）］の誤差の度合いを表す指標値であり、例えば、式（８）で表される。

なお、式（８）において、［Ｉ］は、単位行列（ｕｎｉｔ ｍａｔｒｉｘ）を示す。

次に、抑圧部１０２について説明する。図３に示すように、抑圧部１０２は、ベクトルパラメータ推定部１０２１、向き推定部（音源向き推定部）１０２２、残響抑圧フィルタ算出部１０２３、及び残響抑圧部（抑圧処理部）１０２４を備えている。

音源分離処理部１０１４から入力された後期反射音信号ｓ^Ｌ（ω）には、時間領域で冗長な情報を含んでいる。このため、ベクトルパラメータ推定部１０２１は、後期反射音信号ｓ^Ｌ（ω）の特徴量ベクトルｆ^Ｌを、次式（９）によって推定し、推定した特徴量ベクトルｆ^Ｌを向き推定部１０２２に出力する。

式（９）において、Ｆは、特徴量ベクトルｆ^Ｌを得る特徴抽出手順を示している。なお、特徴量ベクトルとは、例えば１２次のメル周波数ケプストラム（ＭＦＣＣ；Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、１２次のデルタＭＦＣＣ、１次のデルタＥｎｅｒｇｙである。

向き推定部１０２２は、ベクトルパラメータ推定部１０２１から入力された特徴量ベクトルｆ^Ｌを、次式（１０）の尤度に基づいて評価することで、発話者Ｓｐの向きθの推定値θ＾を推定する。

式（１０）において、ａｒｇ ｍａｘ ｐ（…）は、…を最大とするｐを与える関数である。また、μθ_ｇは、向きの集合｛θ_１、・・・、θ_ｇ、・・・、θ_Ｇ｝の確立モデルである。向き推定部１０２２は、算出した値が最も大きくなるθ_ｇは、残響抑圧フィルタ算出部１０２３において、適切なイコライザの拡張フィルタＨ_θ＾を選択するために用いる。
式（１０）において、確率モデルμθ_ｇは、例えば予め学習を行う。確率モデルμθ_ｇの学習において、後期反射音信号ｓ^Ｌ（ω）は、式（３）及び式（６）より、次式（１１）のように表される。

そして、向きθにおける特徴量ベクトルｆ^Ｌ _θは、パラメータ化されるイコライザの拡張フィルタＨ_θによって、次式（１２）のように表される。

なお、発話者Ｓｐ（音源）の向きθ毎の複数の拡張フィルタＨ_θは、例えば予め実験や計測によって、向き推定部１０２２に記憶されている。
向き推定部１０２２は、式（１２）の拡張フィルタＨ_θを記憶されている拡張フィルタＨ_θから選択し、選択した拡張フィルタＨ_θを推定値Ｈ_θ＾として残響抑圧フィルタ算出部１０２３に出力する。
また、式（１０）における確率モデルμθ_ｇは、向きの集合｛θ_１、・・・、θ_ｇ、・・・、θ_Ｇ｝を用いて次式（１３）によって学習する。この処理は、オフラインで行われる。

式（１３）において、μは、未知のモデルパラメータである。また、ｆ_θｉは、ｉ番目の後期反射のトレーニングベクトルであり、トレーニングベクトルは、拡張フィルタＨ_θによってイコライザされたものである。

残響抑圧フィルタ算出部１０２３は、音源分離処理部１０１４から入力された後期反射音信号ｓ^Ｌ（ω）を、向き推定部１０２２から入力された拡張フィルタの推定値Ｈ_θ＾に応じたイコライザ特性によって補正する。残響抑圧フィルタ算出部１０２３は、補正後の後期反射音信号ｓ^Ｌ _θを残響抑圧部１０２４に出力する。

ここで、理論的には、室内伝達関数Ａ（ω）は、発話者Ｓｐの向きθ毎に必要である。この理由は、発話者Ｓｐの向きθが変化する毎に、部屋Ｒｍの残響特性が変化するためである。特に、発話者Ｓｐの向きθの変化によって、後期反射音信号ｓ^Ｌ（ω）が変化することが実験によって確認された。しかしながら、Ｍ個のマイクロホンにおける発話者Ｓｐの向きθ毎の室内伝達特性を測定することは困難である。このため、本実施形態では、音源分離部１０１によってマルチチャネルから分離された後期反射音信号ｓ^Ｌ（ω）を用いることで、等価的に演算を行う。これにより、本実施形態では、フィルタリングされた１チャネルの音響信号において、マルチチャネルの室内伝達関数における発話者Ｓｐの向きθの影響を単純化することができる。

すなわち、残響抑圧フィルタ算出部１０２３は、イコライザされた後期反射音信号ｓ^Ｌ _θ（ω）を、次式（１４）のように算出する。

式（１４）において、後期反射音信号ｓ^Ｌ（ω）は、拡張フィルタＨ_θによってイコライザされる間、一般的な室内伝達関数を使用した分離された後期反射である。
なお、拡張フィルタＨ_θは、例えば、実際の発話者Ｓｐの向きθに応じて、後期反射音信号ｓ^Ｌ（ω）を実測することで求めたフィルタ特性である。
ここで、ｓ^Ｌ _Ａθ（ω）は、マルチチャネルの室内伝達関数Ａ_θ（ω）に従う事実上の後期反射音信号である。このようなフィルタの設計は、例えば、非特許文献１及び２に基づく対数関数の頻度格子（ｇｒｉｄ）の上で、ポールポジション法（ｐｏｌｅ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅｔｈｏｄ）によって行われる。

非特許文献１；Ｂｏｄｙ Ｍｏｄｅｌｉｎｇ”， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ
Ｃｏｎｆｅｒｅｎｃｅ， ２００７．
非特許文献２；Ｊ． Ｌａｒｏｃｈｅ ａｎｄ Ｊ−Ｌ． Ｍｅｉｌｌｉｅｒ， ”Ｍｕｌｔｉｃｈａｎｎｅｌ Ｅｘｃｉｔａｔｉｏｎ／Ｆｉｌｔｅｒ Ｍｏｄｅｌｉｎｇ
ｏｆ Ｐｅｒｃｕｓｓｉｖｅ Ｓｏｕｎｄｓ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｈｅ Ｐｉａｎｏ” Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ
ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ， １９９４．

残響抑圧フィルタ算出部１０２３は、まず、目標応答（ｔａｒｇｅｔ ｒｅｓｐｏｎｓｅ）を後期反射音信号ｓ^Ｌ（ω）に設定する。すなわち、残響抑圧フィルタ算出部１０２３に入力される後期反射音信号ｓ^Ｌ（ω）を目標応答に設定する。
次に、残響抑圧フィルタ算出部１０２３は、｛θ_１、・・・、θ_ｇ、・・・、θ_Ｇ｝のための拡張フィルタＨ_θは、目標応答ｓ^L（ω）を達成するために室内伝達関数における極を適切に置くことによって求める。なお、残響抑圧フィルタ算出部１０２３は、目標応答ｓ^Ｌ（ω）の逆転現象を防ぐために、平均化の前処理を行うようにしてもよい。なお、残響抑圧フィルタ算出部１０２３には、例えば、発話者Ｓｐの向きθ毎に対応付けられている向きモデルを記憶させておく。向きモデルは、例えば、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ、混合ガウスモデル）である。ＧＭＭは、入力された音響特徴量に対する出力確率を複数（例えば、２５６個）の正規分布を基底として重みづけ加算して表す音響モデルの一種である。従って、向きモデルは、混合重み係数、平均値、共分散行列といった統計量で規定される。各向きθについてＧＭＭを学習させる際、各向きθにおいて残響特性が付加された学習用音声信号を用いて尤度が最大となるように、これらの統計量を予め定めておくようにしてもよい。なお、向きモデルとして、ＨＭＭを用いたり、またはＳＶＭ（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ；サポートベクターマシン）等の一般的な判別器を用いるようにしてもよい。
向き推定部１０２２によって拡張フィルタＨ_θ＾が推定された後、残響抑圧フィルタ算出部１０２３は、一致する室内関数Ａ（ω）を用いずに、式（１４）によって分離された後期反射音信号ｓ^Ｌ（ω）を補正する。

残響抑圧部１０２４には、音源分離処理部１０１３から残響音信号ｓ（ω）と、残響抑圧フィルタ算出部１０２３から補正された後期反射音信号ｓ^Ｌ _θ（ω）とが入力される。残響抑圧部１０２４では、図３で説明した１チャネルの残響モデルを用いる。残響抑圧部１０２４は、重み係数δ_ｐを１チャネルモデルの後期反射音信号ｓ^Ｌ（ω）の推定を修正するために用いる。そして、後期反射音信号ｓ^Ｌ（ω）の推定処理によって、残響音に対する重み係数δ_ｐは除かれる。残響抑圧部１０２４は、フレームｔにおける初期反射信号の周波数領域係数ｅ（ω、ｔ）を、次式（１５）を用いて算出する。

なお、式（１５）において、｜…｜は、…の絶対値である。
式（１５）において、｜ｓ（ω、ｔ）｜^２は、分離された反射音信号（ただし、｜ｓ（ω、ｔ）｜^２は｜ｒ（ω、ｔ）｜^２にほぼ等しい）のパワーである。また、｜ｓ^Ｌ（ω、ｔ）｜^２は、後期反射音信号ｓ^Ｌ（ω）のパワーである。残響抑圧部１０２４は、算出した初期反射信号の周波数領域係数ｅ（ω、ｔ）を時間領域に変換した残響抑圧後音響信号ｅ_θ＾（ω）を生成し、生成した残響抑圧後音響信号ｅ_θ＾（ω）を音声認識部１０３に出力する。

以上のように、本実施形態では、残響抑圧フィルタ算出部１０２３によるイコライジング処理と、残響抑圧部１０２４による重み係数δ_ｐの除去により、式（１５）のように初期反射信号の周波数領域係数ｅ（ω、ｔ）を算出することができる。

次に、本実施形態に係る音声処理について説明する。
図４は、本実施形態に係る音声処理を示すフローチャートである。
（ステップＳ１０１）音響信号処理部１０１１は、収音部１２から入力されたＮチャネルの音響信号について、記憶部１０４に記憶されている室内伝達関数Ａ（ω）を用いて、式（２）によりベクトルｘ（ω）を算出する。次に、音響信号処理部１０１１は、算出したベクトルｘ（ω）を音源分離処理部１０１３に出力する。音響信号処理部１０１１は、ステップＳ１０１終了後、処理をステップＳ１０２に進める。

（ステップＳ１０２）音響信号処理部１０１２は、収音部１２から入力されたＮチャネルの音響信号について、記憶部１０４に記憶されている室内伝達関数Ａ^Ｌ（ω）を用いて、式（３）によりベクトルｘ^Ｌ（ω）を算出する。次に、音響信号処理部１０１２は、算出したベクトルｘ^Ｌ（ω）を音源分離処理部１０１４に出力する。音響信号処理部１０１２は、ステップＳ１０２終了後、処理をステップＳ１０３に進める。なお、ステップＳ１０１とＳ１０２の実行順番は逆であってもよく、または同時に処理を行ってもよい。

（ステップＳ１０３）音源分離処理部１０１３は、音響信号処理部１０１１から入力されたベクトルｘ（ω）に対して例えばＧＨＤＳＳ法によって音源分離処理を行い、１個又は複数の音源の音響信号に分離し、分離した残響音信号ｓ（ω）を抑圧部１０２に出力する。音源分離処理部１０１３は、ステップＳ１０３終了後、処理をステップＳ１０４に進める。

（ステップＳ１０４）音源分離処理部１０１４は、音響信号処理部１０１２から入力されたベクトルｘ^Ｌ（ω）に対して例えばＧＨＤＳＳ法によって音源分離処理を行い、１個又は複数の音源の音響信号に分離し、分離した残響音信号ｓ^Ｌ（ω）を抑圧部１０２に出力する。音源分離処理部１０１４は、ステップＳ１０４終了後、処理をステップＳ１０５に進める。なお、ステップＳ１０３とＳ１０４の実行順番は逆であってもよく、または同時に処理を行ってもよい。

（ステップＳ１０５）ベクトルパラメータ推定部１０２１は、音源分離処理部１０１４から入力された後期反射音信号ｓ^Ｌ（ω）の特徴量ベクトルｆ^Ｌを、式（１２）によって推定し、推定した特徴量ベクトルｆ^Ｌを向き推定部１０２２に出力する。ベクトルパラメータ推定部１０２１は、ステップＳ１０５終了後、処理をステップＳ１０６に進める。

（ステップＳ１０６）向き推定部１０２２は、ベクトルパラメータ推定部１０２１から入力された特徴量ベクトルｆ^Ｌを、式（１０）の尤度に基づいて発話者Ｓｐの向きを推定する。次に、向き推定部１０２２は、式（１２）を用いてイコライザ特性Ｈ_θを推定し、推定した拡張フィルタＨ_θを残響抑圧フィルタ算出部１０２３に出力する。向き推定部１０２２は、ステップＳ１０６終了後、処理をステップＳ１０７に進める。

（ステップＳ１０７）残響抑圧フィルタ算出部１０２３は、音源分離処理部１０１４から入力された後期反射音信号ｓ^Ｌ（ω）を、向き推定部１０２２から入力された拡張フィルタの推定値Ｈ_θ＾に応じたイコライザ特性によって補正する。残響抑圧フィルタ算出部１０２３は、補正後の後期反射音信号ｓ^Ｌ _θを残響抑圧部１０２４に出力する。残響抑圧フィルタ算出部１０２３は、ステップＳ１０７終了後、処理をステップＳ１０８に進める。

（ステップＳ１０８）残響抑圧部１０２４は、音源分離処理部１０１３から入力された残響音信号ｓ（ω）と、残響抑圧フィルタ算出部１０２３から入力された補正された後期反射音信号ｓ^Ｌ _θ（ω）に基づいて、残響抑圧後音響信号ｅ_θ＾（ω）を推定する。残響抑圧部１０２４は、残響抑圧後音響信号ｅ_θ＾（ω）を音声認識部１０３に出力する。残響抑圧部１０２４は、ステップＳ１０８終了後、処理をステップＳ１０９に進める。

（ステップＳ１０９）音声認識部１０３は、音声認識部１０３は、抑圧部１０２から入力された残響抑圧後音響信号ｅ_θ＾（ω）に対して音声認識処理を行って発話内容（例えば、単語、文を示すテキスト）を認識し、認識した発話内容を示す認識データを外部に出力する。
以上で、音声処理を終了する。

（実験結果）
次に、本実施形態に係る音声処理装置１１を用いて音声認識精度を検証した実験結果について説明する。実験は、図５に示す環境で行った。図５は、本実施形態に係る実験を行った環境を説明する図である。図５に示すように、実験室の短手方向の幅が４．８ｍ、長手方向の幅が５．５ｍである。図５に示すように、収音部１２は、長手方向のほぼ中央、短手方向の紙面に向かって左端に配置されている。また、実験室の長手方向の両端には、ガラスの窓３０１がある。また、実験室の紙面に向かって右下に扉３０２がある。さらに実験室内には、ホワイトボート３０３、テーブル３０４、ソファ３０５、及び冷蔵庫３０６が配置されている。そして、異なる２つの残響音の実験室を実験に用いた。実験室Ａは、残響時間が２４０ｍｓであり、実験室Ｂは、残響時間が６４０ｍｓである。また、発話者Ｓｐの向きを、θ_１、・・、θ_ｇ、・・・、θ_Ｇとする。なお、向きθ_ｇのとき、発話者Ｓｐは、収音部１２に対して垂直な向きである。

まず、音声認識部１０３を、日本語新聞記事文（ＪＮＡＳ：Ｊａｐａｎｅｓｅ Ｎｅｗｓｐａｐｅｒ Ａｒｔｉｃｌｅ Ｓｅｎｔｅｎｃｅ）コーパス（ｃｏｒｐｕｓ）を用いて、２４人の発話者に２００回発話させて学習させた。用いた言語モデルは、連続ＨＭＭの一種である、計８２５６個の正規分布からなるＰＴＭ（Ｐｈｏｎｅｔｉｃａｌｌｙ Ｔｉｅｄ Ｍｉｘｔｕｒｅ、音素内タイドミクスチャ）ＨＭＭを用いた。

収音部１２と発話者Ｓｐとの距離が、０．５ｍ、１．０ｍ、１．５ｍ、２．０ｍ、及び２．５ｍで行い、この距離毎に発話者Ｓｐの向きが、θ_１＝３０°、θ_２＝１５°、θ_３＝０°、θ_４＝−１５°、及びθ_５＝−３０°について実験を行った。ここで、θ_３＝０°は、発話者Ｓｐの向きが、収音部１２に対して垂直な向きである。また、各々の位置で２００回ずつ行った。なお、各位置では、上述した５つの角度について実験を行った。また、同じ実験室において、これらの位置と向きについての室内伝達関数を測定し、記憶部１０４に記憶させておいた。

次に、第１設定の部屋〜第４設定の部屋について、図６〜図９を用いて説明する。図６〜図９は、発話者Ｓｐの向きθが３０°と−３０°のときの後期反射のベクトル推定の主成分分析結果を説明する図である。図６は、第１設定の部屋の主成分分析結果を説明する図である。図７は、第２設定の部屋の主成分分析結果を説明する図である。図８は、第３設定の部屋の主成分分析結果を説明する図である。図９は、第４設定の部屋の主成分分析結果を説明する図である。図６〜図９において、横軸は第２主成分、縦軸は第１主成分である。また、図６〜図９において、符号４０１に示す画像は、発話者Ｓｐの向きθが−３０°の主成分分析結果を表し、符号４０２に示す画像は、発話者Ｓｐの向きθが３０°の主成分分析結果を表す。

図６〜図９に示す第１設定の部屋〜第４設定の部屋は、部屋の密閉性と対称性をシミュレーションするために部屋の状態を決定したものである。図６に示す第１設定の部屋は最も対照的であり、図９に示す第４設定の部屋は最も不均整である。図７に示す第２設定の部屋はやや対照的であり、図８に示す第３設定の部屋はやや不均整である。
また、図６に示すように、第１設定の部屋では、発話者Ｓｐの向きθが−３０°と３０°との主成分分析結果がほぼ同じである。そして、図７の第２設定の部屋では、発話者Ｓｐの向きθが−３０°と３０°との主成分分析結果が図６より分離し、図８の第３設定の部屋では、発話者Ｓｐの向きθが−３０°と３０°との主成分分析結果が図７より分離する。そして、図９の第４設定の部屋では、発話者Ｓｐの向きθが−３０°と３０°との主成分分析結果が最も分離している。

次に、図１０を用いて、発話者Ｓｐの向き推定の有効性を説明する。図１０は、発話者Ｓｐの向き推定の有効性を説明する図である。
発話者Ｓｐの向きθ＾の適切な選択は、最適平均化パラメータ（ｏｐｔｉｍａｌ ｅｑｕａｌｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）である拡張フィルタの推定値H_θ＾を選択するために有効である。まず、上述した第１設定の部屋〜第４設定の部屋において、３つのランダムな互いに異なる位置（第１位置〜第３位置）を選択する。図１０に示す各欄の値は、発話者Ｓｐの向きの推定値の精度を表している。図１０の１行目に示すように、対称性が最も良い第１の設定の部屋では、第１位置〜第３位置において、発話者Ｓｐの向きの推定値の精度が全て１００％である。２行目に示すように、第２の設定の部屋では、発話者Ｓｐの向きの推定値の精度が９８％〜９９％である。３行目に示すように、第３の設定の部屋では、発話者Ｓｐの向きの推定値の精度が９４％〜９５％である。４行目に示すように、第４の設定の部屋では、発話者Ｓｐの向きの推定値の精度が８８％〜９０％である。すなわち、対称性の良い第１の設定の部屋が最もパフォーマンスが良く、不均整な第４の設定の部屋が最もパフォーマンスが悪い。

次に、実験室Ａと実験室Ｂにおいて、本実施形態の音声処理装置１１を用いて音声認識処理を行ったときの結果を説明する。図１１は、本実施形態の音声処理装置１１を用いて実験室Ａで音声認識処理を行ったときの結果を説明する図である。図１２は、本実施形態の音声処理装置１１を用いて実験室Ｂで音声認識処理を行ったときの結果を説明する図である。図１１及び図１２において、縦軸は単語認識率を表している。

また、図１１及び図１２において、符号５０１が示す領域の画像は、発話者Ｓｐの位置が収音部１２から０．５ｍの位置である場合の結果の画像を表している。符号５０２が示す領域の画像は、発話者Ｓｐの位置が収音部１２から１．０ｍの位置である場合の結果の画像を表している。符号５０３が示す領域の画像は、発話者Ｓｐの位置が収音部１２から１．５ｍの位置である場合の結果の画像を表している。符号５０４が示す領域の画像は、発話者Ｓｐの位置が収音部１２から２．０ｍの位置である場合の結果の画像を表している。符号５０５が示す領域の画像は、発話者Ｓｐの位置が収音部１２から２．５ｍの位置である場合の結果の画像を表している。

また、図１１及び図１２において、符号５１１が示す画像は、残響が無く、１チャネルの残響信号による音声認識結果を表す画像である（この手法を以下、手法Ａという）。符号５１２が示す画像は、残響が無く、マルチチャネルから分離された残響信号による音声認識結果を表す画像である（この手法を以下、手法Ｂという）。符号５１３が示す画像は、非特許文献３に示すウェーブレット解析（ｗａｖｅｌｅｔ−ｂａｓｅｄ）による残響信号の音声認識結果を表す画像である（この手法を以下、手法Ｃという）。符号５１４が示す画像は、非特許文献４に示すブラインド残響信号（Ｂｌｉｎｄ ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ ｂａｓｅｄ）のよる音声認識結果を表す画像である（この手法を以下、手法Ｄという）。符号５１５が示す画像は、複数の室内伝達関数ＲＴＦを適合させたときの音声認識結果を表す画像である（この手法を以下、手法Ｅという）。符号５１６が示す画像は、本実施形態の音声処理装置１１による音声認識結果を表す画像である（この手法を以下、手法Ｆという）。符号５１７が示す画像は、本実施形態の音声処理装置１１にさらに複数の室内伝達関数ＲＴＦを適合させたときの音声認識結果を表す画像である（この手法を以下、手法Ｇという）。

非特許文献３；Ｓ． Ｇｒｉｅｂｅｌ ａｎｄ Ｍ． Ｂｒａｎｄｓｔｅｉｎ， “Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ Ｅｘｔｒｅｍａ Ｃｌｕｓｔｅｒｉｎｇ ｆｏｒ Ｍｕｌｔｉ−ｃｈａｎｎｅｌ Ｓｐｅｅｃｈ Ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ”
非特許文献４；Ｂ． Ｙｅｇｎａｎａｒａｙａｎａ ａｎｄ Ｐ． Ｓａｔｙａｒａｎｙａｒａｎａ， ”Ｅｎｈａｎｃｅｍｅｎｔ ｏｆ Ｒｅｖｅｒｂｅｒａｎｔ Ｓｐｅｅｃｈ Ｕｓｉｎｇ ＬＰ Ｒｅｓｉｄｕａｌ Ｓｉｇｎａｌｓ”， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ａｕｄｉｏ， Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇ． Ｐｒｏｃ．， ２０００．

図１１に示すように、残響時間が２４０ｍｓの実験室Ａにおいて、単語認識率は、手法Ａが最も低く、手法Ｇが最も高い。そして、本実施形態の手法である手法Ｆは、手法Ｇの単語認識率と同等である。
例えば、発話者Ｓｐとの距離が０．５ｍのとき、各単語認識率は、手法Ａが約６８％、手法Ｂが約７０％、手法Ｃが約７２％、手法Ｄが約７２．５％である。また、各単語認識率は、手法Ｅが約７４％、手法Ｆが約７７．５％、手法Ｇが約７８％である。
また、例えば、発話者Ｓｐとの距離が２．５ｍのとき、各単語認識率は、手法Ａが約１５％、符号手法Ｂが約２５％、手法Ｃが約２７％、手法Ｄが約２８％である。また、各単語認識率は、手法Ｅが約３０％、手法Ｆが約４６％、手法Ｇが約４７％である。

図１２に示すように、残響時間が６４０ｍｓの実験室Ｂにおいても、単語認識率は、手法Ａが最も低く、手法Ｇが最も高い。そして、本実施形態の手法である手法Ｆは、手法Ｇの単語認識率と同等である。
例えば、発話者Ｓｐとの距離が１．０ｍのとき、各単語認識率は、手法Ａが約１１％、手法Ｂが約２０％、手法Ｃが約２２％、手法Ｄが約２４％である。また、各単語認識率は、手法Ｅが約２６％、手法Ｆが約３９％、手法Ｇが約４０％である。
また、例えば、発話者Ｓｐとの距離が２．０ｍのとき、各単語認識率は、手法Ａが約−１４％、手法Ｂが約７％、手法Ｃが約１０％、手法Ｄが約１２％である。また、各単語認識率は、手法Ｅが約１４％、手法Ｆが約２６％、手法Ｇが約２７％である。

次に、発話者Ｓｐの向きθに対する単語認識率の一例を、図１３及び図１４を用いて説明する。図１３は、実験室Ａにおける図１１及び図１２に示した手法Ａ、Ｂ、Ｅ、Ｆ、及びＧによる単語認識率を説明する図である。図１４は、実験室Ｂにおける図１１及び図１２に示した手法Ａ、Ｂ、Ｅ、Ｆ、及びＧによる単語認識率を説明する図である。図１３及び図１４において、横軸は発話者Ｓｐの向きθ、縦軸は単語認識率である。また、図１３及び図１４において、符号５１１、５１２、５１５、５１６、及び５１７が示す画像は、手法Ａ、Ｂ、Ｅ、Ｆ、及びＧによる単語認識率を表している。

まず、残響時間２４０ｍｓの実験室Ａの実験結果を説明する。
図１３に示すように、単語認識率は、手法Ａ（符号５１１）が発話者Ｓｐの向きにかかわらず約４４％であり、手法Ｂ（符号５１２）が発話者Ｓｐの向きにかかわらず約５０％であり、手法Ｅ（符号５１５）が発話者Ｓｐの向きにかかわらず約５３％である。一方、本実施形態の手法である手法Ｆ（符号５１６）は、発話者Ｓｐの向きによって単語認識率が変化し、単語認識率は約５８％〜６３％である。すなわち、手法Ｆでは、収音部１２の正面方向である発話者の向き０°に近くなるほど単語認識率が高くなり、０°から離れるほど単語認識率が下がっている。さらに手法Ｇ（符号５１７）では、単語認識率が発話者Ｓｐの向きにかかわらず約６３％である。このように、本実施形態の音声処理装置１１は、残響時間が短い実験室Ａにおいて、他の手法に対して単語認識率に有意な差がある。

次に、残響時間６４０ｍｓの実験室Ａの実験結果を説明する。
図１４に示すように、単語認識率は、手法Ａ（符号５１１）が発話者Ｓｐの向きにかかわらず−１％であり、手法Ｂ（符号５１２）が発話者Ｓｐの向きにかかわらず約１２％であり、手法Ｅ（符号５１５）が発話者Ｓｐの向きにかかわらず約２２％である。一方、本実施形態の手法である手法Ｆ（符号５１６）は、発話者Ｓｐの向きによって単語認識率が変化し、単語認識率は約２７％〜３５％である。すなわち、手法Ｆでは、収音部１２の正面方向である発話者の向き０°に近くなるほど単語認識率が高くなり、０°から離れるほど単語認識率が下がっている。さらに手法Ｇ（符号５１７）では、単語認識率が発話者Ｓｐの向きにかかわらず約３５％である。このように、本実施形態の音声処理装置１１は、残響時間が長い実験室Ｂにおいても、他の手法に対して単語認識率に有意な差がある。

以上のように、本実施形態の音声処理装置１１は、音響信号を収録する収音部１２と、収音部１２が収録した音源の向きを推定する音源向き推定部（向き推定部１０２２）と、収音部１２が収録した音響信号に対して作用させる残響抑圧フィルタを算出する残響抑圧フィルタ算出部１０２３と、残響抑圧フィルタ算出部１０２３によって算出された残響抑圧フィルタを音響信号に作用させる抑圧処理部（残響抑圧部１０２４）と、を備え、残響抑圧フィルタ算出部１０２３は、音源向き推定部（向き推定部１０２２）によって推定された音源の向きに基づいて作用させる残響抑圧フィルタを算出する。

この構成により、本実施形態の音声処理装置１１は、音響信号を発した音源の向きに応じて算出された残響抑圧フィルタを音響信号に作用させることで残響抑圧が行えるので、音源の向きが変化した場合であっても、音声認識精度を向上する残響抑圧を実現できる。

例えば、従来の装置では、音源の向きの変化に対するシステムの頑丈さ（ｒｏｂｕｓｔｎｅｓｓ）は、音源の全ての向きに対応した室内伝達関数をマイクロホンで収録して算出する必要がった。一方、本実施形態の音声処理装置１１では、複数のチャネルの音響信号に対して処理を行わずに単純なイコライザ処理によって、音源の向きの変化に対するシステムの頑丈さを確保することができる。さらに、本実施形態の音声処理装置１１では、従来のように複数のチャネルの音響信号に対して処理を行わなくて済むので、演算量を軽減することができる。

［第２実施形態］
第１実施形態では、抑圧部１０２は、収録されたＮチャネルの音響信号が、音源分離部１０１によって分離された残響音信号ｓ（ω）と後期反射音信号（後期反射音成分）ｓ^Ｌ（ω）とを用いて、発話者Ｓｐの向きの推定、残響抑圧を行う例を説明した。
発話者Ｓｐの向きの推定や、残響抑圧は、抑圧部１０２のみでも行うことができる。
図１５は、本実施形態に係る抑圧部１０２Ａの構成を説明するブロック図である。図１５に示すように、抑圧部１０２Ａは、ベクトルパラメータ推定部１０２１、向き推定部（音源向き推定部）１０２２、残響抑圧フィルタ算出部１０２３、残響抑圧部（抑圧処理部）１０２４、及び取得部１０２５を備えている。

例えば、抑圧部１０２Ａには、予め収録されている残響音信号ｓ（ω）と後期反射音信号ｓ^Ｌ（ω）が直接入力されてもよい。
または、収音部１２が備えるマイクロホンのうち１つのマイクロホンが収録した音響信号が、音源分離部１０１によって分離された残響音信号ｓ（ω）と後期反射音信号（後期反射音成分）ｓ^Ｌ（ω）とが抑圧部１０２Ａに入力されてもよい。

さらに、抑圧部１０２Ａの取得部１０２５は、撮像装置によって撮像された画像を取得し、取得した画像を向き推定部１０２２に出力するようにしてもよい。そして、向き推定部１０２２は、撮像された画像に基づいて発話者ＳＰ（音源）の向きを推定するようにしてもよい。
また、取得部１０２５は、発話者Ｓｐの例えば頭部に取り付けられている方位センサー等が出力した検出値を取得し、取得した検出値を向き推定部１０２２に出力するようにしてもよい。そして、向き推定部１０２２は、取得した検出値に基づいて発話者ＳＰ（音源）の向きを推定するようにしてもよい。
あるいは、収音部１２が備えるマイクロホン毎に抑圧部１０２Ａが接続されていてもよい。

また、本実施形態では、発話者Ｓｐが発した単語を認識する例を説明したが、これに限られない。収音部１２が収録する音響信号は音声のみに限られず、音楽であってもよい。この場合であっても、音声処理装置１１は、図示しないビートトラッキング処理を行い、さらに音源の向きを推定することで、例えば楽曲のテンポを推定するようにしてもよい。

音声処理装置１１を組み込む機器は、例えば、ロボット、車両、携帯端末等であってもよい。また、この場合、ロボット、車両、携帯端末は、収音部１２を備えていてもよい。

なお、本発明における音声処理装置１１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音源方向の推定を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…音声処理システム、１１…音声処理装置、１２…収音部、１０１…音源分離部、１０２、１０２Ａ…抑圧部、１０３…音声認識部、１０４…記憶部、１０１１…音響信号処理部、１０１２…音響信号処理部、１０１３…音源分離処理部、１０１４…音源分離処理部、１０２１…パラメータ推定部、１０２２…向き推定部（音源向き推定部）、１０２３…残響抑圧フィルタ算出部、１０２４…残響抑圧部（抑圧処理部）、１０２５…取得部

Claims (9)

1. 音響信号を収録する収音部と、
   前記収音部が収録した前記音響信号の音源の向きを推定する音源向き推定部と、
   前記収音部が収録した前記音響信号に対して作用させる残響抑圧フィルタを算出する残響抑圧フィルタ算出部と、
   前記残響抑圧フィルタ算出部によって算出された前記残響抑圧フィルタを前記音響信号に作用させる抑圧処理部と、
   を備え、
   前記残響抑圧フィルタ算出部は、
   前記音源向き推定部によって推定された前記音源の向きに基づいて作用させる前記残響抑圧フィルタを算出する
   ことを特徴とする音声処理装置。
2. 前記残響抑圧フィルタ算出部は、
   前記音響信号の後期反射成分と前記音源の方位毎の前記後期反射成分の応答とを用いて生成された拡張フィルタを用いて、前記残響抑圧フィルタを生成する
   ことを特徴とする請求項１に記載の音声処理装置。
3. 前記音源向き推定部は、
   前記収音部が収録した１つの前記音響信号の特徴ベクトルと音源の向き毎の確率モデルを用いて前記音源向きを推定する
   ことを特徴とする請求項１または請求項２に記載の音声処理装置。
4. 前記収音部が収録した複数の前記音響信号から残響信号と後期反射成分とを分離する音源分離部、を備え、
   前記残響抑圧フィルタ算出部は、
   記音源分離部によって分離された後期反射成分と前記音源の方位毎の前記後期反射成分の応答とを用いて生成された拡張フィルタを用いて、前記残響抑圧フィルタを生成する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の音声処理装置。
5. 前記抑圧処理部は、
   前記残響抑圧フィルタ算出部によって算出された前記残響抑圧フィルタを前記残響信号に作用させることで、前記音源分離部によって分離された残響信号から前記後期反射成分を抑圧する
   ことを特徴とする請求項４に記載の音声処理装置。
6. 第１の室内伝達関数に基づいて、前記収音部が収録した複数の前記音響信号の第１の特徴ベクトルを算出する第１の音響信号処理部と、
   第２の室内伝達関数に基づいて、前記収音部が収録した複数の前記音響信号の第２の特徴ベクトルを算出する第２の音響信号処理部と、
   を備え、
   前記音源分離部は、
   前記第１の音響信号処理部によって算出された前記第１の特徴ベクトルに基づいて、残響音信号を分離する第１の音源分離部と、
   前記第２の音響信号処理部によって算出された前記第２の特徴ベクトルに基づいて、前記後期反射成分を分離する第２の音源分離部と、
   を備え、
   前記抑圧処理部は、
   前記残響抑圧フィルタ算出部によって算出された前記残響抑圧フィルタを前記残響信号に作用させることで、前記第１の音源分離部によって分離された残響音信号から、前記第２の音源分離部によって分離された前記後期反射成分を抑圧する
   ことを特徴とする請求項４または請求項５に記載の音声処理装置。
7. 前記音源向き推定部は、
   撮像部によって撮像された画像、または前記音源の近傍に取り付けられている方位検出器の検出結果の少なくとも一方に基づいて前記音源向きを推定する
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の音声処理装置。
8. 収音部が、音響信号を収録する収音手順と、
   音源向き推定部が、前記収音手順によって収録された前記音響信号の音源の向きを推定する音源向き推定手順と、
   残響抑圧フィルタ算出部が、前記収音手順によって収録された前記音響信号に対して作用させる残響抑圧フィルタを、前記音源向き推定手順によって推定された前記音源の向きに基づいて前記残響抑圧フィルタを算出する残響抑圧フィルタ算出手順と、
   抑圧処理部が、前記残響抑圧フィルタ算出手順によって算出された前記残響抑圧フィルタを前記音響信号に作用させる抑圧処理手順と、
   を含むこと特徴する音声処理方法。
9. 音響処理装置のコンピュータに、
   音響信号を収録する収音手順と、
   前記収音手順によって収録された前記音響信号の音源の向きを推定する音源向き推定手順と、
   前記収音手順によって収録された前記音響信号に対して作用させる残響抑圧フィルタを、前記音源向き推定手順によって推定された前記音源の向きに基づいて前記残響抑圧フィルタを算出する残響抑圧フィルタ算出手順と、
   前記残響抑圧フィルタ算出手順によって算出された前記残響抑圧フィルタを前記音響信号に作用させる抑圧処理手順と、
   を実行させる音声処理プログラム。