JP6723120B2 - 音響処理装置および音響処理方法 - Google Patents

Description

本発明は、音響処理装置および音響処理方法に関する。

環境理解において音環境の情報を取得することは重要な要素であり、ロボット、車両、家電機器などへの応用が期待されている。音環境の情報を取得するために、音源定位、音源分離、音源同定、発話区間検出、音声認識などの要素技術が用いられる。一般に、音環境において種々の音源がそれぞれ異なる位置に所在している。音環境の情報を取得するために収音点においてマイクロフォンアレイなどの収音部が用いられる。収音部では、各音源からの音響信号が重畳した混合音の音響信号が取得される。

従来、混合音に対する音源同定を行うために、収音された音響信号について音源定位を行い、その処理結果として各音源の方向に基づいて当該音響信号について音源分離を行うことにより、音源毎の音響信号を取得していた。
例えば、特許文献１に記載の技術では、マイクが音響信号を収音し、音源定位部が音源の方向を推定する。そして、特許文献１に記載の技術では、音源定位部が推定した音源の方向の情報を用いて、音源分離部が音響信号から音源信号を分離する。

音響信号が野鳥の鳴き声の場合は、森林がある野外等で収音が行われる。このような環境で収音した音響信号を用いた音源分離処理では、木々などの障害物や地形等の影響を受けるため、充分に音源を分離できない場合があった。図１０は、従来技術に係る同時刻に近くで鳴くメジロとヒヨドリの鳴き声を音源分離した結果の一例を示す図である。図１０において、横軸は時刻、縦軸は周波数を示す。破線ｇ９０１で囲んだ領域の画像は、メジロの分離音のスペクトログラフである。破線ｇ９１１で囲んだ領域の画像は、ヒヨドリの分離音のスペクトログラフである。図１０の符号ｇ９０２で囲んだ領域と符号ｇ９１２で囲んだ領域のように、メジロの鳴き声が、ヒヨドリの分離音に漏れている。また、分離処理では、風によって発生する音などが分離音に混合してしまう場合もある。このように、音源同士が近い場合は、分離した音響信号に他の音響信号が混合することがあった。

特許第４１５７５８１号公報

しかしながら、特許文献１に記載の技術では、音源同士が近い場合、それらが同じ音源である可能性が高いにもかかわらず、従来の手法では、その情報を音源同定に有効に活用することができなかった。

本発明は、上記の問題点に鑑みてなされたものであって、音源同士の近さ情報を有効に利用することによって、精度良く音源同定を行うことができる音響処理装置および音響処理方法を提供することを目的としている。

（１）上記目的を達成するため、本発明の一態様に係る音響処理装置は、マイクロフォンアレイで収音された音響信号を取得する取得部と、前記取得部が取得した音響信号に基づいて音源方向を定める音源定位部と、音源同士の依存関係を示す音響モデルに基づいて音源の種類を同定する音源同定部とを備え、前記音響モデルは、前記音源方向を要素として含んだ確率的なモデル表現で表される。

（２）また、本発明の一態様に係る音響処理装置において、前記音響モデルは、確率的なモデル表現において、前記音源の特徴量に基づくクラス毎にモデル化したものであるようにしてもよい。

（３）また、本発明の一態様に係る音響処理装置において、前記音源同定部は、前記音源の特徴量に基づくクラスが同じ複数の前記音源の場合に前記音源同士が近接する方向にあると判別し、前記クラスが異なる複数の前記音源の場合に前記音源同士が離れた方向にあると判別するようにしてもよい。

（４）また、本発明の一態様に係る音響処理装置において、前記音源定位部が定めた音源方向の結果に基づいて音源分離する音源分離部、を備え、前記音響モデルは、前記音源分離部での分離結果に基づくようにしてもよい。

（５）上記目的を達成するため、本発明の一態様に係る音響処理方法は、取得部が、マイクロフォンアレイで収音された音響信号を取得する取得手順と、音源定位部が、前記取得手順が取得した音響信号に基づいて音源方向を定める音源定位手順と、音源同士の依存関係を示す音響モデルに基づいて音源の種類を同定する音源同定手順と、を含み、前記音響モデルは、前記音源方向を要素として含んだ確率的なモデル表現で表される。

上述した（１）または（５）では、音源定位の結果を直接音源同定に用いることができ、さらに音源同士の依存関係を示す確率的なモデル表現の音響モデルに基づいて音源同定を行う。これにより、上述した（１）または（５）によれば、確率的なモデル表現の音響モデルを使用することによって、音源同士の依存関係を有効に利用することができる。そして、上述した（１）または（５）によれば、この確率的なモデル表現の音響モデルを用いて音源同定するため、音源同士の近さ情報を有効に利用することができるので、精度良く音源同定を行うことができる。なお、音源同士の近さ情報とは、音源同士が近く、音源が同じことを表す情報である。また、確率的なモデル表現とは、グラフィカルモデルであり、例えばベイジアンネットワーク表現である。
また、上述した（２）によれば、音響モデルにおいて特徴量を用いることで、音源同定の精度を向上させることができる。
また、上述した（３）によれば、音源の近接度合いと音源の種類とに応じて、確率的なモデル表現の音響モデルにおける確率を設定する。音源同士が近接する場合は、相互に依存関係が生ずるので、音源同定の精度を向上させることができる。
また、上述した（４）によれば、音響モデルに、音源分離部が分離した分離結果を用いているので、より音源同定の精度を向上させることができる。

第１実施形態に係る音響信号処理システムの構成を示すブロック図である。 １秒間のウグイスの鳴き声「ホーホケキョ」のスペクトログラムを示す図である。 第１実施形態に係る音響モデルのベイジアンネットワーク表現の一例を説明するための図である。 第１実施形態に係る音響モデル生成処理のフローチャートである。 第１実施形態に係る音源同定部の構成を示すブロック図である。 第１実施形態に係る音源同定処理のフローチャートである。 第１実施形態に係る音声処理のフローチャートである。 評価に用いたデータの例を示す図である。 アノテーションの割合に対する正答率を示す図である。 従来技術に係る同時刻に近くで鳴くメジロとヒヨドリの鳴き声を音源分離した結果の一例を示す図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

＜第１実施形態＞
第１実施形態では、音響信号が、野鳥の鳴き声を集音した音響信号の例を説明する。
図１は、本実施形態に係る音響信号処理システム１の構成を示すブロック図である。図１に示すように、音響信号処理システム１は、収音部１１、録音再生装置１２、再生装置１３、および音響処理装置２０を含む。また、音響処理装置２０は、取得部２１、音源定位部２２、音源分離部２３、音響モデル生成部２４、音響モデル記憶部２５、音源同定部２６、および出力部２７を備える。

収音部１１は、自部に到来した音を収音し、収音した音からＰチャネル（Ｐは、２以上の整数）の音響信号を生成する。収音部１１は、マイクロフォンアレイであり、それぞれ異なる位置に配置されたＰ個のマイクロフォンを有する。収音部１１は、生成したＰチャネルの音響信号を音響処理装置２０に出力する。収音部１１は、Ｐチャネルの音響信号を無線または有線で送信するためのデータ入出力インタフェースを備えてもよい。

録音再生装置１２は、Ｐチャネルの音響信号を録音し、録音したＰチャネルの音響信号を音響処理装置２０に出力する。
再生装置１３は、Ｐチャネルの音響信号を音響処理装置２０に出力する。
なお、音響信号処理システム１は、収音部１１、録音再生装置１２、再生装置１３のうち、少なくとも１つを備えていればよい。

音響処理装置２０は、収音部１１、録音再生装置１２、または再生装置１３のうちの１つが出力するＰチャネルの音響信号から音源の方向を推定し、当該音響信号から音源毎の成分を表す音源別音響信号に分離する。また、音響処理装置２０は、音源別音響信号について、音源の方向と音源の種類との関係を示す音響モデルを用いて、推定した音源の方向に基づいて音源の種類を定める。音響処理装置２０は、定めた音源の種類を示す音源種類情報を出力する。

取得部２１は、収音部１１、録音再生装置１２、または再生装置１３のうちの１つが出力するＰチャネルの音響信号を取得し、取得したＰチャネルの音響信号を音源定位部２２に出力する。なお、取得部２１は、取得した音響信号がアナログ信号の場合、アナログ信号をデジタル信号に変換し、デジタル信号に変換した音響信号を音源定位部２２に出力する。

音源定位部２２は、取得部２１が出力するＰチャネルの音響信号に基づいて各音源の方向を予め定めた長さのフレーム（例えば、２０ｍｓ）毎に定める（音源定位）。音源定位部２２は、音源定位において、例えば、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ Ｓｉｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ；多重信号分類）法を用いて方向毎のパワーを示す空間スペクトルを算出する。音源定位部２２は、空間スペクトルに基づいて音源毎の音源方向を定める。この時点において定められる音源の数は、１個である場合もあるし、複数である場合もある。以下の説明では、時刻ｔのフレームにおけるｋ_ｔ番目の音源方向をｄ_ｋｔ、検出される音源の数をＫ_ｔと表す。音源定位部２２は、音源同定を行う際に、定めた音源毎の音源方向を示す音源方向情報を音源分離部２３と音源同定部２６に出力する。音源方向情報は、各音源の方向［ｄ］（＝［ｄ_１，ｄ_２，…，ｄ_ｋｔ，…，ｄ_Ｋｔ］；０≦ｄ_ｋｔ＜２π，１≦ｋ_ｔ≦Ｋ_ｔ）を表す情報である。音源定位部２２は、音源同定を行う際に、Ｐチャネルの音響信号を音源分離部２３に出力する。また、音源定位部２２は、音響モデルの生成時に、求めた音源の数を示す情報、定位した音源方向を示す情報を音響モデル生成部２４に出力する。音源定位の具体例については、後述する。

音源分離部２３は、音源定位部２２が出力する音源方向情報とＰチャネルの音響信号を取得する。音源分離部２３は、Ｐチャネルの音響信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す音響信号である音源別音響信号に分離する。音源分離部２３は、音源別音響信号に分離する際、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ−ｃｏｎｓｔｒａｉｎｅｄ Ｈｉｇｈ−ｏｒｄｅｒ Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ）法を用いる。以下、時刻ｔのフレームにおける音源ｋ_ｔの音源別音響信号Ｓ_ｋｔと表す。音源分離部２３は、音源同定を行う際に、分離した音源毎の音源別音響信号を音源同定部２６に出力する。なお、音源分離部２３が出力する音源別音響信号は、音源数がＫ個であれば、音源別音響信号の数もＫ個である。

音響モデル生成部２４は、音源毎の音源別音響信号、音源クラスと音源クラスが有するサブクラス、音源の方向に基づいてモデルデータを生成（学習）する。なお、音源クラスとサブクラスについては、後述する。音響モデル生成部２４は、音源分離部２３が分離した音源別音響信号を用いてもよいし、予め取得した音源別音響信号を用いてもよい。音響モデル生成部２４は、生成した音響モデルのデータを音響モデル記憶部２５に記憶する。音響モデルのデータ生成処理については、後述する。

音響モデル記憶部２５は、音響モデル生成部２４が生成した音源モデルを記憶する。

音源同定部２６は、音源分離部２３が出力する音源別音響信号の音響特徴量を、例えば、ＧＨＤＳＳ法によって算出する。音源同定部２６は、音源分離部２３が出力する音源別音響信号に対して、音源クラスとサブクラスを推定する。音源同定部２６は、算出した音響特徴量と、音源定位部２２が出力する音源方向を示す情報と、推定した音源クラスとサブクラスと、音響モデル記憶部２５が記憶する音源モデルとサブクラスと音響モデルと、を用いて、音源分離部２３が出力する音源別音響信号の音源クラスを推定する。音源同定部２６は、推定した音源クラスを示す情報を音源種類情報として出力部２７に出力する。なお、音響特徴量の算出方法、音源の同定処理については後述する。

出力部２７は、音源同定部２６が出力する音源種類情報を外部装置に出力する。外部装置とは、例えば画像表示装置、コンピュータ、音声再生装置等である。なお、出力部２７は、音源毎に音源種類情報に音源別音源信号と音源方向情報を対応付けて出力してもよい。
また、出力部２７は、他の機器に各種の情報を出力する入出力インタフェースを含んでいてもよく、これらの情報を記憶する記憶媒体を含んでいてもよい。また、出力部２７は、これらの情報を表示する画像表示部（ディスプレイ等）を含んでいてもよい。

ここで、鳥の鳴き声について説明する。鳥の鳴き声には、歌と地声の二種類がある。歌は、さえずりとも呼ばれ、縄張りの主張や繁殖期における異性に対するアピールなど特別な意味を持ったコミュニケーションのためのメディアであることが知られている。地声は、地鳴きとも呼ばれ、一般的に「チッ」とか「ジャッ」など単純な鳴き声である。例えば、ウグイスの場合、歌が「ホーホケショ」であり、地声が「チッチッチッ」である。

図２は、１秒間のウグイスの鳴き声「ホーホケキョ」のスペクトログラムを示す図である。図２において、横軸は時刻を示し、縦軸は周波数を示す。濃淡は、周波数毎のパワーの大きさを表す。濃い部分ほどパワーが大きく、薄い部分ほどパワーが小さい。区間Ｕ１は、「ホーホ」に相当するサブクラスの部分である。区間Ｕ２は、「ケキョ」に相当するサブクラスの部分である。区間Ｕ１では、周波数スペクトルが緩やかなピークを有し、ピーク周波数の時間変化は緩やかである。これに対し、区間Ｕ２では、周波数スペクトルが鋭いピークを有し、ピーク周波数の時間変化がより著しい。

次に、本実施形態における音源クラスとサブクラスについて説明する。
音源クラスとは、１つの音の区間を音の特徴によって分類したものであり、例えば鳥の種類、鳥の個体などによって区分されるクラスである。なお、音の区間とは、音響信号のうち、例えば所定のしきい値以上の大きさの音が連続している時間である。音響モデル生成部２４は、例えば音響特徴量に基づいてクラスタリングして音源クラスを分類する。また、サブクラスとは、音源クラスより短い音の区間であり、音源クラスの構成単位である。サブクラスは、例えば人間が発声した音声の音韻に相当する。
例えば、ウグイス場合は、ウグイスが音源クラスであり、区間Ｕ１と区間Ｕ２（図２）がサブクラスである。このように、鳥の鳴き声である歌において、音源クラスは、１つまたは複数のサブクラスを備えている。

本実施形態では、以下の説明において次の符号を用いる。Ｋ（＝｛１，…，ｋ，…，Ｋ｝は、検出可能な音源の最大個数（以下、音源の数ともいう）であり、１以上の自然数である。Ｃ（＝｛ｃ_１，…，ｃ_Ｋ｝）は、音源の種類であり、音源クラスの集合である。ｃ（＝｛ｓ_ｃ１，…，ｓ_ｃｊ｝は、音源クラスである。ｓ_ｃ１は、音源クラスｃの１番目のサブクラスである。ｓ_ｃｊは、音源クラスｃのｊ番目のサブクラスである。

次に、音源定位の一手法であるＭＵＳＩＣ法について説明する。
ＭＵＳＩＣ法は、以下に説明する空間スペクトルのパワーＰ_ｅｘｔ（ψ）が極大であって、所定のレベルよりも高い方向ψを音源方向として定める手法である。音源定位部２２が備える記憶部は、予め所定の間隔（例えば５°）で分布した音源方向ψ毎の伝達関数を記憶する。音源定位部２２は、音源から各チャネルｐ（ｐは、１以上Ｐ以下の整数）に対応するマイクロフォンまでの伝達関数Ｄ_［ｐ］（ω）を要素とする伝達関数ベクトル［Ｄ（ψ）］を音源方向ψ毎に生成する。

音源定位部２２は、各チャネルｐの音響信号ｘ_ｐを所定のサンプル数からなるフレーム毎に周波数領域に変換することによって変換係数ｘ_ｐ（ω）を算出する。音源定位部２２は、算出した変換係数を要素として含む入力ベクトル［ｘ（ω）］から次式（１）に示す入力相関行列［Ｒ_ｘｘ］を算出する。

式（１）において、Ｅ［…］は、…の期待値を示す。［…］は、…が行列またはベクトルであることを示す。［…］^＊は、行列またはベクトルの共役転置（ｃｏｎｊｕｇａｔｅ ｔｒａｎｓｐｏｓｅ）を示す。
音源定位部２２は、入力相関行列［Ｒ_ｘｘ］の固有値δ_ｉおよび固有ベクトル［ｅ_ｉ］を算出する。入力相関行列［Ｒ_ｘｘ］、固有値δ_ｉ、および固有ベクトル［ｅ_ｉ］は、次式（２）に示す関係を有する。

式（２）において、ｉは、１以上Ｐ以下の整数である。インデックスｉの順序は、固有値δ_ｉの降順である。
音源定位部２２は、伝達関数ベクトル［Ｄ（ψ）］と算出した固有ベクトル［ｅ_ｉ］に基づいて、次式（３）に示す周波数別空間スペクトルのパワーＰ_ｓｐ（ψ）を算出する。

式（３）において、Ｋは、Ｐよりも小さい予め定めた自然数である。
音源定位部２２は、ＳＮ比（信号対ノイズ比）が予め定めた閾値（例えば、２０ｄＢ）よりも大きい周波数帯域における空間スペクトルＰ_ｓｐ（ψ）の総和を全帯域の空間スペクトルのパワーＰ_ｅｘｔ（ψ）として算出する。
なお、音源定位部２２は、ＭＵＳＩＣ法に代えて、その他の手法を用いて音源位置を算出してもよい。音源定位部２２は、例えば、重み付き遅延和ビームフォーミング（ＷＤＳ−ＢＦ：Ｗｅｉｇｈｔｅｄ Ｄｅｌａｙ ａｎｄ Ｓｕｍ Ｂｅａｍ Ｆｏｒｍｉｎｇ）法を用いて音源位置を算出してもよい。

次に、音源分離の一手法であるＧＨＤＳＳ法について説明する。
ＧＨＤＳＳ法は、２つのコスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）として、分離尖鋭度（Ｓｅｐａｒａｔｉｏｎ Ｓｈａｒｐｎｅｓｓ）Ｊ_ＳＳ（［Ｖ（ω）］）と幾何制約度（Ｇｅｏｍｅｔｒｉｃ Ｃｏｎｓｔｒａｉｎｔ）Ｊ_ＧＣ（［Ｖ（ω）］）が、それぞれ減少するように分離行列［Ｖ（ω）］を適応的に算出する方法である。分離行列［Ｖ（ω）］は、音源定位部２２が出力するＰチャネルの音声信号［ｘ（ω）］に乗じることによって、検出される最大Ｋ個の音源それぞれの音源別音声信号（推定値ベクトル）［ｕ’（ω）］を算出するために用いられる行列である。ここで、［…］^Ｔは、行列またはベクトルの転置を示す。

分離尖鋭度Ｊ_ＳＳ（［Ｖ（ω）］）、幾何制約度Ｊ_ＧＣ（［Ｖ（ω）］）は、それぞれ、式（４）、（５）のように表される。

式（４）、（５）において、｜｜…｜｜^２は、行列…のフロベニウスノルム（Ｆｒｏｂｅｎｉｕｓ ｎｏｒｍ）である。フロベニウスノルムとは、行列を構成する各要素値の二乗和（スカラー値）である。φ（［ｕ’（ω）］）は、音声信号［ｕ’（ω）］の非線形関数、例えば、双曲線正接関数（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ ｆｕｎｃｔｉｏｎ）である。ｄｉａｇ［…］は、行列…の対角成分の総和を示す。従って、分離尖鋭度Ｊ_ＳＳ（［Ｖ（ω）］）は、音声信号（推定値）のスペクトルのチャネル間非対角成分の大きさ、つまり、ある１つの音源が他の音源として誤って分離される度合いを表す指標値である。また、式（５）において、［Ｉ］は、単位行列を示す。従って、幾何制約度Ｊ_ＧＣ（［Ｖ（ω）］）とは、音声信号（推定値）のスペクトルと音声信号（音源）のスペクトルとの誤差の度合いを表す指標値である。

次に、音源同定に用いる音響モデルについて説明する。
音源の種類が鳥の鳴き声であり、その音源クラスが複数のサブクラスを有する場合、各時刻の音源からの音は、複数の音源クラスおよび複数のサブクラスの中から確率的に選択されると仮定する。前述したウグイスの歌「ホーホケキョ」の場合は、第１のサブクラス「ホーホ」と、第２のサブクラス「ケキョ」それぞれの異なる周波数スペクトルを確率的に選択しているとみなす。これにより、本実施形態では、音源同定に用いる音響モデルを、異なるスペクトルを混合したモデルとして生成する。さらに、本実施形態における音響モデルは、分離音に関する確率分布と、到来方向に関する確率分布の２つの分布によって構成する。分離音に関する分布としては、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ；混合ガウスモデル）を用いる。そして、到来方向に関する分布には、フォン・ミーゼス（ｖｏｎ Ｍｉｓｅｓ）分布を用いる。すなわち、本実施形態では、音源位置を考慮するようにＧＭＭを拡張して用いる。

まず、ＧＭＭについて説明する。
ＧＭＭを用いた音響モデルでは、１つの音源クラスが複数のサブクラスを有しているとする。また、ＧＭＭを用いた音響モデルにおいて、各時刻における音源からの音響信号は、複数のサブクラスから確率的に選択すると仮定する。また、ＧＭＭを用いた音響モデルでは、周波数スペクトルから計算した音響特徴量が多変量ガウス分布に従うと仮定する。これにより、ＧＭＭを用いた音響モデルでは、１つの音源クラスであってもサブクラスの数の周波数スペクトルのパターンを表現することができる。この結果、ＧＭＭを用いた音響モデルでは、異なるスペクトルを持つ信号が混合した音響信号であっても、モデル化を行うことができる。

サブクラスは、所定の統計分布として、例えば、多変量ガウス分布を用いてその統計的な性質を表すことができる。音響特徴量ｘが与えられるとき、そのサブクラスが音源クラスＣのｊ番目のサブクラスｓ_ｃｊである確率ｐ（ｘ，ｓ_ｃｊ，ｃ）は、次式（６）で表すことができる。なお、音響特徴量ｘは、ベクトルである。

式（６）において、Ｎ_ｃｊ（ｘ）は、サブクラスｓ_ｃｊに係る音響特徴量ｘの確率分布ｐ（ｘ｜ｓ_ｃｊ）が多変量ガウス分布であることを示す。ｐ（ｓ_ｃｊ｜Ｃ＝ｃ）は、音源の種類Ｃが音源クラスｃであるとき、サブクラスｓ_ｃｊをとる条件付き確率を示す。従って、音源の種類Ｃが音源クラスｃであることを条件とする、サブクラスｓ_ｃｊをとる条件付き確率の総和Σ_ｊｐ（ｓ_ｃｊ｜Ｃ＝ｃ）は１である。ｐ（Ｃ＝ｃ）は、音源の種類Ｃがｃである確率を示す。なお、ｐ（・｜・）は、条件付き確率である。上述した例において、サブクラスは、音源の種類毎の確率ｐ（Ｃ＝ｃ）、音源の種類Ｃが音源クラスｃであるときのサブクラスｓ_ｃｊ毎の条件付き確率ｐ（ｓ_ｃｊ｜Ｃ＝ｃ）、サブクラスｓ_ｃｊに係る多変量ガウス分布の平均値（ｍｅａｎ）、共分散行列（ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）を含む。音源同定部２６は、音響特徴量ｘが与えられるとき、サブクラスｓ_ｃｊ、またはサブクラスｓ_ｃｊを含む音源クラスｃを判定する際にサブクラスを用いる。

ＧＭＭを用いた音響モデルでは、音源の種類Ｃを確率変数とし、アノテーションを行ったデータの場合に固定値とすることで、例えばＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いて半教師あり学習を行うことで音響モデルであるＧＭＭを構築する。なお、アノテーションとは、対応付けである。本実施形態では、予め取得した音源別音響信号について、その区間毎に音源の種類と音ユニットとを対応付けることをアノテーションという。
ＧＭＭを用いた音響モデルでは、音響モデルの構築後、次式（７）を用いてＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｒｉｏｒｉ）推定を行うことで、音源の同定を行う。なお、式（７）において、Ｃ_ｋは、音源ｋの音源クラスを示す。

次に、本実施形態で用いる音響モデルについて説明する。
上述したＧＭＭによる音響モデルでは、分離音毎に独立してモデル化を行う。このため、時刻ｔ、時刻ｔにおける分離音ｋ_ｔ毎に独立している。ＧＭＭを用いた音響モデルでは、分離音毎に独立して学習を行うため、音源位置を音響モデルに反映することができない。従って、ＧＭＭを用いた音響モデルでは、音源の位置関係に依存した分離音間の漏れを考慮できなかった。このため、本実施形態の音響モデルでは、各分離音間の依存性を考慮して、ＧＭＭを拡張する。

ここで、本実施形態の音響モデルに用いるベイジアンネットワーク（Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ）表現を説明する。なお、ベイジアンネットワークは、因果関係（依存関係）を確率により記述し、グラフ構造を持つ確率モデルの一つである。すなわち、本実施形態では、このように音響モデルにベイジアンネットワークを用いることで、音源同士の依存関係を音響モデルに含めることができる。

図３は、本実施形態に係る音響モデルのベイジアンネットワーク表現の一例を説明するための図である。図３において、符号ｇ１が示す図は、ベイジアンネットワーク表現の一例を示す図である。画像ｓｏ１は、第１の分離音のスペクトログラムである。画像ｓｏ２は、第２の分離音のスペクトログラムである。画像ｓｏ１と画像ｓｏ２において、横軸が時間、縦軸は周波数を示す。図３に示す例は、２つの音源の到来方向が近い、すなわち、音源方向がともにｄである例である。なお、時刻ｔの音源ｋ_ｔの方向ｄ（＝ｄ_ｔ，１，ｄ_ｔ，２，…，ｄ_ｔ，ｋｔ，…，ｄ_ｔ，Ｋｔ、ただし０≦ｄ_ｔ，ｋｔ＜２π，１≦ｋ_ｔ≦Ｋ_ｔ）は、音源定位部２２がＭＵＳＩＣ法によって推定する。そして、音源定位部２２は、ＭＵＳＩＣ法によって得たパワーに所定の閾値を用いて、音源数Ｋ_ｔを推定する。また、各分離音の音響特徴量ｘ_ｋｔは、後述するように音源同定部２６がＧＨＤＳＳなどの手法を用いて算出する。

図３において、第１の分離音と第２の分離音は、同時刻の方向が近い別の分離音である。具体的には、時刻ｔにおいて、第１の分離音が、第２の分離音に漏れている。このため、第２の分離音には、第１の分離音が混合している。
観測変数ｘは、第１の分離音の音響特徴量である。観測変数ｘ’は、第２の分離音の音響特徴量である。観測変数ｓは、第１の分離音の時刻ｔにおけるサブクラスである。観測変数ｓ’は、第２の分離音の時刻ｔにおけるサブクラスである。観測変数ｃは、第１の分離音の時刻ｔにおける音源クラスである。観測変数ｃ’は、第２の分離音の時刻ｔにおける音源クラスである。観測変数ｄは、分離音の到来方向のベクトルである。
図３に示したベイジアンネットワークは、次式（８）のように記述することができる。

式（８）は、分離音がＫ個における、鳥の声が存在する方向ｄである確率を表している。式（８）において、ｓ_ｃｋは、音源クラスｃのｋ番目のサブクラスである。また、式（８）において、Ｐ（ｄ｜ｃ）は、二つの音源が、同じ音源クラスの場合（ｃ_ｉ＝ｃ_ｊ）と、異なる音源クラスの場合（ｃ_ｉ≠ｃ_ｊ）とに分けられ、次式（９）、式（１０）のように表すことができる。なお、ｃ_ｉとｃ_ｊそれぞれは、音源クラスである。

式（９）と式（１０）において、ｄ_ｉ、ｄ_ｊそれぞれは、音源の方向である。ここで、分離音の個数Ｋが２の場合、式（９）において、ｐ（ｄ_ｉ，ｄ_ｊ｜ｃ_ｉ＝ｃ_ｊ）は、次式（１１）である。式（１０）において、ｐ（ｄ_ｉ，ｄ_ｊ｜ｃ_ｉ≠ｃ_ｊ）は、次式（１２）である。

式（１２）において、右辺のπは、分離音Ｋが２のため、音源同士の方向が反対側（＋１８０°）であることを表している。また、式（１１）と式（１２）において、ｆ（ｄ；κ）は、フォン・ミーゼス（ｖｏｎ Ｍｉｓｅｓ）分布であり、次式（１３）である。なお、κは、分布の集中度を表すパラメータであり、０以上の値である。

なお、式（１３）において、Ｉ_０（κ）は、０次の変形ベッセル関数である。
ここで、本実施形態においてフォン・ミーゼス分布を用いる理由を説明する。フォン・ミーゼス分布は、円周上に定義された連続型の確率分布である。音源の方向は、円周上に存在していると想定される。このため、本実施形態では、方向の分布として、円周上に定義されたフォン・ミーゼス分布を用いる。

式（１１）において、ｐ（ｄ_ｉ，ｄ_ｊ｜ｃ_ｉ＝ｃ_ｊ）に注目すると、この確率値は、二つの音源の位置が近く、かつ二つの音源が同じ音源クラスに属している時に高い値をとることを表している。一方、式（１２）において、ｐ（ｄ_ｉ，ｄ_ｊ｜ｃ_ｉ＝ｃ_ｊ）に注目すると、この確率値は、二つの音源の位置が遠く、かつ二つの音源が異なるクラスに属している時に高い値をとることを表している。なお、近いとは、音源が２つの場合に２つの音源それぞれの方向ｄ_ｉと方向ｄ_ｊが、ほぼ同じであることを表す。また、遠いとは、音源が２つの場合に２つの音源それぞれの方向ｄ_ｉと方向ｄ_ｊが、角度π離れていることを表す。

本実施形態では、同時刻に二つ以上の音源がある場合（Ｋ_ｔ＞２）を考慮するために、式（９）と式（１０）のようにすべての音源間の組み合わせによって確率値ｐ（ｄ｜ｃ）を定義している。なお、上述した式（８）〜式（１３）が音響モデルである。そして、図３と式（８）〜式（１３）に示したように、音響モデルは、音源クラス毎にモデル化したものである。

この音響モデルを用いて音源のクラスを推定するときには、音源クラスｃ_ｉとｃ_ｊとが独立でないということに注意しなければならない。つまり、ＧＭＭで説明したように、各音響特徴量が独立ではないため、ある音源の音源クラスを決定する際に、同時刻の他の音源の音源クラスを考慮する必要がある。このため、本実施形態では、音源クラスを推定するために、ＧＭＭを用いた音響モデルの式（７）を、次式（１４）のように拡張する。音源同定部２６は、式（７）を用いて、音源クラスを推定する。

次に、本実施形態における音響モデルのパラメータの学習方法について説明する。
本実施形態では、分離音間の相互依存性を考慮し、ＥＭアルゴリズムにおける半教師あり学習を行う。
音響モデル生成部２４は、予め取得した音響信号に対して分離した音のいくつかに対して予めアノテーションを行った半教師あり学習を行うことで音響モデルを生成し、生成した音響モデルを音響モデル記憶部２５に記憶する。

音響特徴量ｘに対応する音源クラスｃが与えられた場合、つまり教師あり学習の場合は、図３に示したようにベイジアンネットワークの性質から、音源クラスｃを他の音源クラスｃ’と独立に計算することができる。これにより、教師あり学習の場合は、従来のＧＭＭによる音響モデルのパラメータ学習と同様に学習を行うことができる。
しかし、部分的なアノテーションの場合、つまり半教師あり学習を行う場合は、音源クラスｃと音源クラスｃ’とが独立ではないため、音響特徴量ｘ毎に独立に学習することができない。

以下、音源クラスｃと音源クラスｃ’が、アノテーションされていない場合について説明する。
ＥＭアルゴリズムにおいては、データセット中のサブクラスs の出現確率の期待値を計算する必要がある。期待値Ｎ_ｓは、次式（１５）のように表現できる。

式（１５）において、ｓ_ｔ，ｋｔは、時刻ｔの音源ｋｔに関するサブクラスを表す確率変数である。また、Ｘは、時刻ｔの音響特徴量ｘ全ての集合である。なお、式（１５）のｐ（ｓ_ｔ，ｋｔ＝ｓ，Ｘ，ｄ）は、音響モデル記憶部２５が記憶する音響モデル上で計算することができる。
ただし、ベイジアンネットワークの性質からｐ（ｓ_ｔ，ｋｔ＝ ｓ，Ｘ，ｄ）は、音源ｋ_ｔだけでなく，時刻ｔにおけるそのほかの音源と独立に決定することはできない。

ここで、ｐ（ｓ_ｔ，ｋｔ＝ｓ，Ｘ，ｄ）の具体な計算方法を説明する。まず、簡単のため時刻ｔに２つの音源のみがあるとして、それぞれ音源ｋ_ｔとｋ_ｔ’、音響特徴量ｘとｘ’（Ｘ＝｛ｘ，ｘ’｝）、音源方向ｄとｄ’が与えられた場合を考える。
この場合、音源ｋ_ｔのサブクラスｓに関する確率ｐ（ｓ，Ｘ，ｄ） は、次式（１６）のように表現できる。

ただし、式（１６）におけるｐ（ｘ’｜ｃ’）は、次式（１７）のように定義する。

なお、二つ以上の音源がある場合、確率ｐ（ｘ｜ｃ）を何度も計算する必要があるため、音響モデル生成部２４は、予め依存しているフレーム全てに対して確率ｐ（ｘ｜ｃ）を計算し、テーブルを作っておくようにしてもよい。これにより、高速に計算することができる。なお、音響モデル生成部２４は、テーブルを用いずに逐次計算するようにしてもよい。
また、確率ｐ（ｓ｜ｘ）は、サブクラスｓに関する多変量ガウス分布となる。そして、ｐ（ｓ｜ｘ）以外の確率は、定義より与えられる。また、フォン・ミーゼス分布のパラメータκ_１，κ_２についても、ＥＭアルゴリズムを用いて決定することが可能である。

次に、本実施形態に係る音響モデル生成処理について説明する。
図４は、本実施形態に係る音響モデル生成処理のフローチャートである。
（ステップＳ１）音響モデル生成部２４は、予め取得した音源別音響信号に対して、その区間毎に音源クラスとサブクラスとを対応付ける（アノテーション）。音響モデル生成部２４は、例えば、音源別音響信号のスペクトログラムを画像表示部に表示させる。音響モデル生成部２４は、収音部１１等が出力する音響信号に対して、音源の区間検出、音源定位処理、音源分離処理を行った分離音に音源クラスとサブクラスを対応付ける。

（ステップＳ２）音響モデル生成部２４は、音源クラスとサブクラスを区間毎に対応付けた音源別音響信号に基づいて音データを生成する。より具体的には、音響モデル生成部２４は、音源クラス毎の区間の割合を、音源クラスｃ毎の確率ｐ（ｃ）として算出する。また、音響モデル生成部２４は、各音源クラスについて方向ｄ毎の条件付き確率ｐ（ｄ｜ｃ）として算出する。また、音響モデル生成部２４は、ベイジアンネットワークにおける各音源クラスについて、音響特徴量ｘ毎の条件付き確率ｐ（ｘ｜ｃ）として算出する。

（ステップＳ３）音響モデル生成部２４は、図２に示したようなベイジアンネットワーク表現と式（８）とステップＳ２で算出した各確率を用いてｐ確率ｐ（ｘ，ｄ，ｓ，ｃ）を算出することで、音響モデルを生成する。続けて、音響モデル生成部２４は、生成した音響モデルを音響モデル記憶部２５に記憶する。

（ステップＳ４）音響モデル生成部２４は、音響モデル記憶部２５が記憶する音響モデルにＥＭアルゴリズムを導入して、音響モデルのパラメータを学習する。ＥＭアルゴリズムにおいては、対応付けしてないデータを欠損値とみなすことができる。このため、音響モデル生成部２４は、予め取得した音響信号の一部に対して対応付けを行うことで半教師あり学習を行う。また、音響モデル生成部２４は、音響モデルを用いて学習することで、分離音間の相互依存性を考慮して学習を行う。なお、パラメータとは、式（１５）における確率ｐ（ｓ_ｔ，ｋ_ｔ＝ｓ，Ｘ、ｄ）、期待値Ｎｓ、式（１６）の確率ｐ（ｓ，Ｘ、ｄ）等である。

次に、音源同定部２６について説明する。
図５は、本実施形態に係る音源同定部２６の構成を示すブロック図である。図５に示すように、音源同定部２６は、音響特徴量算出部２６１、音源推定部２６２を備える。

音響特徴量算出部２６１は、音源分離部２３が出力する音源毎の音響信号についてフレーム毎に、その物理的な特徴を示す音響特徴量を算出する。音響特徴量は、例えば、周波数スペクトルである。音響特徴量算出部２６１は、周波数スペクトルについて主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行って得られた主成分を音響特徴量として算出してもよい。主成分分析において、音源の種類の差異に寄与する成分が主成分として算出される。そのため、周波数スペクトルよりも次元が低くなる。なお、音響特徴量として、メルスケール対数スペクトル（ＭＳＬＳ：Ｍｅｌ Ｓｃａｌｅ Ｌｏｇ Ｓｐｒｃｔｒｕｍ）、メル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）なども利用可能である。音響特徴量算出部２６１は、算出した音響特徴量を音源推定部２６２に出力する。

音源推定部２６２は、取得した音響信号の同定時に、音源定位部２２が出力する方向ｄを示す情報、音響特徴量算出部２６１が出力する音響特徴量ｘと、音響モデル記憶部２５が記憶する音データ（クラスｃとサブクラスｓ）を参照して、確率ｐ（ｃ）、確率ｐ（ｄ｜ｃ）、確率ｐ（ｘ｜ｃ）を算出する。続けて、音源推定部２６２は、算出した確率ｐ（ｃ）、確率ｐ（ｄ｜ｃ）、確率ｐ（ｘ｜ｃ）と式（１４）を用いて音源クラスを推定する。すなわち、音源推定部２６２は、式（１４）の値が最も大きい音源クラスを、音源の音源クラスであると推定する。音源推定部２６２は、音源毎に音源クラスを示す音源種類情報を生成し、生成した音源種類情報を出力部２７に出力する。

次に、本実施形態に係る音源同定処理について説明する。
図６は、本実施形態に係る音源同定処理のフローチャートである。音源推定部２６２は、ステップＳ１０１〜Ｓ１０２に示す処理を音源方向毎に繰り返す。

（ステップＳ１０１）音源推定部２６２は、音源定位部２２が出力する方向ｄを示す情報、音響特徴量算出部２６１が出力する音響特徴量ｘと、音響モデル記憶部２５が記憶する音データ（クラスｃとサブクラスｓ）を参照して、確率ｐ（ｃ）、確率ｐ（ｄ｜ｃ）、確率ｐ（ｘ｜ｃ）を算出する。

（ステップＳ１０２）音源推定部２６２は、算出した確率ｐ（ｃ）、確率ｐ（ｄ｜ｃ）、確率ｐ（ｘ｜ｃ）と式（１４）を用いて音源クラスを推定する。音源推定部２６２は、その後、未処理の音源方向がなくなったとき、ステップＳ１０１〜Ｓ１０２の処理を終了する。

次に、本実施形態に係る音声処理について説明する。
図７は、本実施形態に係る音声処理のフローチャートである。
（ステップＳ２０１）取得部２１は、例えば収音部１１が出力するＰチャネルの音響信号を取得し、取得したＰチャネルの音響信号を音源定位部２２に出力する。

（ステップＳ２０２）音源定位部２２は、取得部２１が出力するＰチャネルの音響信号について空間スペクトルを算出し、算出した空間スペクトルに基づいて音源毎の音源方向を定める（音源定位）。続けて、音源定位部２２は、音源毎の音源方向を示す音源方向情報とＰチャネルの音響信号を音源分離部２３と音源同定部２６に出力する。

（ステップＳ２０３）音源分離部２３は、音源定位部２２が出力するＰチャネルの音響信号を、音源方向情報が示す音源方向に基づいて音源毎の音源別音響信号に分離する。音源分離部２３は、分離した音源別音響信号を音源同定部２６に出力する。

（ステップＳ２０４）音源同定部２６は、音源定位部２２が出力する音源方向情報と音源分離部２３が出力する音源別音響信号について、図６に示す音源同定処理を行う。音源同定部２６は、音源同定処理により定めた音源毎クラスを示す音源種類情報を出力部２７に出力する。

（ステップＳ２０５）出力部２７は、音源同定部２６が出力する音源種類情報を、外部装置、例えば画像表示装置に出力する。
以上で、音響処理装置２０は、音声処理を終了する。

次に、本実施形態に係る音響処理装置２０を用いて行った評価実験について説明する。評価実験において、都市部の公園で収録した８チャネルの音響信号を用いた。収録した音には、音源として鳥の鳴き声が含まれる。なお、評価に用いた鳥の鳴き声は、歌である。音響処理装置２０を動作させることで、音源別音声信号の区間毎に音源の種類を定めた。

図８は、評価に用いたデータの例を示す図である。図８において、縦軸は音源の方向（−１８０°〜＋１８０°）を示し、横軸は時刻である。
図８では、線種により音源クラスを表している。太い実線、太い破線、細い実線、細い破線、一点破線は、それぞれキビタキの鳴き声、ヒヨドリ（Ａ）の鳴き声、メジロの鳴き声、ヒロドリ（Ｂ）の鳴き声、その他の音源を示す。なお、ヒヨドリ（Ａ）とヒヨドリ（Ｂ）は、異なる個体であり、歌い方の特徴が異なっていたため別の音源クラスとした。

次に、本実施形態と比較例の音源クラスの推定結果の正答率の例を説明する。
比較のため、従来法として音源分離により得られた音源別音声信号について、ＭＵＳＩＣ法による音源定位とは独立に、ＧＨＤＳＳによる音源分離により得られた音源別音響信号について音データを用いて区間毎に音源の種類を定めた。また、パラメータκ_１、κ_２を、それぞれ０．２とした。また、音響特徴量算出部２６１は、音響特徴量として、１６ｋＨｚサンプリングのデジタル信号の分離音から窓幅８０の４０ステップ幅（２．５ｍｓ毎）で周波数スペクトルの１フレームを算出した。そして、音響特徴量算出部２６１は、１０フレームのステップ幅で１００フレームのブロックを抽出し、このブロックを４１００次元のベクトルとみなして主成分分析によって３２次元に圧縮して、評価用のデータセットとして用いた。また、音源同定部２６は、この１ブロック毎に音源クラスを推定し、最終的にイベント内の全てのブロックの多数決によってそのイベントの音源クラスを決定した。

図９は、アノテーションの割合に対する正答率を示す図である。図９において、横軸はアノテーションの割合（０．９〜０．１）、縦軸は正答率を示す。また、折れ線ｇ１０１は、本実施形態の評価結果である。折れ線ｇ１０２は、比較例の評価結果である。
図９に示すように、すべてのアノテーション割合において，本実施形態による手法の方が比較例より正答率が高い。

以上のように、本実施形態では、音源の定位情報（方向情報）を用いて音響モデルを生成し、この音響モデルを用いて音源クラスを推定するようにした。また、本実施形態では、音響モデルに確率的なモデル表現であるベイジアンネットワークを用いた。この結果、本実施形態によれば、音源定位の結果を用いた確率的なモデル表現によって音源同士の依存関係を含む音響モデルを使って音源同定を行うことで、音源同士の近さ情報を有効に利用することができ、音源分同定の精度を向上さえることができる。

また、本実施形態では、音響モデルにベイジアンネットワークを用いたので、音源同士の依存関係を明確にすることができるため、音源同定の精度を向上させることができる。
また、本実施形態では、フォン・ミーゼス分布を用いて音響モデルを生成するようにした。これにより、本実施形態によれば、音源の方向を適切にモデル化することができる。この結果、本実施形態によれば、この音響モデルを用いて音源クラスを推定するので、精度よく音源クラスを推定することができる。
また、本実施形態では、音響モデルに、音源分離部が分離した分離結果を用いているので、より音源同定の精度を向上させることができる。

また、本実施形態では、生成した音響モデルを用いてＥＭアルゴリズムによって音響モデルのパラメータを学習するようにした。この結果、本実施形態によれば、ＥＭアルゴリズムを用いているので、半教師あり学習を行うことができ、アノテーションを行う作業量を削減することができる。また、本実施形態によれば、音響モデルを用いて学習することで、分離音間の相互依存性を考慮することができる。

なお、本実施例では、２つの音源の情報を用いて、音響モデルを生成する例を説明したが、これに限られない。
例えば、音源が３つで観測変数が音源クラスｃ_１〜ｃ_３の場合、これらの音源クラスそれぞれが有するサブクラス、音響特徴量を用いてベイジアンネットワークによって表現する。
この場合、上述した式（８）において、異なる音源クラスの場合（ｃ_ｉ≠ｃ_ｊ）、確率ｐ（ｄ_ｉ，ｄ_ｊ｜ｃ_ｉ≠ｃ_ｊ）の式（１２）は、次式（１８）のように表すことができる。

すなわち、式（１８）に示したように、音源が３つで音源のクラスが異なっている場合、音源の方位が（２π／３）ずつ離れている関係が遠い関係になる。
さらに、音源の数が４つの場合は、音源の方位が（２π／４）ずつ離れている関係が遠い関係になる。以下、音源の数がＫ個の場合、音源の方位が（２π／Ｋ）ずつ離れている関係が遠い関係になる。

＜第２実施形態＞
第１実施形態では、取得部２１が取得する音響信号が、鳥の鳴き声、特に歌の例を説明したが、音響処理装置２０が推定する音源クラスは、これに限られない。音源クラスを推定する音響信号は、人間の発話であってもよい。この場合は、１つの発話が音源クラスであり、音節がサブクラスである。
人間の発話に対して音源クラスを推定する場合の音響処理装置２０の構成は、第１実施形態の音響処理装置２０と同じである。

例えば、第１の話者の近くで、第２の話者が同時に発話している場合もある。このような場合は、２人の話者の発話を分離しても、分離音に他の話者の発話が混合する場合があり得る。このような場合であっても、音源定位した結果も用いて音響処理装置２０を用いて音響モデルを生成することで、従来より音源クラスの正答率を向上させることができる。
なお、本実施形態においても、近くにいる話者の数は２人に限られず、３人以上であっても同様の効果を得ることができる。

＜第３実施形態＞
音響処理装置２０が取得する音響信号は、人間の発話が含まれる音響信号であってもよい。例えば、取得する音響信号に人間の発話と犬の鳴き声が含まれている場合、音響処理装置２０は、第１の音源クラスを人間、第２の音源クラスを犬としてもよい。この場合の音響処理装置２０の構成は、第１実施形態の音響処理装置２０と同じである。
このように、音響処理装置２０が取得する音響信号は、野鳥の鳴き声、人間の発話、動物の鳴き声等の少なくとも１つ、あるいは混合した物であってもよい。

なお、上述した第１実施形態〜第３実施形態において、音響モデル記憶部２５が音響モデルを予め記憶していれば、音響処理装置２０は、音響モデル生成部２４を備えていなくてもよい。また、音響モデル生成部２４が行う音響モデルの生成処理は、音響処理装置２０の外部の装置、例えば、コンピュータで行われてもよい。また、音響モデル記憶部２５は、例えばクラウド上にあってもよく、またはネットワークを介して接続されていてもよい。
また、音響処理装置２０は、さらに収音部１１を含んで構成されてもよい。音響処理装置２０は、音源同定部２６が生成した音源種類情報を記憶する記憶部を備えてもよい。その場合には、出力部２７を備えていなくてもよい。

なお、上述した第１実施形態〜第３実施形態では、音響モデルに確率的なモデル表現の一種としてベイジアンネットワーク表現の例を説明したが、これに限られない。音響モデルは、音源定位した情報を用いて音源同士の依存関係を表し、確率的な表現を用いるグラフィカルモデル（Ｇｒａｐｈｉｃａｌ ｍｏｄｅｌ）を用いるようにしてもよい。グラフィカルモデルとしては、ベイジアンネットワークの他に、例えばマルコフ確率場、因子グラフ、連鎖グラフ、条件付き確率場、制限ボルツマンマシン、クリークツリー、Ａｎｃｅｓｔｒａｌグラフ等を用いるようにしてもよい。

なお、上述した第１実施形態〜第３実施形態で説明した音響処理装置２０を、例えばロボット、車両、タブレット端末、スマートフォン、携帯ゲーム機器、家電機器等が備えていてもよい。

なお、本発明における音響処理装置２０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…音響信号処理システム、１１…収音部、１２…録音再生装置、１３…再生装置、２０…音響処理装置、２１…取得部、２２…音源定位部、２３…音源分離部、２４…音響モデル生成部、２５…音響モデル記憶部、２６…音源同定部、２７…出力部、２６１…音響特徴量算出部、２６２…音源推定部

Claims (5)

1. マイクロフォンアレイで収音された音響信号を取得する取得部と、
   前記取得部が取得した音響信号に基づいて音源方向を定める音源定位部と、
   音源同士の依存関係を示す音響モデルに基づいて音源の種類を同定する音源同定部とを備え、
   前記音響モデルは、前記音源方向を要素として含んだ確率的なモデル表現で表される音響処理装置。
2. 前記音響モデルは、確率的なモデル表現において、前記音源の特徴量に基づくクラス毎にモデル化したものである、請求項１に記載の音響処理装置。
3. 前記音源同定部は、前記音源の特徴量に基づくクラスが同じ複数の前記音源の場合に前記音源同士が近接する方向にあると判別し、前記クラスが異なる複数の前記音源の場合に前記音源同士が離れた方向にあると判別する、請求項１または請求項２に記載の音響処理装置。
4. 前記音源定位部が定めた音源方向の結果に基づいて音源分離する音源分離部、を備え、
   前記音響モデルは、前記音源分離部での分離結果に基づく、請求項１から請求項３のいずれか１項に記載の音響処理装置。
5. 取得部が、マイクロフォンアレイで収音された音響信号を取得する取得手順と、
   音源定位部が、前記取得手順が取得した音響信号に基づいて音源方向を定める音源定位手順と、
   音源同士の依存関係を示す音響モデルに基づいて音源の種類を同定する音源同定手順と、
   を含み、
   前記音響モデルは、前記音源方向を要素として含んだ確率的なモデル表現で表される、音響処理方法。