JP3986785B2

JP3986785B2 - Sound source separation and collection microphone apparatus and method

Info

Publication number: JP3986785B2
Application number: JP2001287382A
Authority: JP
Inventors: 正和岩城; 摂小宮山; 章盛田; 文男岡野; 晋一千葉
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-09-20
Filing date: 2001-09-20
Publication date: 2007-10-03
Anticipated expiration: 2021-09-20
Also published as: JP2003098003A

Description

【０００１】
【発明の属する技術分野】
本発明は、観測点に対して同一方向に位置する複数の音源が発する音波の混合波から、目的の音源が発する音波を分離して収音する音源分離収音マイクロホン装置および方法に関する。
【０００２】
【従来の技術】
近年、人の声で、しかも工場などの騒音環境下でもコンピュータ等の情報処理装置を制御できるようにするためのブラインド信号分離処理技術の研究が進められている。従来、鋭い指向性を有するマイクロホンを用いて目的の音源からの音波（以下、目的音という。）を、他の方向からの音波から分離する方法が知られている。この方法は、到来方向の異なる音波を相互に分離するのに有効である。
【０００３】
しかしながら、鋭い指向性のマイクロホンのみを利用するのでは、同一方向から到来する、異なる音源からの音波を相互に分離することは困難である。そのため、同一方向から到来する音波から目的音を分離するのに、異なる音源が発する音波（以下、音源信号という。）間で相互相関が低いことを利用して目的音を分離するブラインド信号分離処理技術が提案されている。
【０００４】
また、特開２００１−８４７１３号公報に開示された「ビデオカメラと一体型の音源分離マイクロホンシステム」では、同一方向から到来する目的音と雑音とを分離して収音することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の指向性の鋭いマイクロホンを用いるのでは、目的音と雑音が同じ方向から到来する場合に、それらを別々に収音することはできず、また、同一方向から到来する複数の音源信号から目的音のみを、ブラインド信号分離処理技術を用いて分離した報告例はなく、それらの分離は困難であるという問題がある。
【０００６】
また、特開２００１−８４７１３号公報に開示された「ビデオカメラと一体型の音源分離マイクロホンシステム」では、同一方向から到来する目的音と雑音を分離して収音することができるが、同システムの信号処理回路において、ブラインド信号分離処理技術を用いて全ての分離係数を算出するため、目的音が複数ある出力信号のうちのどれとして出力されるか制御できないという問題がある。
【０００７】
本発明は、かかる問題を解決するためになされたものであり、その目的は、同一方向から到来する目的音と雑音を分離して収音することができ、所望の出力に目的音を特定して出力することが可能な音源分離収音マイクロホン装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、第１のマイクロホンを含み、直線上に配置された複数のマイクロホンと、前記複数のマイクロホンが配置された直線上の複数の音源と前記第１のマイクロホンとの間の距離を測定する距離測定手段と、前記第１のマイクロホンと前記各音源間の距離に関する情報および前記第１のマイクロホンと前記複数のマイクロホンのうちの前記第１のマイクロホン以外のマイクロホンとの間の距離に関する情報とを用い、前記各音源が発した音波を混合した混合波であって、前記各マイクロホンによって収音されて得られた混合信号から、目的とする音源が発した音波の信号成分を分離する音源分離手段とを備え、前記音源分離手段は、前記距離測定手段で測定された距離の情報を用いて、前記各マイクロホンと前記各音源とのすべての組み合わせについて前記分離係数を予め計算しておき、前記予め計算された分離係数の値を用いて前記各音源が発した音波の信号成分を分離する構成を有している。
【０００９】
この構成により、マイクロホンから音源までの距離に関する情報を測定する距離測定部と、その距離情報を用いて音源分離処理を行う音源分離部とを設けたため、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することができる。
【００１２】
また、請求項３に係る発明は、第１のマイクロホンを含む複数のマイクロホンが配置された直線上の複数の音源と前記第１項のマイクロホンとの間の距離を測定する距離測定ステップと、前記第１のマイクロホンと前記各音源間の距離に関する情報および前記第１のマイクロホンと前記複数のマイクロホンのうちの前記第１のマイクロホン以外のマイクロホンとの間の距離に関する情報とを用い、前記各音源が発した音波を混合した混合波であって、前記各マイクロホンによって収音されて得られた混合信号から、目的とする音源が発した音波の信号成分を分離する音源分離ステップとを備え、前記音源分離ステップは、前記距離測定ステップで測定された距離の情報を用いて、前記各マイクロホンと前記各音源とのすべての組み合わせについて前記分離係数を予め計算しておき、前記予め計算された分離係数の値を用いて前記各音源が発した音波の信号成分を分離する構成を有している。
【００１３】
この構成により、マイクロホンから音源までの距離に関する情報を測定するためのステップと、その距離情報を用いて用いて音源分離処理を行うためのステップとを設けたことによって、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することができる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照し、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置について説明する。
図１に、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置のブロック構成図を示す。図１において、音源分離収音マイクロホン装置１００は、マイクロホンアレイ部１０、距離測定部２０、および音源分離部３０によって構成される。
【００１９】
マイクロホンアレイ部１０は、複数のマイクロホンが一定間隔を置いて一直線上に配列された構成を有し、各音源が発する音波の混合波を検知する。図１に、マイクロホンアレイ部１０が２個のマイクロホン１１、１２によって構成され、音源２０１、２０２が２個存在する場合の例を示す。ここで、各マイクロホン１１、１２として、それぞれ、単一指向性または無指向性のものを用いるのでも良い。
【００２０】
音源２０１、２０２が発する音波の混合波は、それぞれ、マイクロホンアレイ部１０のマイクロホン１１、１２によって検知され、検知された混合波の電気信号ｘ₁、ｘ₂は、それぞれ、音源分離部３０に出力される。
距離測定部２０は、マイクロホンアレイ部１０と各音源２０１、２０２間の距離を測定し、その測定された距離に関する情報を音源分離部３０に出力する。距離測定部２０は、例えば、赤外線や超音波を利用して距離測定するのでも、カメラレンズのピント情報を利用して距離測定するのでも、その他の方法によるのでも良い。
【００２１】
説明の便宜上、上記で測定される距離は、図３に模式的に示す、マイクロホン１１から音源２０１までの距離ｌ₁およびマイクロホン１１から音源２０２までの距離ｌ₂とするが、マイクロホン１２等その他の所定位置からの距離でも良いことは明らかである。また、マイクロホン１１からマイクロホン１２までの距離ｋ₁は、予め知られているものとする。
【００２２】
音源分離部３０は、マイクロホンアレイ部１０から出力された混合波の電気信号ｘ₁、ｘ₂（ｘ₁をマイクロホン１１からの出力信号とし、ｘ₂をマイクロホン１２からの出力信号とする。）および距離測定部２０から出力された距離情報を入力として、音源２０１、２０２別の音波の信号に分離して出力する（以下、音源信号分離処理という。）ための構成部である。
以下に、図面を参照して、音源分離部３０において行われる音源信号分離処理の原理について説明する。
【００２３】
音源２０１が発する音波と、音源２０２が発する音波とは、各マイクロホン１１、１２までの伝搬距離が異なるため、各マイクロホン１１、１２において異なる混合比率で混合されて受音される。説明の便宜上、以下では、各マイクロホン１１、１２の特性は同じとし、マイクロホン１１（またはマイクロホン１２）が音源２０１および音源２０２の発する音波を、音源位置で受音したときの信号を、それぞれ音源信号ｓ₁、ｓ₂とし、マイクロホン１１が音源２０１および音源２０２の発する音波を、マイクロホン１１の位置で受音したときの信号を混合信号ｘ₁とし、マイクロホン１２の位置で受音したときの信号を混合信号ｘ₂とする。
【００２４】
各マイクロホン１１、１２からの混合信号ｘ₁、ｘ₂は、距離（ｌ₁、ｌ₂、ｋ₁）を用いて、以下の式（１）のように、音源信号ｓ₁、ｓ₂の線形結合によって概念的に記述できる。
【数１】

【００２５】
そのため、原理的に、上記の混合信号ｘ₁、ｘ₂を用いて、線形変換によって元の音源２０１、２０２からの音源信号ｓ₁、ｓ₂に分離できる。その線形変換を式（２）に示す。
【数２】

ここで、ｃ_ij（ｉ，ｊ＝１，２）は混合信号ｘ₁、ｘ₂を用いて音源信号ｓ₁、ｓ₂を分離するための分離係数である。
【００２６】
距離ｋ₁が既知であるため、距離ｌ₁が既知の場合、音源２０１で発せられ、音波マイクロホン１とマイクロホン２とで受音される音波の混合比は、（ｌ₁＋ｋ₁）：ｌ₁として算出される。そこで、ｃ₂₁＝１，ｃ₂₂＝−（ｌ₁＋ｋ₁）／ｌ₁とを与えれば、式（１）を式（２）に代入して、式（２）の左辺（以下、出力信号という。）のｙ₂には、以下の式（３）に示すように、音源信号ｓ₂のみが含まれるようにすることができる。
【数３】

【００２７】
次に、上記の式（２）の出力信号ｙ₁と絶対値は異なるが、音源信号ｓ₁、ｓ₂の混合比を維持し、線形結合で表される信号を以下の式（４）に示すように得ることができる。
【数４】

式（４）のｙ₁は、新たに線形結合で表した出力信号であり、式（４）のｃ₁₂は、その結合係数（以下、分離係数という。）である。
【００２８】
上記の式（３）の出力信号ｙ₂には音源信号ｓ₂しか含まれてないため、分離係数ｃ₁₂を調整することによって混合信号ｘ₁から音源信号ｓ₂を除いて、音源信号ｓ₁成分のみの式（４）の出力信号ｙ₁を得ることができる。式（１）と式（４）を用いて、音源信号ｓ₂が除かれて、音源信号ｓ₁成分のみとなった出力信号ｙ₁を以下の式（５）に示す。
【数５】

【００２９】
ここで、上記の音源信号ｓ₂を除いて音源信号ｓ₁成分のみとする方法として、分離係数ｃ₁₂を変化させ、分離係数ｃ₁₂毎に出力信号ｙ₁と音源信号ｓ₂との相互相関を取り、相互相関の計算値が最も低くなる分離係数ｃ₁₂における出力信号を取り出すという方法がある。これは、音源信号ｓ₁と音源信号ｓ₂との統計的独立性に基づくものである。以上のようにして、混合信号ｘ₁、ｘ₂を用いて音源信号ｓ₁、音源信号ｓ₂とを分離することができる。
【００３０】
図２に、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置における音源分離部３０のブロック構成を示す。図２において、音源分離部３０は、遅延部３１、フレーム分割部３２、３３、分離係数部３４〜３６、４３、加算器３７、４４、記憶部４１、４２、および適応処理部４５によって構成される。
【００３１】
遅延部３１は、マイクロホン１１で受音された混合波と、マイクロホン１２で受音された混合波とが同時刻に受音されたようにするために、混合信号ｘ₁を遅延させる構成部であり、マイクロホン１１が、マイクロホン１２より音源２０１、２０２に接近して配置されるために必要となる。この遅延の時間は、マイクロホン１１とマイクロホン１２間の距離に応じて決定される。
【００３２】
フレーム分割部３２、３３は、受音して得られた混合信号ｘ₁、ｘ₂を所定のサンプル長のフレームに分割するための構成部であり、フレーム化された混合信号ｘ₁、ｘ₂は、フレーム毎に分離係数部３４〜３７に出力される。
分離係数部３４は、入力された混合信号ｘ₁を分離係数ｃ₁₁倍して記憶部４１に出力する。ここで、分離係数ｃ₁₁の値は１であるため、分離係数部３４を省き、フレーム分割部３２と記憶部４１を直結するのでも良い。
【００３３】
分離係数部３６は、入力された混合信号ｘ₁を分離係数ｃ₂₁倍して加算器３７に出力する。ここで、分離係数ｃ₂₁の値は１であるため、分離係数部３６を省き、フレーム分割部３２と加算器３７を直結するのでも良い。
分離係数部３５は、混合信号ｘ₂と距離（ｌ₁、ｋ₁）に関する情報を入力とし、入力された混合信号ｘ₂を分離係数ｃ₂₂倍して記憶部４２に出力する。ここで、分離係数ｃ₂₂は、距離（ｌ₁、ｋ₁）を用いて、ｃ₂₂＝−（ｌ₁＋ｋ₁）／ｌ₁とする。
【００３４】
加算器３７は、分離係数部３５からの出力と分離係数部３６からの出力とを加算し、上記の式（３）で示される音源信号ｓ₂成分のみの出力信号ｙ₂を生成し、記憶部４２に出力する。
記憶部４１、４２は、それぞれ、分離係数部３４、加算器３７からの出力を記憶し、適応処理部４５の制御に従って、記憶された信号をフレーム毎に出力する。
【００３５】
分離係数部４３は、記憶部４２から出力された音源信号ｓ₂成分のみの出力信号ｙ₂を分離係数ｃ₁₂倍して加算器４４に出力する。ここで、分離係数ｃ₁₂は、適応処理部４５の制御に従って、その値が変更される。
加算器４４は、記憶部４１から出力された混合信号ｘ₁と分離係数部４３からの出力とを加算し、上記の式（５）のｙ₁＝ｘ₁＋ｃ₁₂・ｙ₂を生成する。
【００３６】
適応処理部４５は、分離係数ｃ₁₂を変更し、各分離係数値での出力信号ｙ₁と出力信号ｙ₂との相関を取り、得られた相関係数の値が最小となる出力信号ｙ₁を探す。換言すれば、混合信号ｘ₁から音源信号ｓ₂成分が除去されたか否かを評価するための評価関数として相関関数を用い、相関係数の値が最小となる分離係数ｃ₁₂の値のときに混合信号ｘ₁から音源信号ｓ₂成分が除去されたとするものである。
【００３７】
このような相関係数の値を最小とする出力信号の探索方法の例としては、特開２００１−１８１４９９号公報に開示された、適応処理回路における処理に適用された多変数Ｓｉｍｐｌｅｘ法がある。また、最速降下法、遺伝アルゴリズムを用いた探索法等の公知の方法もあるが、それらは、本願発明の趣旨と異なるため、その説明を省略する。
【００３８】
以上のように、音源分離部３０からは、出力信号ｙ₁として音源信号ｓ₁成分のみの信号が出力され、出力信号ｙ₂として音源信号ｓ₂成分のみの信号が出力され、分離したい目的音と出力信号との対応関係が明確につけられる。また、上記の式（３）および式（５）を用いて音源信号ｓ₁、ｓ₂を生成することも可能である。
【００３９】
なお、本発明の第１の実施の形態においては、マイクロホンを２個使用した場合について説明したが、マイクロホンを３個以上用いた場合でも、同様に、出力信号ｙ₁に音源信号ｓ₁を出力することが可能である。また、マイクロホンの個数と音源の個数、およびそれらの考えられる全ての場合毎の距離関係から分離係数をあらかじめ計算して記憶装置に記録し、値を参照して分離係数を求める手法をとるのでも良い。
【００４０】
以上説明したように、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置は、マイクロホンから音源までの距離に関する情報を測定する距離測定部と、その距離情報を用いて用いて音源分離処理を行う音源分離部とを設けたことによって、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することが可能となる。
【００４１】
また、マイクロホンの個数と音源の個数、およびそれらの考えられる全ての場合の距離関係から分離係数をあらかじめ計算して記憶装置に記録し、値を参照して分離係数を求める手法をとることによって、計算時間を短縮し、リアルタイムな処理が可能となる。
【００４２】
図４は、本発明の第２の実施の形態に係る音源分離収音方法における処理の流れを示すフローチャートである。なお、本発明の第２の実施の形態に係る音源分離収音方法が実行される装置の構成は、図１に示す本発明の第１の実施の形態に係る音源分離収音マイクロホン装置の構成と同じであり、その説明は省略する。
【００４３】
ステップＳ４０１で、マイクロホンアレイ部１０は、各音源２０１、２０２が発する音波が混合された混合波を収音する。
ステップＳ４０２で、距離測定部２０は、マイクロホンアレイ部１０と各音源２０１、２０２間の距離を測定し、その測定された距離に関する情報を音源分離部３０に出力する。
【００４４】
ステップＳ４０３で、音源分離部３０の遅延部３１は、マイクロホン１１で受音された混合波と、マイクロホン１２で受音された混合波とが同時刻に受音されたようにするために、混合信号ｘ₁を遅延させる。
ステップＳ４０４で、フレーム分割部３２、３３は、収音して得られた混合信号ｘ₁、ｘ₂を所定のサンプル長のフレームに分割する。
【００４５】
ステップＳ４０５で、分離係数部３６は、入力された混合信号ｘ₁を分離係数ｃ₂₁倍し、分離係数部３５は、混合信号ｘ₂と距離（ｌ₁、ｋ₁）に関する情報を入力とし、入力された混合信号ｘ₂を分離係数ｃ₂₂倍し、加算器３７は、分離係数部３５からの出力と分離係数部３６からの出力とを加算し、上記の式（３）で示される音源信号ｓ₂成分のみの出力信号ｙ₂を生成する。なお、ここで、分離係数ｃ₂₁は、１とする。
【００４６】
ステップＳ４０６で、適応処理部４５は、分離係数ｃ₁₂を設定する。本ステップで、最初に分離係数ｃ₁₂を設定する場合は、予め決められた値を設定しても良い。また、２回目以降に設定する場合は、適応処理部４５を、後述する出力信号間の相関係数の値が最小化するように設定する。
【００４７】
ステップＳ４０７で、分離係数部４３は、記憶部４２から出力された音源信号ｓ₂成分のみの出力信号ｙ₂を分離係数ｃ₁₂倍し、加算器４４は、混合信号ｘ₁と分離係数部４３からの出力とを加算し、上記の式（５）のｙ₁＝ｘ₁＋ｃ₁₂・ｙ₂を生成する。
ステップＳ４０８で、適応処理部４５は、出力信号ｙ₁と出力信号ｙ₂との相関を取る。
【００４８】
ステップＳ４０９で、適応処理部４５は、ステップＳ４０８で算出した相関係数の値が最小か否かを判断し、最小値でないと判断された場合、処理はステップＳ４０６に戻り、最小値と判断された場合は、処理はステップＳ４１０に進み、ステップＳ４１０で出力信号ｙ₁、ｙ₂を出力して処理は終了する。
ステップＳ４０９で最小値でないと判断された場合、ステップＳ４０６で、適応処理部４５は、上記の相関係数の値を最小化する値に分離係数ｃ₁₂を設定する。
【００４９】
このような相関値を最小とする出力信号の探索方法の例としては、特開２００１−１８１４９９号公報に開示された、適応処理回路における処理に適用された多変数Ｓｉｍｐｌｅｘ法、最速降下法、遺伝アルゴリズムを用いた探索法等の公知の方法があり、それらは、本願発明の趣旨と異なるため、その説明を省略する。
【００５０】
以上のように、音源分離収音マイクロホン装置１００からは、出力信号ｙ₁として音源信号ｓ₁成分のみの信号が出力され、出力信号ｙ₂として音源信号ｓ₂成分のみの信号が出力され、分離したい目的音と出力信号との対応関係が明確につけられる。また、上記の式（３）および式（５）を用いて音源信号ｓ₁、ｓ₂を生成することも可能である。
【００５１】
以上説明したように、本発明の第２の実施の形態に係る音源分離収音方法は、マイクロホンから音源までの距離に関する情報を測定するためのステップと、その距離情報を用いて用いて音源分離処理を行うためのステップとを設けたことによって、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することが可能となる。
【００５２】
また、マイクロホンの個数と音源の個数、およびそれらの考えられる全ての場合の距離関係から分離係数をあらかじめ計算して記憶装置に記録し、値を参照して分離係数を求める手法をとることによって、計算時間を短縮し、リアルタイムな処理が可能となる。
【００５３】
【発明の効果】
以上説明したように、本発明は、同一方向から到来する目的音と雑音を分離して収音することができ、所望の出力に目的音を特定して出力することが可能な音源分離収音マイクロホン装置および方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る音源分離収音マイクロホン装置のブロック構成図である。
【図２】本発明の第１の実施の形態に係る音源分離収音マイクロホン装置における音源分離部のブロック構成図である。
【図３】マイクロホン、音源相互の位置関係を示す説明図である。
【図４】本発明の第２の実施の形態に係る音源分離収音方法における処理の流れを示すフローチャートである。
【符号の説明】
１０マイクロホンアレイ部
１１、１２マイクロホン
２０距離測定部
３０音源分離部
３１遅延部
３２、３３フレーム分割部
３４〜３６、４３分離係数部
３７、４４加算器
４１、４２記憶部
４５適応処理部
１００音源分離収音マイクロホン装置
２０１、２０２音源[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a sound source separation / sound collection microphone apparatus and method for separating and collecting sound waves generated by a target sound source from a mixed wave of sound waves generated by a plurality of sound sources located in the same direction with respect to an observation point.
[0002]
[Prior art]
2. Description of the Related Art In recent years, research on blind signal separation processing technology for enabling an information processing apparatus such as a computer to be controlled by a human voice and in a noise environment such as a factory has been advanced. Conventionally, a method of separating a sound wave from a target sound source (hereinafter referred to as a target sound) from a sound wave from another direction using a microphone having sharp directivity is known. This method is effective for separating sound waves having different directions of arrival from each other.
[0003]
However, using only a sharp directional microphone makes it difficult to separate sound waves coming from the same direction from different sound sources. Therefore, in order to separate the target sound from the sound wave coming from the same direction, the blind signal separation process for separating the target sound by utilizing the low cross-correlation between sound waves generated by different sound sources (hereinafter referred to as sound source signals). Technology has been proposed.
[0004]
In addition, in the “sound source separation microphone system integrated with a video camera” disclosed in Japanese Patent Laid-Open No. 2001-84713, target sound and noise coming from the same direction can be separated and collected.
[0005]
[Problems to be solved by the invention]
However, when a conventional microphone with sharp directivity is used, when the target sound and noise arrive from the same direction, they cannot be collected separately, and multiple sound source signals coming from the same direction Therefore, there is no report example in which only the target sound is separated using the blind signal separation processing technique, and there is a problem that it is difficult to separate them.
[0006]
Further, in the “sound source separation microphone system integrated with a video camera” disclosed in Japanese Patent Laid-Open No. 2001-84713, the target sound and noise coming from the same direction can be separated and collected. In this signal processing circuit, since all the separation coefficients are calculated using the blind signal separation processing technique, there is a problem that it is not possible to control which of the output signals the target sound is output from.
[0007]
The present invention has been made to solve such a problem. The object of the present invention is to separate and collect a target sound and noise coming from the same direction, and specify the target sound at a desired output. It is an object of the present invention to provide a sound source separation / sound collection microphone apparatus and method that can output the sound.
[0008]
[Means for Solving the Problems]
In view of the above points, the invention according to claim 1 includes a first microphone, a plurality of microphones arranged on a straight line, a plurality of sound sources on a straight line on which the plurality of microphones are arranged, and the Distance measuring means for measuring a distance between the first microphone, information on a distance between the first microphone and each sound source, and the first microphone of the first microphone and the plurality of microphones; Information on the distance to the other microphone, and a mixed wave obtained by mixing sound waves emitted from each sound source, and the target sound source is obtained from the mixed signal obtained by collecting the sound from each microphone. and a sound source separating means for separating signal components of the sound waves emitted, the sound source separating means, by using the information of the distance measured by the distance measuring means, each micro Ting the advance calculate the separation factor for all combinations of each sound source has a configuration for separating the signal components of the sound waves each sound source emitted by using the value of the previously calculated separation factor ing.
[0009]
With this configuration, a distance measurement unit that measures information about the distance from the microphone to the sound source and a sound source separation unit that performs sound source separation processing using the distance information are provided, so that the signal of the sound wave emitted by the target sound source and unnecessary Noise can be separated and output.
[0012]
According to a third aspect of the present invention, there is provided a distance measuring step of measuring a distance between a plurality of sound sources on a straight line on which a plurality of microphones including the first microphone are arranged, and the microphone of the first item; The information about the distance between the first microphone and each of the sound sources and the information about the distance between the first microphone and a microphone other than the first microphone among the plurality of microphones are used. a mixed wave mixing waves emitted, from said mixed signal obtained is collected by each microphone, and a sound source separation step of separating a signal component of the sound waves emitted by the sound source of interest, the sound source The separation step uses all the distance information measured in the distance measurement step to determine all combinations of the microphones and the sound sources. The separation factors calculated in advance advance, and has a structure for separating the signal components of the sound waves each sound source emitted by using the value of the previously calculated separation factor Te.
[0013]
With this configuration, by providing a step for measuring information about the distance from the microphone to the sound source and a step for performing sound source separation processing using the distance information, the sound wave emitted by the target sound source is provided. Can be separated and output from unnecessary noise.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a sound source separation and collection microphone device according to a first embodiment of the present invention will be described with reference to the accompanying drawings.
FIG. 1 shows a block diagram of a sound source separation and collection microphone device according to the first embodiment of the present invention. In FIG. 1, a sound source separation / sound collection microphone device 100 includes a microphone array unit 10, a distance measurement unit 20, and a sound source separation unit 30.
[0019]
The microphone array unit 10 has a configuration in which a plurality of microphones are arranged on a straight line at regular intervals, and detects a mixed wave of sound waves emitted from each sound source. FIG. 1 shows an example in which the microphone array unit 10 includes two

microphones

11 and 12 and two

sound sources

201 and 202 exist. Here, as each of the

microphones

11 and 12, unidirectional or non-directional microphones may be used.
[0020]
The mixed waves of the sound waves generated by the

sound sources

201 and 202 are detected by the

microphones

11 and 12 of the microphone array unit 10, respectively, and the detected mixed wave electrical signals x ₁ and x ₂ are output to the sound source separation unit 30, respectively. Is done.
The distance measuring unit 20 measures the distance between the microphone array unit 10 and each of the

sound sources

201 and 202, and outputs information regarding the measured distance to the sound source separating unit 30. For example, the distance measuring unit 20 may measure the distance using infrared rays or ultrasonic waves, may measure the distance using the focus information of the camera lens, or may use other methods.
[0021]
For convenience of explanation, the distance measured above is a distance l ₁ from the microphone 11 to the sound source 201 and a distance l ₂ from the microphone 11 to the sound source 202, which are schematically shown in FIG. It is clear that the distance from the predetermined position may be acceptable. The distance k ₁ from the microphone 11 to the microphone 12 is assumed to be known in advance.
[0022]
The sound source separation unit 30 outputs mixed wave electrical signals x ₁ and x ₂ output from the microphone array unit 10 (x ₁ is an output signal from the microphone 11, and x ₂ is an output signal from the microphone 12). This is a component for separating the distance information output from the distance measuring unit 20 into sound wave signals for the

sound sources

201 and 202 and outputting them (hereinafter referred to as sound source signal separation processing).
Hereinafter, the principle of the sound source signal separation processing performed in the sound source separation unit 30 will be described with reference to the drawings.
[0023]
Since the sound wave emitted from the sound source 201 and the sound wave emitted from the sound source 202 have different propagation distances to the

microphones

11 and 12, they are mixed and received by the

microphones

11 and 12 at different mixing ratios. For convenience of explanation, in the following, the characteristics of the

microphones

11 and 12 are assumed to be the same, and the signals when the microphones 11 (or the microphones 12) receive the sound waves generated by the sound source 201 and the sound source 202 at the sound source positions are respectively the sound source signals. s ₁ and s ₂ , a signal when the microphone 11 receives the sound wave emitted by the sound source 201 and the sound source 202 at the position of the microphone 11 is a mixed signal x _1, and a signal when the sound is received at the position of the microphone 12 a mixed signal x _2.
[0024]
The mixed signals x ₁ and x ₂ from the

microphones

11 and 12 are linear in the sound source signals s ₁ and s ₂ using the distances (l ₁ , l ₂ , k ₁ ) as shown in the following formula (1). Can be described conceptually by combination.
[Expression 1]

[0025]
Therefore, in principle, the mixed signals x ₁ and x ₂ can be used to separate the sound source signals s ₁ and s ₂ from the

original sound sources

201 and 202 by linear transformation. The linear transformation is shown in Equation (2).
[Expression 2]

Here, c _ij (i, j = 1, 2) is a separation coefficient for separating the sound source signals s ₁ and s ₂ using the mixed signals x ₁ and x ₂ .
[0026]
Since the distance k ₁ is known, when the distance l ₁ is known, the mixing ratio of sound waves emitted by the sound source 201 and received by the sound microphone 1 and the microphone 2 is (l ₁ + k ₁ ): l ₁ Is calculated as Therefore, if c ₂₁ = 1 and c ₂₂ = − (l ₁ + k ₁ ) / l ₁ are given, the formula (1) is substituted into the formula (2), and the left side of the formula (2) (hereinafter, the output signal) In this case, y ₂ can be made to include only the sound source signal s _{2 as} shown in the following equation (3).
[Equation 3]

[0027]
Next, although the absolute value is different from the output signal y _{1 of} the above equation (2), the mixing ratio of the sound source signals s ₁ and s ₂ is maintained, and the signal expressed by linear combination is expressed by the following equation (4). Can be obtained as shown.
[Expression 4]

Y ₁ in the equation (4) is an output signal newly represented by linear combination, and c _{12 in the} equation (4) is a coupling coefficient (hereinafter referred to as a separation coefficient).
[0028]
Since there is no output signal y ₂ in the above formula (3) contains only the source signal s _2, from the mixed signal x ₁ by adjusting the separation factor c ₁₂ except the sound source signal s _2, the sound source signal s ₁ The output signal y ₁ of equation (4) with only components can be obtained. The following expression (5) shows the output signal y ₁ that is obtained by removing the sound source signal s ₂ and using only the sound source signal s ₁ component by using the expressions (1) and (4).
[Equation 5]

[0029]
Here, as a method of excluding the above-mentioned sound source signal s ₂ and using only the sound source signal s ₁ component, the separation coefficient c ₁₂ is changed, and the cross-correlation between the output signal y ₁ and the sound source signal s _{2 for} each separation coefficient c _12. And the output signal at the separation coefficient c ₁₂ with the lowest cross-correlation calculation value is taken out. This is based on the statistical independence between the sound source signal s ₁ and the sound source signal s ₂ . As described above, the sound source signal s ₁ and the sound source signal s ₂ can be separated using the mixed signals x ₁ and x ₂ .
[0030]
FIG. 2 shows a block configuration of the sound source separation unit 30 in the sound source separation and collection microphone apparatus according to the first embodiment of the present invention. In FIG. 2, the sound source separation unit 30 includes a delay unit 31,

frame division units

32 and 33, separation coefficient units 34 to 36 and 43,

adders

37 and 44,

storage units

41 and 42, and an adaptive processing unit 45. The
[0031]
The delay unit 31 is a component that delays the mixed signal x ₁ so that the mixed wave received by the microphone 11 and the mixed wave received by the microphone 12 are received at the same time. Yes, it is necessary for the microphone 11 to be disposed closer to the

sound sources

201 and 202 than the microphone 12. The delay time is determined according to the distance between the microphone 11 and the microphone 12.
[0032]
The

frame division units

32 and 33 are components for dividing the mixed signals x ₁ and x ₂ obtained by receiving the sound into frames having a predetermined sample length, and are formed into framed mixed signals x ₁ and x _2. Are output to the separation coefficient units 34 to 37 for each frame.
The separation coefficient unit 34 multiplies the input mixed signal x ₁ by the separation coefficient c ₁₁ and outputs the result to the storage unit 41. Here, since the value of the separation coefficient c ₁₁ is 1, the separation coefficient unit 34 may be omitted, and the frame division unit 32 and the storage unit 41 may be directly connected.
[0033]
The separation coefficient unit 36 multiplies the input mixed signal x ₁ by a separation coefficient c ₂₁ and outputs the result to the adder 37. Here, since the value of the separation coefficient c ₂₁ is 1, the separation coefficient unit 36 may be omitted, and the frame division unit 32 and the adder 37 may be directly connected.
The separation coefficient unit 35 receives information on the mixed signal x ₂ and the distance (l ₁ , k ₁ ) as input, and multiplies the input mixed signal x ₂ by a separation coefficient c ₂₂ and outputs the result to the storage unit 42. Here, the separation coefficient c ₂₂ is set to c ₂₂ = − (l ₁ + k ₁ ) / l ₁ using the distance (l ₁ , k ₁ ).
[0034]
The adder 37 adds the output from the separation coefficient unit 35 and the output from the separation coefficient unit 36 to generate the output signal y _{2 of} only the sound source signal s ₂ component represented by the above equation (3), and stores it. To the unit 42.
The

storage units

41 and 42 store the outputs from the separation coefficient unit 34 and the adder 37, respectively, and output the stored signals for each frame in accordance with the control of the adaptive processing unit 45.
[0035]
The separation coefficient unit 43 multiplies the output signal y _{2 of} only the sound source signal s ₂ component outputted from the storage unit 42 by the separation coefficient c ₁₂ and outputs the result to the adder 44. Here, the value of the separation coefficient c ₁₂ is changed according to the control of the adaptive processing unit 45.
The adder 44 adds the mixed signal x ₁ output from the storage unit 41 and the output from the separation coefficient unit 43 to generate y ₁ = x ₁ + c ₁₂ · y ₂ in the above equation (5).
[0036]
The adaptive processing unit 45 changes the separation coefficient c ₁₂ to obtain a correlation between the output signal y ₁ and the output signal y ₂ at each separation coefficient value, and the output signal y that minimizes the value of the obtained correlation coefficient. Find ₁ In other words, when the correlation function is used as an evaluation function for evaluating whether or not the sound source signal s ₂ component has been removed from the mixed signal x _1, and the value of the separation coefficient c ₁₂ has a minimum correlation coefficient value. It is assumed that the sound source signal s ₂ component is removed from the mixed signal x ₁ .
[0037]
As an example of an output signal search method that minimizes the value of the correlation coefficient, there is a multivariable Simplex method that is disclosed in Japanese Patent Laid-Open No. 2001-181499 and applied to processing in an adaptive processing circuit. In addition, there are known methods such as the fastest descent method and a search method using a genetic algorithm, but these are different from the gist of the present invention and will not be described.
[0038]
As described above, the sound source separation unit 30 outputs only the signal of the sound source signal s ₁ component as the output signal y ₁ , and outputs the signal of only the sound source signal s ₂ component as the output signal y ₂ , and the target sound to be separated And the correspondence between the output signal and the output signal can be clearly established. It is also possible to generate the sound source signals s ₁ and s ₂ using the above equations (3) and (5).
[0039]
In the first embodiment of the present invention, the case where two microphones are used has been described. Similarly, even when three or more microphones are used, the sound source signal s ₁ is output as the output signal y _1. Is possible. In addition, the separation coefficient is calculated in advance from the number of microphones and the number of sound sources, and the distance relations in all possible cases, recorded in a storage device, and a method for obtaining the separation coefficient by referring to the value is also taken. good.
[0040]
As described above, the sound source separation and collection microphone device according to the first embodiment of the present invention uses the distance measurement unit that measures information about the distance from the microphone to the sound source and the sound source using the distance information. By providing a sound source separation unit that performs separation processing, it is possible to separate and output a sound wave signal emitted from a target sound source and unnecessary noise.
[0041]
In addition, by calculating the separation factor in advance from the number of microphones and the number of sound sources, and the distance relations in all of those cases, recording it in the storage device, and taking the method of obtaining the separation factor by referring to the value, Calculation time can be shortened and real-time processing becomes possible.
[0042]
FIG. 4 is a flowchart showing the flow of processing in the sound source separation and collection method according to the second embodiment of the present invention. The configuration of the apparatus for performing the sound source separation / sound collection method according to the second embodiment of the present invention is the same as that of the sound source separation / sound collection microphone apparatus according to the first embodiment of the present invention shown in FIG. The description is omitted.
[0043]
In step S401, the microphone array unit 10 collects a mixed wave in which sound waves generated by the

sound sources

201 and 202 are mixed.
In step S <b> 402, the distance measurement unit 20 measures the distance between the microphone array unit 10 and the

sound sources

201 and 202, and outputs information regarding the measured distance to the sound source separation unit 30.
[0044]
In step S403, the delay unit 31 of the sound source separation unit 30 performs mixing so that the mixed wave received by the microphone 11 and the mixed wave received by the microphone 12 are received at the same time. delays the signal x _1.
In step S404, the

frame division units

32 and 33 divide the mixed signals x ₁ and x ₂ obtained by collecting the sound into frames having a predetermined sample length.
[0045]
In step S405, the separation factor 36, the mixed signal x ₁ input separation factor c ₂₁ multiplied by the separation factor 35, the information about the mixed signal x ₂ and the distance (l _{_1,} k ₁₎ as an input, the input mixed signal x ₂ separation factor c ₂₂ multiplied by the adder 37 adds the output from the output and the separation coefficient unit 36 from the separation factor unit 35, a sound source represented by the above formula (3) An output signal y ₂ having only the signal s ₂ component is generated. Here, the separation coefficient c ₂₁ is 1.
[0046]
In step S406, the adaptive processing section 45 sets the separation factor c _12. In this step, when the separation coefficient c ₁₂ is initially set, a predetermined value may be set. In the case of setting the second time or later, the adaptive processing unit 45 is set so that the value of the correlation coefficient between output signals described later is minimized.
[0047]
In step S407, the separation factor 43, a sound source signal s ₂ component only of the output signal y ₂ output from the storage unit 42 separation factor c ₁₂ multiplied by the adder 44, the mixed signal x ₁ and the separation factor 43 Are added together to generate y ₁ = x ₁ + c ₁₂ · y ₂ in the above equation (5).
In step S408, the adaptive processing unit 45 correlates the output signal y ₁ and the output signal y ₂ .
[0048]
In step S409, the adaptive processing unit 45 determines whether or not the value of the correlation coefficient calculated in step S408 is the minimum. If it is determined that the value is not the minimum value, the process returns to step S406 and is determined to be the minimum value. If so, the process proceeds to step S410, and the output signals y ₁ and y ₂ are output in step S410, and the process ends.
If it is determined not to be a minimum value at step S409, the in step S406, the adaptive processing section 45 sets the separation factor c ₁₂ to a value that minimizes the value of the correlation coefficient of the.
[0049]
Examples of such an output signal search method that minimizes the correlation value include the multivariable Simplex method, the fastest descent method, genetics, and the like disclosed in Japanese Patent Application Laid-Open No. 2001-181499. There are known methods such as a search method using an algorithm, and these are different from the gist of the present invention, and the description thereof is omitted.
[0050]
As described above, only the sound source signal s ₁ component is output as the output signal y _{1 and} the signal of only the sound source signal s ₂ component is output as the output signal y ₂ from the sound source separation / sound-collecting microphone device 100 and separated. Correspondence between the target sound and the output signal is clearly established. It is also possible to generate the sound source signals s ₁ and s ₂ using the above equations (3) and (5).
[0051]
As described above, the sound source separation and sound collection method according to the second embodiment of the present invention uses the step for measuring information related to the distance from the microphone to the sound source and the sound source separation using the distance information. By providing a step for performing processing, it is possible to separate and output a sound wave signal emitted from a target sound source and unnecessary noise.
[0052]
In addition, by calculating the separation factor in advance from the number of microphones and the number of sound sources, and the distance relations in all of those cases, recording it in the storage device, and taking the method of obtaining the separation factor by referring to the value, Calculation time can be shortened and real-time processing becomes possible.
[0053]
【The invention's effect】
As described above, the present invention can separate and collect the target sound and noise coming from the same direction, and can identify and output the target sound to a desired output and output it. A microphone device and method can be realized.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a sound source separation and collection microphone device according to a first embodiment of the present invention.
FIG. 2 is a block configuration diagram of a sound source separation unit in the sound source separation / sound collection microphone apparatus according to the first embodiment of the present invention;
FIG. 3 is an explanatory diagram showing a positional relationship between a microphone and a sound source.
FIG. 4 is a flowchart showing a process flow in a sound source separation and collection method according to a second embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10

Microphone array part

11, 12 Microphone 20 Distance measurement part 30 Sound source separation part 31

Delay part

32, 33 Frame division part 34-36, 43

Separation coefficient part

37, 44

Adder

41, 42 Storage part 45 Adaptive processing part 100 Sound source separation Sound collecting

microphone device

201, 202 Sound source

Claims

A plurality of microphones including a first microphone and arranged on a straight line; and distance measuring means for measuring a distance between the plurality of sound sources on the straight line on which the plurality of microphones are arranged and the first microphone; Using the information about the distance between the first microphone and each sound source and the information about the distance between the first microphone and a microphone other than the first microphone among the plurality of microphones, A mixed wave obtained by mixing sound waves emitted by a sound source, comprising a sound source separation means for separating a signal component of the sound wave emitted by a target sound source from a mixed signal obtained by collecting the sound by each microphone; The sound source separation means uses the distance information measured by the distance measurement means, and uses all the combinations of the microphones and the sound sources. Calculated in advance the separation factor Te, the sound source separation sound pickup microphone device and separating the signal component of the sound waves each sound source emitted by using the value of the pre-calculated separation factor.

A distance measuring step for measuring a distance between a plurality of sound sources on a straight line on which a plurality of microphones including the first microphone are arranged and the first microphone; and a distance between the first microphone and each of the sound sources. And a mixed wave obtained by mixing sound waves emitted from each sound source using information on the distance between the first microphone and a distance between the plurality of microphones other than the first microphone. A sound source separation step of separating a signal component of a sound wave emitted by a target sound source from a mixed signal obtained by collecting the sound by each microphone, and the sound source separation step is measured in the distance measurement step. The separation factor is calculated in advance for all combinations of each microphone and each sound source using the information on the distance obtained. Can, sound source separation sound collecting method characterized by separating the signal components of the sound waves each sound source emitted by using the value of the pre-calculated separation factor.