JP4928382B2 - Specific direction sound collection device, specific direction sound collection method, specific direction sound collection program, recording medium - Google Patents
Specific direction sound collection device, specific direction sound collection method, specific direction sound collection program, recording medium Download PDFInfo
- Publication number
- JP4928382B2 JP4928382B2 JP2007208936A JP2007208936A JP4928382B2 JP 4928382 B2 JP4928382 B2 JP 4928382B2 JP 2007208936 A JP2007208936 A JP 2007208936A JP 2007208936 A JP2007208936 A JP 2007208936A JP 4928382 B2 JP4928382 B2 JP 4928382B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency domain
- specific direction
- angle
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本発明は音声通話や機器の操作などハンズフリー方式で音声を取得する収音装置に関するものであり、特に収音装置から見て特定の方向に存在する音源からの音だけを強調して収音したい場合に適用して好適な特定方向収音装置、特定方向収音方法、特定方向収音プログラム、および特定方向収音プログラムを記録した記録媒体に関する。 The present invention relates to a sound collection device that acquires a voice in a hands-free manner, such as a voice call or operation of a device. The present invention relates to a specific direction sound collection device, a specific direction sound collection method, a specific direction sound collection program, and a recording medium on which a specific direction sound collection program is recorded.
従来技術では、図1に示すようにx−y平面上のM個の異なる位置(p1,q1)〜(pM,qM)に配置されたマイクロホンmic.1〜mic.Mを用いて、任意の角度θSの方向にある音源から発生される音を信号とし、それ以外の方向で発せられる音を雑音として、信号のみを強調して高いSNR(信号雑音比)で収音する。図2は従来の強調収音法の構成を示すブロック図である。位置(xm,ym)に配置されたマイクロホンmで受音した信号xm(n)(m=1…M)に対し、式(1)のように遅延Dmを付加することにより信号ym(n)を得る。 In the prior art, as shown in FIG. 1, microphones mic. Arranged at M different positions (p 1 , q 1 ) to (p M , q M ) on the xy plane are used. 1-mic. Using M, sound generated from a sound source in an arbitrary angle θ S direction is used as a signal, sound generated in other directions is used as noise, and only the signal is emphasized with a high signal-to-noise ratio (SNR). Collect sound. FIG. 2 is a block diagram showing the configuration of a conventional enhanced sound collection method. The signal x m (n) (m = 1... M) received by the microphone m arranged at the position (x m , y m ) is added by adding a delay D m as shown in the equation (1). Obtain y m (n).
ym(n)=xm(n−Dm) (1)
このとき遅延量Dmは、あらかじめ与えられた所望音源の方向θSから、それぞれ式(2)により導出することができる。
y m (n) = x m (n−D m ) (1)
At this time, the delay amount D m can be derived from the desired sound source direction θ S given in advance by the equation (2).
Dm=(dm/c)sinθS (2)
ここでcは音速であり、dmは図1においてθS方向から到来した音波から見たときの、マイクmと基準点の間の距離で、式(3)により表される。
D m = (d m / c) sin θ S (2)
Where c is the speed of sound, d m is when viewed from the sound wave arriving from theta S direction in FIG. 1, the distance between the microphone m and a reference point is represented by the formula (3).
dm=pmsinθ+qmcosθ (3)
次にいま得られたym(n)を式(4)のように加算することで、所望位置から発せられる音を強調した信号z(n)が求められる。
d m = p m sin θ + q m cos θ (3)
Next, y m (n) obtained now is added as shown in Expression (4) to obtain a signal z (n) that emphasizes the sound emitted from the desired position.
従来技術を用いて収音装置の指向特性をある特定の方向に向け、その方向で発せられる音を強調し、それ以外の方向で発せられる音を抑圧して収音する場合に、従来技術により形成される指向特性はサイドローブを持つ。したがって、本来抑圧したい方向から発せられる音が十分に抑圧されずに収音されてしまう問題があった。このため強調したい音源の方向以外に非常に大きな音を発する雑音源が存在する場合に、従来技術の収音装置は所望音源に対する十分な強調効果が得られなかった。また従来技術において、サイドローブを低減するには、マイクロホン数を増やし、またマイクロホンアレーを大型にしなければならず、実用する際には設置、運搬が困難であった。さらに従来技術による収音装置の指向特性は周波数によって変化するため、所望音や雑音のもつ周波数構造によっては、十分な強調効果が得られない問題があった。 When the sound collecting device is directed to a specific direction using conventional technology, the sound emitted in that direction is emphasized, and the sound emitted in other directions is suppressed and collected. The formed directivity has side lobes. Therefore, there has been a problem that sound emitted from the direction in which it is desired to be suppressed is collected without being sufficiently suppressed. For this reason, when there is a noise source that emits a very loud sound other than the direction of the sound source to be emphasized, the sound collecting device of the prior art cannot obtain a sufficient enhancement effect for the desired sound source. Further, in the prior art, in order to reduce the side lobes, the number of microphones must be increased and the microphone array must be increased in size, which is difficult to install and transport in practical use. Furthermore, since the directivity characteristics of the sound collecting device according to the prior art change depending on the frequency, there is a problem that a sufficient emphasis effect cannot be obtained depending on the frequency structure of the desired sound or noise.
本発明は以上の課題を解決されるためになされたもので、マイクロホンアレーの規模を拡大することなく、従来技術よりも高いSNRで所望音源からの音を強調して収音する装置を実現することにある。 The present invention has been made to solve the above-described problems, and realizes an apparatus for enhancing and collecting sound from a desired sound source with an SNR higher than that of the prior art without increasing the scale of a microphone array. There is.
本発明の特定方向収音装置は、複数のビームフォーマー部、複数の周波数領域変換部、特定方向選択部、信号量推定部、利得係数算出部、乗算部を備える。ビームフォーマー部は、複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用してそれぞれが異なる方向の角度領域から到来する音を強調して収音する。周波数領域変換部は、複数のビームフォーマー部が収音した角度領域信号のそれぞれを複数の帯域成分に分割した周波数領域信号に変換する。特定方向選択部は、各周波数領域変換部が出力する周波数領域信号の中の所望方向の角度領域に属する特定方向周波数領域信号を選択する。信号量推定部は、領域集約手段と逆行列演算手段と乗算手段とを有する。領域集約手段は、特定方向周波数領域信号の信号量と他の方向の角度領域信号の信号量からなる集約パワーベクトルを求める。逆行列演算手段は、ビームフォーマー部の指向特性から求めた集約ゲイン行列の逆行列を求める。乗算手段は、集約パワーベクトルに逆行列を乗算して周波数領域信号の総和量の推定値を求める。利得係数算出部は、特定方向周波数領域信号の信号量と周波数領域信号の総和量との比により周波数帯域毎の利得係数を算出する。乗算部は、利得係数算出部が算出した利得係数を特定方向周波数領域信号の各対応する周波数帯域の信号量に乗算する。 The specific direction sound pickup apparatus of the present invention includes a plurality of beam former units, a plurality of frequency domain conversion units, a specific direction selection unit, a signal amount estimation unit, a gain coefficient calculation unit, and a multiplication unit. The beamformer unit collects sound by emphasizing sounds coming from angular regions in different directions using output signals of a microphone array configured by mounting a plurality of microphones. The frequency domain conversion unit converts each of the angle domain signals collected by the plurality of beam former units into a frequency domain signal divided into a plurality of band components. The specific direction selection unit selects a specific direction frequency domain signal belonging to an angle domain in a desired direction among the frequency domain signals output from each frequency domain conversion unit. The signal amount estimation unit includes a region aggregation unit, an inverse matrix calculation unit, and a multiplication unit. The region aggregating unit obtains an aggregate power vector composed of the signal amount of the specific direction frequency region signal and the signal amount of the angle region signal in the other direction. The inverse matrix calculation means obtains an inverse matrix of the aggregate gain matrix obtained from the directivity characteristics of the beam former unit. The multiplication means multiplies the aggregate power vector by an inverse matrix to obtain an estimated value of the total amount of frequency domain signals. The gain coefficient calculation unit calculates a gain coefficient for each frequency band based on a ratio between the signal amount of the specific direction frequency domain signal and the total amount of the frequency domain signals. The multiplying unit multiplies the gain coefficient calculated by the gain coefficient calculating unit by the signal amount of each corresponding frequency band of the specific direction frequency domain signal.
本発明の特定方向収音装置によれば、所望方向の音源が発する音を強調して収音する際の強調効果を改善するために、マイクロホンアレーによって受音した信号を用いて複数のビームフォーマー部処理の結果から各音源が発する音信号のパワーを推定し、収音領域内の信号を強調する非線形フィルタ係数を用いて所望音信号を強調する。したがって、マイクロホンの数の増大やマイクロホンアレーの大型化が必要ない。また、実用において設置や運搬が容易な小規模なシステムのまま強調効果を改善できる。 According to the specific direction sound pickup device of the present invention, in order to improve the enhancement effect when collecting sound by enhancing a sound emitted from a sound source in a desired direction, a plurality of beamforms are obtained using signals received by a microphone array. The power of the sound signal emitted from each sound source is estimated from the result of the image processing, and the desired sound signal is enhanced using a nonlinear filter coefficient that enhances the signal in the sound collection region. Therefore, it is not necessary to increase the number of microphones or increase the size of the microphone array. In addition, the emphasis effect can be improved with a small system that is easy to install and transport in practice.
また、本発明の特定方向収音装置の処理では、逆行列演算手段での処理が最も計算時間を必要とする。本発明の特定方向収音装置の信号量推定部は、2次元の集約パワーベクトルを用いるため、ビームフォーマー部の指向特性から求めた集約ゲイン行列も2行2列である。したがって、処理全体の計算量を大きく削減できる。 Further, in the processing of the sound collecting apparatus in the specific direction of the present invention, the processing by the inverse matrix calculating means requires the longest calculation time. Since the signal amount estimation unit of the sound collecting apparatus of the specific direction according to the present invention uses a two-dimensional aggregate power vector, the aggregate gain matrix obtained from the directivity of the beamformer unit is also 2 rows and 2 columns. Therefore, the calculation amount of the entire process can be greatly reduced.
原理
図4に本発明の特定方向収音装置のマイクロホンアレーの配置の例を示す。本発明では、図4に示すように、収音する領域を複数の方向領域に分割し、マイクロホンアレーの指向性をそれぞれの方向領域に向けるように制御して受音した信号を用いる。このときマイクロホンアレーによって処理された信号は、その処理前と比較して音源の存在する方向に応じてパワー(「信号量」とも言う。)が変化する。本発明では、このパワーの変化量を利用して、それぞれの方向領域から到来する信号のパワーを推定する。そして、推定されたパワーから、事前に与えられた方向領域から到来する信号を強調する非線形フィルタを構成し(利得係数を求め)、そのフィルタを通した信号を最終的な出力信号として得る。また、計算量を削減するために、上述の信号のパワー推定において、方向領域の集約を行う。
Principle FIG. 4 shows an example of the arrangement of the microphone array of the sound collecting device in a specific direction according to the present invention. In the present invention, as shown in FIG. 4, an area to be collected is divided into a plurality of direction areas, and a signal received by controlling the directivity of the microphone array to each direction area is used. At this time, the signal processed by the microphone array changes in power (also referred to as “signal amount”) in accordance with the direction in which the sound source exists, as compared to before the processing. In the present invention, the power of the signal arriving from each direction area is estimated using the amount of change in power. Then, a non-linear filter that emphasizes a signal arriving from a direction region given in advance is formed from the estimated power (a gain coefficient is obtained), and a signal that has passed through the filter is obtained as a final output signal. In order to reduce the amount of calculation, the direction areas are aggregated in the above-described signal power estimation.
以下に、具体的な実施形態を説明する。なお、同じ機能、同じ処理を行う構成部には同じ番号を付し、重複説明を省略する。
[第1実施形態]
はじめに本発明の全体の概要を説明する。図5は本発明の特定方向収音装置の全体構成例を示している。図6は本発明の特定方向収音装置の処理フローの例を示している。M(≧2)個のマイクロホンから構成されるマイクロホンアレー11によって受音された信号xm(n)(m=1,2,…,M)は、ビームフォーマー部12−1からビームフォーマー部12−QまでのQ個のビームフォーマー部12−1〜12−Qに入力される。ここでnは離散時間信号のサンプル番号を表す。
Specific embodiments will be described below. In addition, the same number is attached | subjected to the component which performs the same function and the same process, and duplication description is abbreviate | omitted.
[First Embodiment]
First, an overall outline of the present invention will be described. FIG. 5 shows an example of the overall configuration of the specific direction sound pickup apparatus of the present invention. FIG. 6 shows an example of the processing flow of the specific direction sound pickup apparatus of the present invention. Signals x m (n) (m = 1, 2,..., M) received by the
ビームフォーマー部12−1〜12−Qでは、例えば図7に示すような指向性のビームBMを、図4であらかじめ与えられたQ個の方向領域Θ1〜ΘQのいずれかに向け、該当する方向領域で発せられる音を強調して収音する処理を行い、結果を出力する(S12−1〜S12−Q)。各ビームフォーマー部12−1〜12−Qの出力信号y1(n)、y2(n)、…、yQ(n)はそれぞれ周波数領域変換部13−1〜13−Qに入力される。周波数領域変換部13−1〜13−Qは、入力された信号を短い時間長(例えばサンプリング周波数16000Hzの場合には256サンプル程度)のフレームに分解し、それぞれのフレームにおいて離散フーリエ変換を行って、得られたΩ個の周波数成分を出力信号Y1(ω,l)、Y2(ω,l)、…YQ(ω,l)として出力する(S13−1〜S13−Q)。周波数領域変換された信号は、信号量推定部14と特定方向選択部15にそれぞれ入力される。
In the beam former units 12-1 to 12-Q, for example, a directional beam BM as shown in FIG. 7 is directed to any one of the Q direction regions Θ 1 to Θ Q given in advance in FIG. A process of collecting sound by emphasizing the sound emitted in the corresponding direction area is performed, and the result is output (S12-1 to S12-Q). The output signals y 1 (n), y 2 (n),..., Y Q (n) of the beam former units 12-1 to 12-Q are respectively input to the frequency domain transform units 13-1 to 13-Q. The The frequency domain transforming units 13-1 to 13-Q decompose the input signal into frames having a short time length (for example, about 256 samples when the sampling frequency is 16000 Hz), and perform discrete Fourier transform in each frame. The obtained Ω frequency components are output as output signals Y 1 (ω, l), Y 2 (ω, l),... Y Q (ω, l) (S13-1 to S13-Q). The frequency domain transformed signal is input to the signal
信号量推定部14は、入力されたビームフォーマー部12−1〜12−Qの出力信号パワーから各方向領域Θ1〜ΘQにおける音源から発せられる音信号の総和のパワー成分を求め、これを1つのベクトルにまとめた信号パワーベクトルXest(ω,l)を出力する(S14)。
The signal
特定方向選択部15は、強調したい方向領域に指向性のビームを向けたビームフォーマー部の出力を選択しYS(ω,l)として出力する(S15)。
The specific
利得係数算出部16は、入力された信号パワーベクトルXest(ω,l)から利得係数R(ω,l)を算出し、出力する(S16)。利得係数R(ω,l)は乗算部17に入力される。乗算部17は入力された利得係数R(ω,l)と特定方向選択部15の出力YS(ω,l)を同じ周波数の成分ごとに掛け算した結果を出力する(S17)。乗算部17の出力信号YSR(ω,l)は逆周波数領域変換部18に入力され、逆離散フーリエ変換を行って時間信号に復元された信号y(n)が出力される(S18)。この信号y(n)が本発明の装置によって所望音が強調されて収音された信号である。
The gain
ビームフォーマー部12−1〜12−Q、信号量推定部14、特定方向選択部15、利得係数算出部16の詳細は別の図を用いて以下に順に説明する。
Details of the beam former units 12-1 to 12-Q, the signal
(ビームフォーマー部)
図8はビームフォーマー部12−1〜12−Qの中の一つの構成を示している。同様の処理がすべてのビームフォーマー部において行われる。入力された信号xm(n)(m=1,2,…,M)はフィルタ処理部FC1〜FCMに入力される。フィルタ処理部FC1〜FCMではあらかじめ与えられた(決定方法は後述する)フィルタ係数Wqm(n)を、式(5)に示す畳み込み演算に代入して得られる信号x’qm(n)を出力する。
(Beam former part)
FIG. 8 shows one configuration of the beam former units 12-1 to 12-Q. Similar processing is performed in all beam former units. The input signal x m (n) (m = 1, 2,..., M) is input to the filter processing units FC1 to FCM. The filter processing units FC1 to FCM output a signal x ′ qm (n) obtained by substituting a filter coefficient W qm (n) given in advance (determination method will be described later) into the convolution operation shown in Expression (5). To do.
(信号量推定部)
図9は信号量推定部14の構成を示している。信号量推定部14に入力される周波数成分Y1(ω,l)、Y2(ω,l)、…、YQ(ω,l)はそれぞれパワー演算部PW−1〜PW−Qに入力され、信号のパワー値|Y1(ω,l)|2、|Y2(ω,l)|2、…、|YQ(ω,l)|2が出力され、領域集約部14Aに入力される(図6のSPA)。領域集約部14Aは、あらかじめ決められた収音したい領域の集合Sから発せられる信号のパワー値の平均と、抑圧したい領域の集合Nから発せられる信号のパワー平均を求め、その結果からなる集約パワーベクトルY(ω,l)を出力する(図6のS14A)。
(Signal amount estimation unit)
FIG. 9 shows the configuration of the signal
ビームフォーマー部出力パワーベクトルY(ω,l)は乗算部14Bに入力される。乗算部14Bのもう一方の入力であるパワー推定行列T−1(ω)は、逆行列演算部14Cの出力信号である。逆行列演算部14Cには式(8)により定義される集約ゲイン行列T(ω)が入力され、その逆行列T−1(ω)を出力する(図6のS14C)。
The beamformer unit output power vector Y (ω, l) is input to the
乗算部14Bは式(10)に示すように、入力されたビームフォーマー部出力パワーベクトルY(ω,l)とパワー推定行列T−1(ω)の乗算を周波数成分ごとに行い、推定信号パワーベクトルXest(ω,l)を出力する(図6のS14B)。
As shown in Expression (10), the
Xest(ω,l)=T−1(ω)Y(ω,l) (10)
なお、本発明の原理の中で説明した方向領域の集約を行って信号のパワー(信号量)を推定するのが、信号量推定部14である。
X est (ω, l) = T −1 (ω) Y (ω, l) (10)
The signal
(特定方向選択部)
図11は特定方向選択部15の構成を示している。特定方向選択部15では各周波数領域変換部13−1〜13−Qから入力された周波数成分Y1(ω,l)〜YQ(ω,l)のうち、強調したい第q方向領域(ただし、qは1,…,Qの中から選択した1つ)に対応するものを選択してYS(ω,l)として出力する。
(Specific direction selector)
FIG. 11 shows the configuration of the specific
YS(ω,l)=Yq(ω,l) (11)
(利得係数算出部)
図12は利得係数算出部16の構成を示している。信号量推定部14より入力された推定信号パワーベクトルXest(ω,l)はベクトル要素抽出部16Aに入力される。推定信号パワーベクトルXest(ω,l)は、式(12)に示すように、入力された推定信号パワーベクトルの収音領域信号推定パワー|S(ω,l)|2を第1成分、入力された推定信号パワーベクトルの抑圧領域信号推定パワー|N(ω,l)|2を第2成分とする。
Y S (ω, l) = Y q (ω, l) (11)
(Gain coefficient calculator)
FIG. 12 shows the configuration of the gain
Xest(ω,l)=[|S(ω,l)|2 |N(ω,l)|2]T (12)
ベクトル要素抽出部16Aは、収音領域信号推定パワー|S(ω,l)|2と抑圧領域信号推定パワー|N(ω,l)|2を出力し、それらをSN比推定部16Bに入力する。SN比推定部16Bでは式(13)を用いて所望方向領域の信号を強調する利得係数R(ω,l)を計算し出力する。
X est (ω, l) = [| S (ω, l) | 2 | N (ω, l) | 2 ] T (12)
The vector
このように、本実施形態の特定方向収音装置によれば、所望方向の音源が発する音を強調して収音する際の強調効果を改善するために、マイクロホンアレー11によって受音した信号を用いて複数のビームフォーマー部12−1〜12−Qの結果から各音源が発する音信号のパワーを推定し、収音領域内の信号を強調する利得係数(非線形フィルタ係数)を用いて所望音信号を強調する。したがって、マイクロホンの数の増大やマイクロホンアレーの大型化が必要ない。また、実用において設置や運搬が容易な小規模なシステムのまま強調効果を改善できる。
As described above, according to the specific direction sound collecting apparatus of the present embodiment, the signal received by the
また、本実施形態の特定方向収音装置の信号量推定部14は、2次元の集約パワーベクトルを用いるため、ビームフォーマー部12−1〜12−Qの指向特性から求めた集約ゲイン行列も2行2列である。したがって、処理全体の計算量を大きく削減できる。
[第2実施形態]
第2実施形態の特定方向収音装置は、第1実施形態の特定方向収音装置の信号量推定部14、利得係数算出部16、乗算部17での処理手順を変更したものである。図13は、第2実施形態の特定方向収音装置の構成例を示す図である。第1実施形態との相違点は、周波数領域変換部13−1〜13−Qの後段に帯域分割部19−1〜19−Qを備え、信号量推定部14、利得係数算出部16、乗算部17の各処理が、Ω個の周波数帯域ごとに行われる点、および、各周波数帯域での乗算部17の後段に帯域合成部21を備え、各帯域の乗算部17からの出力を合成する点である。図14に帯域分割部の構成を、図15に帯域合成部の構成を示す。
In addition, since the signal
[Second Embodiment]
The specific direction sound collecting device of the second embodiment is obtained by changing the processing procedure in the signal
本実施形態の同一帯域成分収集部20−x(ただし、xは1,…,Ω)の信号量推定部14の集約ゲイン行列Tx(ω)は、式(14)のように定めればよい。
The aggregate gain matrix T x (ω) of the signal
このような構成であるから、第2実施形態の特定方向収音装置も第1実施形態の特定方向収音装置と同じ効果を得ることができる。さらに、第2実施形態の特定方向収音装置は、Ω個の周波数帯域ごとに演算を行えるので、演算量を削減する効果もある。
[実験例]
図16に本発明の特定方向収音装置出の実験結果を示す。図16は、所望音源(女声)の位置を0度に固定し、雑音源(男声)の位置を図4に示す15度おきの方向に変化させる実験での雑音抑圧量をデシベル値で示したものである。図16では、極座標系の内側に行くほど雑音抑圧量が大きい。また、本実験では、収音したい領域を0度〜90度、270度〜360度に設定したため、それ以外の方向(90度〜270度)が抑圧したい領域となる。なお、本実験では一辺24cmの正方形の各頂点に配置された4つの単一指向性マイクからなるマイクロホンアレーを用いた。
Since it is such a structure, the specific direction sound collection apparatus of 2nd Embodiment can also acquire the same effect as the specific direction sound collection apparatus of 1st Embodiment. Furthermore, since the specific direction sound pickup device of the second embodiment can perform calculation for every Ω frequency bands, there is also an effect of reducing the amount of calculation.
[Experimental example]
FIG. 16 shows the experimental results of the specific direction sound pickup device of the present invention. FIG. 16 shows the noise suppression amount in decibel values in an experiment in which the position of the desired sound source (female voice) is fixed at 0 degree and the position of the noise source (male voice) is changed in the direction of every 15 degrees shown in FIG. Is. In FIG. 16, the amount of noise suppression increases as it goes inside the polar coordinate system. Further, in this experiment, since the region to be collected is set to 0 degrees to 90 degrees, 270 degrees to 360 degrees, the other direction (90 degrees to 270 degrees) is the region to be suppressed. In this experiment, a microphone array composed of four unidirectional microphones arranged at each vertex of a square with a side of 24 cm was used.
従来技術では、所望音源から離れるにしたがって雑音抑圧量が緩やかに増加しているが、本発明による方法では、雑音抑圧量は収音したい領域では一様に低く、抑圧したい領域との境界を越えると急激に増加している。また、従来技術の雑音抑圧量は最も大きい方向でも7dB程度であるのに対し、本発明による方法では抑圧したい領域のほとんどの方向に対して10dB以上の雑音抑圧量を実現している。このことから本発明による方法は収音したい領域の音を一様に取得するとともに、従来技術と比較して高い雑音抑圧性能を抑圧したい領域全体にわたって持つことが確認できる。 In the prior art, the noise suppression amount gradually increases as the distance from the desired sound source increases. However, in the method according to the present invention, the noise suppression amount is uniformly low in the region where the sound is to be collected and exceeds the boundary with the region where the noise is to be suppressed. And it is increasing rapidly. The noise suppression amount of the prior art is about 7 dB even in the largest direction, whereas the method according to the present invention realizes a noise suppression amount of 10 dB or more in most directions of the region to be suppressed. From this, it can be confirmed that the method according to the present invention uniformly obtains the sound of the region to be picked up, and has high noise suppression performance over the entire region to be suppressed as compared with the prior art.
図17に、コンピュータの機能構成例を示す。なお、本発明の収音装置は、コンピュータ2000の記録部2020に、本発明の各構成部としてコンピュータ2000を動作させるプログラムを読み込ませ、処理部2010、入力部2030、出力部2040などを動作させることで実現できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。
FIG. 17 shows a functional configuration example of a computer. Note that the sound collection device of the present invention causes the
11 マイクロホンアレー 12−1〜12−Q ビームフォーマー部
13−1〜13−Q 周波数領域変換部 14 信号量推定部
14A 領域集約部 14B 乗算部
14C 逆行列演算部 15 特定方向選択部
16 利得係数算出部 17 乗算部
18 逆周波数領域変換部 19−1〜19−Q 帯域分割部
20−1〜20−Ω 同一帯域成分収集部 21 帯域合成部
DESCRIPTION OF
Claims (4)
前記複数のビームフォーマー部が収音した角度領域信号のそれぞれを複数の帯域成分に分割した周波数領域信号に変換する複数の周波数領域変換部と、
前記複数の周波数領域変換部が出力する周波数領域信号の中の所望方向の複数の角度領域に属する周波数領域信号から特定方向周波数領域信号を選択する特定方向選択部と、
前記所望方向の複数の角度領域の周波数領域信号の平均である信号量と前記所望方向の角度領域以外の複数の角度領域の周波数領域信号の平均である信号量とを要素とする集約パワーベクトルを求める領域集約手段と、前記ビームフォーマー部の指向特性から求めた前記所望方向の複数の角度領域の指向特性の平均値から求められるパラメータと前記所望方向の角度領域以外の複数の角度領域の指向特性の平均値から求められるパラメータを要素とする集約ゲイン行列の逆行列を求める逆行列演算手段と、前記集約パワーベクトルに前記逆行列を乗算して、前記所望方向の複数の角度領域の信号のパワーの推定値である収音領域信号推定パワーと前記所望方向の角度領域以外の複数の角度領域の信号のパワーの推定値である抑圧領域信号推定パワーとを要素とする推定信号パワーベクトルを求める乗算手段とを有する信号量推定部と、
前記収音領域信号推定パワーと前記抑圧領域信号推定パワーより周波数帯域毎の利得係数を算出する利得係数算出部と、
前記利得係数算出部が算出した利得係数を前記特定方向周波数領域信号の各対応する周波数帯域の信号量に乗算する乗算部と、
を備える特定方向収音装置。 A plurality of beamformer sections that emphasize and collect sound coming from angular regions in different directions using output signals of a microphone array configured with a plurality of microphones;
A plurality of frequency domain conversion units for converting each of the angle domain signals collected by the plurality of beamformer units into a frequency domain signal divided into a plurality of band components;
A specific direction selection unit that selects a specific direction frequency domain signal from frequency domain signals belonging to a plurality of angular domains in a desired direction among the frequency domain signals output by the plurality of frequency domain transform units;
An aggregate power vector whose elements are a signal amount that is an average of frequency domain signals in a plurality of angle regions in the desired direction and a signal amount that is an average of frequency domain signals in a plurality of angle regions other than the angle region in the desired direction. Area aggregation means to be obtained; parameters obtained from an average value of directivity characteristics of the plurality of angle areas in the desired direction obtained from the directivity characteristics of the beamformer unit; and directivity of a plurality of angle areas other than the angle area of the desired direction An inverse matrix computing means for obtaining an inverse matrix of an aggregate gain matrix having a parameter obtained from an average value of characteristics as an element; and multiplying the aggregate power vector by the inverse matrix to obtain signals of a plurality of angle regions in the desired direction. Sound collection area signal estimation power, which is an estimated value of power, and suppression area signal estimation, which is an estimate of the power of signals in a plurality of angle areas other than the angle area in the desired direction A signal estimation unit and a multiplication means for obtaining an estimated signal power vector and a word as elements,
A gain coefficient calculation unit for calculating a gain coefficient for each frequency band from the sound collection area signal estimation power and the suppression area signal estimation power ;
A multiplier that multiplies the signal amount in each corresponding frequency band of the specific direction frequency domain signal by the gain coefficient calculated by the gain coefficient calculator;
A specific direction sound pickup device.
前記複数のビームフォーマー処理ステップで収音した角度領域信号のそれぞれを複数の帯域成分に分割した周波数領域信号に変換する複数の周波数領域変換ステップと、
前記複数の周波数領域変換ステップが出力する周波数領域信号の中の所望方向の複数の角度領域に属する周波数領域信号から特定方向周波数領域信号を選択する特定方向選択ステップと、
前記所望方向の複数の角度領域の周波数領域信号の平均である信号量と前記所望方向の角度領域以外の複数の角度領域の周波数領域信号の平均である信号量とを要素とする集約パワーベクトルを求める領域集約サブステップと、前記ビームフォーマー処理ステップの指向特性から求めた前記所望方向の複数の角度領域の指向特性のパラメータと前記所望方向の角度領域以外の複数の角度領域の指向特性のパラメータを要素とする集約ゲイン行列の逆行列を求める逆行列演算サブステップと、前記集約パワーベクトルに前記逆行列を乗算して、前記所望方向の複数の角度領域の信号のパワーの推定値である収音領域信号推定パワーと前記所望方向の角度領域以外の複数の角度領域の信号のパワーの推定値である抑圧領域信号推定パワーとを要素とする推定信号パワーベクトルを求める乗算サブステップとを有する信号量推定ステップと、
前記収音領域信号推定パワーと前記抑圧領域信号推定パワーより周波数帯域毎の利得係数を算出する利得係数算出ステップと、
前記利得係数算出ステップが算出した利得係数を前記特定方向周波数領域信号の各対応する周波数帯域の信号量に乗算する乗算ステップと、
を有する特定方向収音方法。 A plurality of beamformer processing steps for enhancing and collecting sounds arriving from angular regions in different directions using output signals of a microphone array configured with a plurality of microphones;
A plurality of frequency domain conversion steps for converting each of the angle domain signals collected in the plurality of beamformer processing steps into a frequency domain signal divided into a plurality of band components;
A specific direction selection step of selecting a specific direction frequency domain signal from frequency domain signals belonging to a plurality of angle domains in a desired direction among frequency domain signals output by the plurality of frequency domain transformation steps;
An aggregate power vector whose elements are a signal amount that is an average of frequency domain signals in a plurality of angle regions in the desired direction and a signal amount that is an average of frequency domain signals in a plurality of angle regions other than the angle region in the desired direction. Parameters of directivity characteristics of a plurality of angle regions in the desired direction and parameters of directivity characteristics of a plurality of angle regions other than the angle region of the desired direction obtained from the directivity characteristics of the region aggregation sub-step to be obtained and the beamformer processing step And an inverse matrix calculation sub-step for obtaining an inverse matrix of an aggregate gain matrix having the element as an element, and multiplying the aggregate power vector by the inverse matrix to obtain an estimate of power of signals in a plurality of angle regions in the desired direction. Elements of sound region signal estimation power and suppression region signal estimation power that is an estimated value of the power of signals in a plurality of angle regions other than the angle region of the desired direction A signal estimation step and a multiplier sub-step of obtaining an estimated signal power vectors,
A gain coefficient calculation step of calculating a gain coefficient for each frequency band from the sound collection area signal estimation power and the suppression area signal estimation power ;
A multiplication step of multiplying the signal amount of each corresponding frequency band of the specific direction frequency domain signal by the gain factor calculated by the gain factor calculation step;
A specific direction sound collection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007208936A JP4928382B2 (en) | 2007-08-10 | 2007-08-10 | Specific direction sound collection device, specific direction sound collection method, specific direction sound collection program, recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007208936A JP4928382B2 (en) | 2007-08-10 | 2007-08-10 | Specific direction sound collection device, specific direction sound collection method, specific direction sound collection program, recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009044588A JP2009044588A (en) | 2009-02-26 |
JP4928382B2 true JP4928382B2 (en) | 2012-05-09 |
Family
ID=40444814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007208936A Active JP4928382B2 (en) | 2007-08-10 | 2007-08-10 | Specific direction sound collection device, specific direction sound collection method, specific direction sound collection program, recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4928382B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10373628B2 (en) | 2016-08-31 | 2019-08-06 | Kabushiki Kaisha Toshiba | Signal processing system, signal processing method, and computer program product |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5175262B2 (en) * | 2009-12-02 | 2013-04-03 | 日本電信電話株式会社 | Voice acquisition device |
US9552840B2 (en) | 2010-10-25 | 2017-01-24 | Qualcomm Incorporated | Three-dimensional sound capturing and reproducing with multi-microphones |
US9031256B2 (en) * | 2010-10-25 | 2015-05-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control |
US20140064514A1 (en) * | 2011-05-24 | 2014-03-06 | Mitsubishi Electric Corporation | Target sound enhancement device and car navigation system |
JP6594222B2 (en) * | 2015-12-09 | 2019-10-23 | 日本電信電話株式会社 | Sound source information estimation apparatus, sound source information estimation method, and program |
DE102016225204B4 (en) | 2016-12-15 | 2021-10-21 | Sivantos Pte. Ltd. | Method for operating a hearing aid |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4116600B2 (en) * | 2004-08-24 | 2008-07-09 | 日本電信電話株式会社 | Sound collection method, sound collection device, sound collection program, and recording medium recording the same |
WO2006046293A1 (en) * | 2004-10-28 | 2006-05-04 | Fujitsu Limited | Noise suppressor |
US8189806B2 (en) * | 2005-11-01 | 2012-05-29 | Panasonic Corporation | Sound collection apparatus |
JP4724054B2 (en) * | 2006-06-15 | 2011-07-13 | 日本電信電話株式会社 | Specific direction sound collection device, specific direction sound collection program, recording medium |
JP4886616B2 (en) * | 2007-06-25 | 2012-02-29 | 日本電信電話株式会社 | Sound collection device, sound collection method, sound collection program using the method, and recording medium |
-
2007
- 2007-08-10 JP JP2007208936A patent/JP4928382B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10373628B2 (en) | 2016-08-31 | 2019-08-06 | Kabushiki Kaisha Toshiba | Signal processing system, signal processing method, and computer program product |
Also Published As
Publication number | Publication date |
---|---|
JP2009044588A (en) | 2009-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4724054B2 (en) | Specific direction sound collection device, specific direction sound collection program, recording medium | |
JP6389259B2 (en) | Extraction of reverberation using a microphone array | |
JP4928382B2 (en) | Specific direction sound collection device, specific direction sound collection method, specific direction sound collection program, recording medium | |
JP2017503388A5 (en) | ||
JP5785674B2 (en) | Voice dereverberation method and apparatus based on dual microphones | |
CN107018470A (en) | A kind of voice recording method and system based on annular microphone array | |
JP2011124872A (en) | Sound source separation device, method and program | |
JP5175262B2 (en) | Voice acquisition device | |
JP4473829B2 (en) | Sound collecting device, program, and recording medium recording the same | |
JP5635024B2 (en) | Acoustic signal emphasizing device, perspective determination device, method and program thereof | |
JP6567216B2 (en) | Signal processing device | |
JP6517124B2 (en) | Noise suppression device, noise suppression method, and program | |
US20130253923A1 (en) | Multichannel enhancement system for preserving spatial cues | |
JP4886616B2 (en) | Sound collection device, sound collection method, sound collection program using the method, and recording medium | |
JP5105336B2 (en) | Sound source separation apparatus, program and method | |
US20230319469A1 (en) | Suppressing Spatial Noise in Multi-Microphone Devices | |
JP2012049715A (en) | Sound source separation apparatus, sound source separation method and program | |
JP2018056902A (en) | Sound collecting device, program, and method | |
JP5713933B2 (en) | Sound source distance measuring device, acoustic direct ratio estimating device, noise removing device, method and program thereof | |
JP2017181761A (en) | Signal processing device and program, and gain processing device and program | |
JP5060589B2 (en) | Sound collecting / reproducing apparatus, method and program, and hands-free apparatus | |
JP5512741B2 (en) | Voice acquisition device | |
JP2020120261A (en) | Sound pickup device, sound pickup program, and sound pickup method | |
JP6221463B2 (en) | Audio signal processing apparatus and program | |
Nguyen et al. | A Study Of Dual Microphone Array For Speech Enhancement In Noisy Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090729 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120131 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120210 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4928382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |