[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5678445B2 - 音声処理装置、音声処理方法およびプログラム - Google Patents

音声処理装置、音声処理方法およびプログラム Download PDF

Info

Publication number
JP5678445B2
JP5678445B2 JP2010059623A JP2010059623A JP5678445B2 JP 5678445 B2 JP5678445 B2 JP 5678445B2 JP 2010059623 A JP2010059623 A JP 2010059623A JP 2010059623 A JP2010059623 A JP 2010059623A JP 5678445 B2 JP5678445 B2 JP 5678445B2
Authority
JP
Japan
Prior art keywords
noise
gain
frequency component
target sound
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010059623A
Other languages
English (en)
Other versions
JP2011191669A (ja
Inventor
俊之 関矢
俊之 関矢
慶一 大迫
慶一 大迫
安部　素嗣
素嗣 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010059623A priority Critical patent/JP5678445B2/ja
Priority to US13/041,638 priority patent/US8861746B2/en
Priority to CN2011100608719A priority patent/CN102194464A/zh
Publication of JP2011191669A publication Critical patent/JP2011191669A/ja
Application granted granted Critical
Publication of JP5678445B2 publication Critical patent/JP5678445B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音声処理装置、音声処理方法およびプログラムに関する。
従来から、雑音が混入している入力音声に対して、雑音を抑圧して目的音声を強調することが行われている（例えば、特許文献１〜３）。上記特許文献では、目的音声を強調した音声周波数成分には目的音声と雑音が含まれており、目的音声を抑圧した雑音周波数成分には雑音のみが含まれていると推定して、音声周波数成分のパワースペクトルから雑音周波数成分のパワースペクトルを減算することにより、入力音声から雑音音声を除去している。
特許第３６７７１４３号公報 特許第４１６３２９４号公報 特許公開２００９−４９９９８号公報
しかし、上記特許文献では、処理後の音声信号にミュージカルノイズといわれる特有の歪みが生じたり、音声周波数成分に含まれる雑音と雑音周波数成分に含まれる雑音とが等しくない場合があったりするため、適切な雑音除去を行うことができないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、所定のゲイン関数を利用して、ミュージカルノイズが低減された音声強調を行うことが可能な、新規かつ改良された音声処理装置、音声処理方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、目的音および雑音が混入している入力音声の前記目的音を強調して音声周波数成分を取得する目的音強調部と、前記入力音声の前記目的音を抑圧して雑音周波数成分を取得する目的音抑圧部と、前記音声周波数成分および前記雑音周波数成分に応じた所定のゲイン関数を用いて前記音声周波数成分に乗算するゲイン値を算出するゲイン算出部と、前記ゲイン算出部により算出されたゲイン値を前記音声周波数成分に乗算するゲイン乗算部と、を備え、前記ゲイン算出部は、前記音声周波数成分と前記雑音周波数成分とのエネルギー比が所定値以下の場合に前記ゲイン値および前記ゲイン関数の傾きが所定値より小さくなる前記ゲイン関数を用いて前記ゲイン値を算出する、音声処理装置が提供される。
また、前記音声周波数成分には目的音成分と雑音成分が含まれており、前記ゲイン乗算部は、前記音声周波数成分に前記ゲイン値を乗算して前記音声周波数成分に含まれている前記雑音成分を抑圧してもよい。
また、前記ゲイン算出部は、前記目的音抑圧部により取得された雑音周波数成分に雑音のみが含まれていると推定して、前記ゲイン値を算出してもよい。
また、前記ゲイン関数は、前記音声周波数成分と前記雑音周波数成分とのエネルギー比において、雑音の比率が集中している雑音集中範囲の前記ゲイン値および前記ゲイン関数の傾きが所定値より小さくなるゲインカーブを有する関数でもよい。
また、前記ゲイン関数は、前記雑音集中範囲以外で最も急斜である前記ゲイン関数の傾きよりも小さい傾きのゲインカーブを有する関数でもよい。
また、前記入力音声に含まれる前記目的音が存在する区間を検出する目的音区間検出部を備え、前記ゲイン算出部は、前記目的音区間検出部による検出結果に応じて、前記目的音強調部により取得された前記音声周波数成分のパワースペクトルおよび前記目的音抑圧部により取得された前記雑音周波数成分のパワースペクトルを平均化してもよい。
また、前記ゲイン算出部は、前記目的音区間検出部による検出の結果、目的音が存在する区間であることが検出された場合に第１の平滑化係数を選択し、前記目的音が存在する区間であることが検出された場合に第２の平滑化係数を選択して、前記音声周波数成分および前記雑音周波数成分のパワースペクトルを平均化してもよい。
また、前記ゲイン算出部は、平均化された前記音声周波数成分のパワースペクトルおよび前記雑音周波数成分のパワースペクトルを用いて算出されたゲイン値を平均化してもよい。
また、前記目的音抑圧部により取得された雑音周波数成分の大きさを、前記目的音強調部により取得された音声周波数成分に含まれる雑音成分の大きさに対応させるように前記雑音周波数成分を補正する雑音補正部を備え、前記ゲイン算出部は、前記雑音補正部により補正された前記雑音周波数成分に応じたゲイン値を算出してもよい。
また、前記雑音補正部は、ユーザ操作に応じて前記雑音周波数成分を補正してもよい。
また、前記雑音補正部は、検出された雑音の状態に応じて前記雑音周波数成分を補正してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、目的音および雑音が混入している入力音声の前記目的音を強調して音声周波数成分を取得するステップと、前記入力音声の前記目的音を抑圧して雑音周波数成分を取得するステップと、前記音声周波数成分と前記雑音周波数成分とのエネルギー比が所定値以下の場合に前記ゲイン値および前記ゲイン関数の傾きが所定値より小さくなるゲイン関数を用いて前記音声周波数成分に乗算するゲイン値を算出するステップと、前記ゲイン算出部により算出されたゲイン値を前記音声周波数成分に乗算するステップと、を含む、音声処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、目的音および雑音が混入している入力音声の前記目的音を強調して音声周波数成分を取得する目的音強調部と、前記入力音声の前記目的音を抑圧して雑音周波数成分を取得する目的音抑圧部と、前記音声周波数成分および前記雑音周波数成分に応じた所定のゲイン関数を用いて前記音声周波数成分に乗算するゲイン値を算出するゲイン算出部と、前記ゲイン算出部により算出されたゲイン値を前記音声周波数成分に乗算するゲイン乗算部と、を備え、前記ゲイン算出部は、前記音声周波数成分と前記雑音周波数成分とのエネルギー比が所定値以下の場合に前記ゲイン値および前記ゲイン関数の傾きが所定値より小さくなる前記ゲイン関数を用いて前記ゲイン値を算出する、音声処理装置として機能させるためのプログラムが提供される。
以上説明したように本発明によれば、所定のゲイン関数を利用して、ミュージカルノイズが低減された音声強調を行うことができる。
本発明の実施形態の概要を説明する説明図である。 本発明の実施形態の概要を説明する説明図である。 本発明の第１の実施形態にかかる音声処理装置の機能構成を示すブロック図である。 同実施形態にかかるゲイン算出部の機能構成を示すブロック図である。 同実施形態にかかるゲイン算出部による平均化処理を示すフローチャートである。 同実施形態にかかる目的音区間検出部の機能構成を示すブロック図である。 同実施形態にかかる目的音の検出処理について説明する説明図である。 同実施形態にかかる目的音の検出処理について説明する説明図である。 同実施形態にかかる目的音区間の検出処理を示すフローチャートである。 同実施形態にかかる目的音の検出処理について説明する説明図である。 同実施形態にかかる白色化について説明する説明図である。 同実施形態にかかる雑音補正部の機能構成を示すブロック図である。 同実施形態にかかる雑音補正の処理を示すフローチャートである。 同実施形態にかかる雑音補正部の機能構成を示すブロック図である。 同実施形態にかかる雑音補正の処理を示すフローチャートである。 同実施形態にかかる音声処理装置の機能構成を示すブロック図である。 同実施形態にかかる定式化による出力信号の差を説明する説明図である。 本発明の第２の実施形態にかかる機能構成を示すブロック図である。 同実施形態にかかる目的音強調前後の雑音スペクトルを説明する説明図である。 同実施形態にかかる目的音強調前後の目的音スペクトルを説明する説明図である。 従来の技術を説明する説明図である。 従来の技術を説明する説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下に示す順序に従って、当該「発明を実施するための形態」を説明する。
１．本実施形態の目的
２．第１実施形態
３．第２実施形態
＜１．本実施形態の目的＞
まず、本実施形態の目的について説明する。従来から、雑音が混入している入力音声に対して、雑音を抑圧して目的音声を強調することが行われている（例えば、上記特許文献１〜３）。特許文献１では、複数個のマイクを利用して、目的音声を強調した信号（以降、音声周波数成分と称する。）と、目的音声を抑圧した信号（以降、雑音周波数成分と称する。）が取得される。
そして、音声周波数成分には目的音声と雑音が含まれ、雑音周波数成分には雑音のみが含まれていると推定して、両者を利用してスペクトルサブトラクションが行われる。特許文献１におけるスペクトルサブトラクション処理においては、処理後の音声信号にミュージカルノイズといわれる特有の歪みが生じてしまうという問題があった。また、音声周波数成分に含まれる雑音と雑音周波数成分に含まれる雑音は等しいと仮定して処理しているが、実際には等しくない場合があるという問題があった。
ここで、一般的なスペクトルサブトラクションの処理について説明する。一般に、スペクトルサブトラクションでは、信号に含まれる雑音成分を推定し、パワースペクトル上で引き算が行われる。以下では、音声周波数成分Ｘに含まれる目的音成分をＳ、雑音成分をＮ、雑音周波数成分をＮ′とする。処理後周波数成分Ｙのパワースペクトルは以下の式により得られる。
Figure 0005678445
 一般には、入力信号の位相を利用して復元するので、以下のように引き算であってもＸにある値（以下、ゲイン値）を乗じることにより雑音成分を抑圧することができる。
Figure 0005678445
Ｗs(h)をＸとＮ′の比ｈの関数とみなすと、その外形は図２１に示した外形となる。ｈ＜１の範囲はフロアリングといわれ、一般には、Ｗs(h)＝０．０５など適当な小さい値に置き換えられる。図２１に示したように、Ｗs(h)の外形は、ｈが小さいところで非常に大きな傾きを持っている。したがって、ｈが、ｈの小さい範囲（例えば１＜ｈ＜２）で少し振動すると、その結果得られるゲイン値が大きく振動することとなる。これにより、周波数成分に対して、時間−周波数ごとに変号の大きな値が乗じられることになり、いわゆるミュージカルノイズが生じると考えられる。
ｈが小さい値をとる場合とは、音声周波数成分Ｘにおいて、Ｓが非常に小さい場合もしくは、Ｓ＝０となる非音声区間であり、この区間での音質の劣化が著しくなる。また、Ｎ＝Ｎ′と仮定しているが、この仮定が正しくない場合に、特に非音声区間でゲイン値が大きく振動し、音質劣化の要因となる。
また、上記した特許文献３では、音声周波数成分（Ｘ＝Ｓ＋Ｎ）と雑音周波数成分Ｎ′に対して、出力の適応において音声周波数成分に含まれる雑音成分Ｎと雑音周波数成分Ｎ′の大きさをそろえている。しかし、ポストフィルタリング手段でＭＡＰ最適化などを行っているものの、Ｗｉｅｎｅｒ Ｆｉｌｔｅｒに基づいた手法になっており、出力の適応の効果を十分に活かすことができない。
Ｗｉｅｎｅｒ Ｆｉｌｔｅｒは、目的音成分Ｓと雑音成分Ｎに対して、以下で与えられる値を音声周波数成分に乗じることにより雑音の抑圧をおこなう。
Figure 0005678445
 実際にはＳとＮは観測できないため、観測可能な音声周波数成分Ｘと雑音周波数成分Ｎ′を利用し、以下のように求める。
Figure 0005678445
これを、前述のスペクトルサブストラクションと同様にｈの関数と考えると、その外形は図２２に示した外形となる。図２１のスペクトルサブトラクションと同様に、ｈの値が小さい範囲において、Ｗ(h)の傾きが大きくなっている。出力の適応により、非音声区間では、ｈ自体の散らばりは小さくなり（１の付近に集まる）、従来と比べると、乗じるゲイン値の変動を小さく抑えることが可能となっている。しかし、傾き自体が大きいところにｈの値が集中するのは望ましくない。
そこで、上記のような事情を一着眼点として、本実施形態にかかる音声処理装置が創作されるに至った。本実施形態にかかる音声処理装置によれば、所定のゲイン関数を利用して、ミュージカルノイズが低減された音声強調を行うことが可能となる。
＜２．第１実施形態＞
次に、第１実施形態について説明する。図１および図２を参照して、第１実施形態の概要について説明する。第１実施形態では、雑音抑圧に利用するゲイン関数Ｇ(r)が以下の特徴を有する。
（１）ｒが小さい値の範囲Ｒ１（例えばｒ＜２）では、なるべく小さな値かつ、小さな傾きを有する。
（２）ｒが中程度の範囲Ｒ２（例えば２＜ｒ６）では、大きな正の傾きを有する。
（３）ｒが十分大きい範囲Ｒ３（例えばｒ≧６）では、傾きは小さくなり、1に収束する。
（４）Ｇ(r)は変曲点に対して非対称。
図１のグラフ３００は、上記（１）〜（４）の条件を満たす関数Ｇ(r)の外形を示している。図２は、実際に観測されたデータにおいて、雑音のみが存在する区間でのｈの値の分布をグラフ化したものである。ヒストグラム３０１に示したように、実際に観測されたデータにおいて、雑音のみが存在する区間でのｈの値のほとんど（８０％）は、０〜２に集中している。したがって、上記（１）の条件におけるｒが小さい範囲とは、雑音のみが存在する区間において、雑音の比率（ｈ）のヒストグラムを算出したときに、８０％のデータが含まれる範囲とすることができる。以下では、ｒ＜２の範囲Ｒ１において、なるべく小さな値かつ、小さな傾きを有するゲイン関数Ｇ(r)を用いて雑音抑圧をおこなっている。
また、本実施形態では、目的音区間か否かを検出して、時間方向のパワースペクトルの平均化を行う。例えば、目的音が存在しない区間で大きく平均化することにより、時間方向の分散を小さくする。これにより、上記したゲイン関数によりｒが小さい範囲Ｒ１において変動が少ない値を出力し、かつ、時間方向にも変動の少ない値を得ることが可能となり、更に、ミュージカルノイズを低減することができる。
また、本実施形態では、音声周波数成分に含まれる雑音成分Ｎと、雑音周波数成分Ｎ′の比がＧ(r)のＲ１の範囲に収まるように、周波数特性の補正を行う。これにより、さらに、ゲイン値の算出において、ｈを小さくし、さらに分散を小さくすることが可能となり、大きな雑音抑圧および大幅なミュージカルノイズの低減を実現することができる。
次に、図３を参照して、音声処理装置１００の機能構成について説明する。図３は、音声処理装置１００の機能構成を示すブロック図である。音声処理装置１００は、目的音強調部１０２と、目的音抑圧部１０４と、ゲイン算出部１０６と、ゲイン乗算部１０８と、目的音区間検出部１１０と、雑音補正部１１２などを備える。
目的音強調部１０２は、目的音および雑音が混入している入力音声の目的音を強調して、音声周波数成分Ｙempを取得する機能を有する。本実施形態では、複数本のマイクロホンから音声Ｘｉが入力されるが、かかる例に限定されず、一本のマイクロホンから音声Ｘｉが入力されてもよい。目的音強調部により取得された音声周波数成分Ｙempは、ゲイン算出部１０６、ゲイン乗算部１０８、目的音区間検出部１１０に提供される。
目的音抑圧部１０４は、目的音および雑音が混入している入力音声の目的音を抑圧して、雑音周波数成分Ｙsupを取得する機能を有する。目的音抑圧部１０４により目的音を抑圧して、雑音成分が推定される。目的音抑圧部１０４により取得された雑音周波数成分Ｙsupは、ゲイン算出部１０６、目的音区間検出部１１０、雑音補正部１１２に提供される。
ゲイン算出部１０６は、目的音強調部１０２により取得された音声周波数成分および目的音抑圧部１０４により取得された雑音周波数成分に応じた所定のゲイン関数を用いて音声周波数成分に乗算するゲイン値を算出する機能を有する。所定のゲイン関数とは、図１に示したように、音声周波数成分と雑音周波数成分とのエネルギー比が所定値以下の場合にゲイン値およびゲイン関数の傾きが所定値より小さくなるゲイン関数である。
ゲイン乗算部１０８は、ゲイン算出部１０６により算出されたゲイン値を目的音強調部１０２により取得された音声周波数成分に乗算する機能を有する。音声周波数成分に図１に示したゲイン関数を用いたゲイン値が乗算されることにより、ミュージカルノイズを低減して、雑音を抑圧することが可能となる。
目的音区間検出部１１０は、入力音声に含まれる目的音が存在する区間を検出する機能を有する。目的音区間検出部１１０は、目的音強調部１０２により提供される周波数スペクトルＹempと、目的音抑圧部１０４から得られる周波数スペクトルＹsupから振幅スペクトルを算出して、それぞれ入力音声Ｘｉとの相関を求めることにより目的音の区間を検出する。目的音区間検出部１１０による目的音の検出処理については後で詳細に説明する。
ゲイン算出部１０６は、目的音区間検出部１１０による検出結果に応じて、目的音強調部１０２により取得された音声周波数成分のパワースペクトルおよび目的音抑圧部１０４により取得されたパワースペクトルを平均化する。ここで、図４を参照して、目的音区間検出部１１０による検出結果に応じたゲイン算出部１０６の機能について説明する。
図４に示したように、ゲイン算出部１０６は、演算手段１２２と、第１平均化手段１２４と、第１保持手段１２６と、ゲイン算出手段１２８と、第２平均化手段１３０、第２保持手段１３２などを有する。演算手段１２２は、目的音強調部１０２により取得された周波数スペクトルＹempおよび目的音抑圧部１０４により取得された周波数スペクトルＹsupに対して、パワースペクトルを算出する機能を有する。
そして、第１平均化手段１２４は、目的音区間検出部１１０により検出された目的音区間を示す制御信号に応じて、パワースペクトルの平均化を行う。第１平均化手段１２４では、例えば、一次の減衰を利用して、目的音区間検出部１１０の検出結果に応じて、パワースペクトルの平均化を行う。目的音が存在する区間では、以下の数式によりパワースペクトルの平均化を行う。
Figure 0005678445
また、目的音が存在しない区間では、以下の数式によりパワースペクトルの平均化を行う。
Figure 0005678445
上記では、ｒ１＜ｒ２で、例えば、ｒ１＝０．３、ｒ２＝０．９などの値を利用する。また、ｒ３は、例えば、ｒ２と同程度の値を利用することが望ましい。また、目的音の存在に応じて、ｒ１、ｒ２を切り替えるのではなく、連続的に変化させてもよい。ｒ１およびｒ２を連続的に変化させる方法については後で詳細に説明する。また、上記では１次の減衰を利用した平滑化を行っているが、かかる例に限定されない。例えば、Ｎフレームを平均して、そのＮをｒ同様に制御してもよい。すなわち、目的音が存在するときは、過去３フレームの平均値を利用し、目的音が存在しないときは過去７フレームの平均値を利用するなどの制御を行う。
上記では、目的音が存在しない区間で、なるべく、ＰｘおよびＰｎを大きく平均化することにより、時間方向の分散を小さくすることができる。本実施形態にかかるゲイン関数では、図１に示したように、ｒが小さい範囲（Ｒ１）において、変動が少ない値を出力することができる。つまり、ゲイン関数Ｇ（ｒ）を利用することにより、ｒが小さい範囲においてミュージカルノイズを発生しにくくしているが、パワースペクトルの平均化により時間方向にも変動が少ない値を得ることが可能となる。これにより、ミュージカルノイズを更に低減することが可能となる。一方、目的音が存在する区間で大きな平均化を行うとエコー感の原因となるため、目的音の有無に応じて平滑化係数ｒの制御を行う。
ゲイン算出手段１２８は、ｈ＝Ｐｘ／Ｐｎに応じて、図１に示した外形を持つ値を算出する。このとき、あらかじめ保持したテーブルの値を利用してもよいし、図１の外形を持つ以下の関数を利用してもよい。
Figure 0005678445
 例えば、ｂ＝０．８、ｃ＝０．４とする。
第２平均化手段１３０は、第１平均化手段１２４と同様の平均化処理をゲイン値に対して行う。平均化の係数は、ｒ１、ｒ２、ｒ３と同じ値でもよいし、異なる値であってもよい。次に、図５を参照して、ゲイン算出部１０６による平均化処理について説明する。図５は、ゲイン算出部１０６による平均化処理を示すフローチャートである。
図５に示したように、まず、目的音強調部１０２および目的音抑圧部１０４から周波数スペクトル（Ｙemp、Ｙsup）を取得する（Ｓ１０２）。そして、パワースペクトル（Ｙ２emp、Ｙ２sup）を算出する（Ｓ１０４）。そして、第１保持手段１２６から、過去の平均化されたパワースペクトル（Ｐｘ、Ｐｎ）を取得する（Ｓ１０６）。そして、目的音が存在する区間であるか否かを判定する（Ｓ１０８）。
ステップＳ１０８において、目的音が存在する区間であると判定された場合には、平滑化係数にｒ＝ｒ１を選択する（Ｓ１１０）。ステップＳ１０８において、目的音が存在しない区間であると判定された場合には、平滑化係数にｒ＝ｒ２を選択する。そして、以下の数式によりパワースペクトルの平均化を行う（Ｓ１１４）。
Figure 0005678445
そして、Ｐｘ、Ｐｎを利用して、ゲイン値ｇを算出する（Ｓ１１６）。そして、第２保持手段１３２から、過去のゲイン値Ｇを取得する（Ｓ１１８）。ステップＳ１１８において取得したゲイン値Ｇを以下の数式により平均化する。
Figure 0005678445
ステップＳ１２０において平均化されたゲイン値Ｇをゲイン乗算部１０８へ送る（Ｓ１２２）。そして、第１保持手段１２６にＰｘおよびＰｎを保持し（Ｓ１２４）、第２保持手段にゲイン値Ｇを保持する（Ｓ１２６）。上記処理は、すべての周波数域に対して実行される。また、上記処理では、パワースペクトルの平均化とゲインの平均化において、同じ平均化係数を用いているが、かかる例に限定されず、それぞれ異なる平均化係数を用いてもよい。
次に、図６を参照して、目的音区間検出部１１０による目的音の検出処理について説明する。図６に示したように、目的音区間検出部１１０は、演算手段１３２と、相関算出手段１３４と、比較手段１３６と、判定手段１３８などを有する。
演算手段１３２には、目的音強調部１０２から提供される周波数スペクトルＹempと、目的音抑圧部１０４から提供される周波数スペクトルＹsupと、入力信号のうち一つの周波数スペクトルＸiが入力される。周波数スペクトルＸiの選択については、どのマイクロホンを選択してもよいが、目的音が入力される位置が予めわかっている場合には、目的音に最も近い位置のマイクロホンを利用することが望ましい。これにより、最も大きな音で目的音を入力することができる。
演算手段１３２は、入力された各周波数スペクトルに対して、振幅スペクトルもしくは、パワースペクトルを算出する。そして、相関算出手段１３４は、ＹempとＸiの振幅スペクトルの相関Ｃ１と、ＹsupとＸiの振幅スペクトルの相関Ｃ２を求める。比較手段１３６は、相関算出手段１３４により算出された相関Ｃ１と相関Ｃ２とを比較する。判定手段１３８は、比較手段１３６による比較結果に応じて、目的音が存在するか否かを判定する。
判定手段１３８は、振幅スペクトルの相関から以下の手法により目的音が存在するか否かを判定する。まず、演算手段１３２に入力される信号に含まれる成分を以下に示す。
目的音強調部１０２から得られる周波数スペクトルＹemp：目的音声＋抑圧された雑音成分
目的音抑圧部１０４から得られる周波数スペクトルＹsup：雑音成分
入力信号のうち一つの周波数スペクトルＸi：目的音声＋抑圧された雑音成分
振幅スペクトルの相関は、二つのスペクトルが似ているときに大きな値をとる。図７のグラフ３１０に示したように、目的音が存在する区間では、Ｘiの形状は、ＹsupよりもＹempに似ているスペクトルとなることがわかる。また、図７のグラフ３１２に示したように、目的音が存在しない区間では、雑音のみとなる。このため、Ｘiの形状は、ＹsupとＹempでは同程度となり、明確な差のないスペクトルとなることがわかる。
よって、ＸiとＹempの相関値Ｃ１は、ＸiとＹsupの相関値Ｃ２に比べて、目的音が存在する区間では大きくなる。また、目的音が存在しない区間では、Ｃ１とＣ２は同程度の値となる。図８のグラフ３１４に示したように、相関値Ｃ１から相関値Ｃ２を減算した値は、実際の目的音の存在区間と同程度の値となっていることがわかる。このように、振幅スペクトルの相関を比較することにより、目的音が存在する区間と目的音が存在しない区間とを区別することが可能となる。
次に、図９を参照して、目的音区間検出部１１０による目的音区間の検出処理について説明する。図９は、目的音区間検出部１１０による目的音区間の検出処理を示すフローチャートである。図９に示したように、まず、目的音強調部１０２から周波数スペクトルＹemp、目的音抑圧部１０４から周波数スペクトルＹsup、マイクロホンの入力から周波数スペクトルＸiを取得する（Ｓ１３２）。
ステップＳ１３２において取得した周波数スペクトルから振幅スペクトルを算出する（Ｓ１３４）。そして、ＸiとＹempの振幅スペクトルの相関Ｃ１、ＸiとＹsupの振幅スペクトルの相関Ｃ２を算出する（Ｓ１３６）。そして、相関Ｃ１から相関Ｃ２を減算した値（Ｃ１−Ｃ２）がＸiの閾値Ｔｈより大きいかを判定する（Ｓ１３８）。
ステップＳ１３８において、ＴｈよりＣ１−Ｃ２が大きいと判定された場合には、目的音が存在すると判断する（Ｓ１４０）。ステップＳ１３８において、ＴｈよりＣ１−Ｃ２が小さいと判定された場合には、目的音が存在しないと判断する（Ｓ１４２）。以上、目的音区間検出部１１０による目的音区間の検出処理について説明した。
次に、目的音区間検出部１１０が、数式により目的音区間を算出する場合について説明する。まず、各振幅スペクトルを以下のように定義する。
Figure 0005678445
Ａxiの平均値を用いて、以下の白色化を行う。
Figure 0005678445
そして、ＡＷxiとの相関を取る。ここで、ｐ(k)は周波数ごとの重みである。
Figure 0005678445
上記した重みｐ(k)は、例えば、図１０の関数３１６で示される。音声は主として低域に強いエネルギーが集中し、雑音は広い帯域に渡ってエネルギーが存在する。このため、主として音声の強い帯域のみを利用することで精度を上げることが可能となる。例えば、Ｎ＝５１２（ＦＦＴサイズ）に対して、Ｎｏ＝４０、Ｌ＝３などを利用することができる。
ここで、図１１を参照して、上記した白色化について説明する。図１１のグラフ３１８に示したように、振幅スペクトルは正の値しかもたない。このため、相関値も正の値しかもたず、値のレンジが小さくなってしまう。実際には０．６〜１．０程度のレンジとなる。そこで、基準となる直流成分を減算することにより、正・負両方の値をとるようにする操作を行っている。この操作を本実施形態では白色化と呼んでいる。このように、白色化することにより、相関値についても、−１〜１のレンジの値をもつことが可能となる。これにより、目的音検出の精度を上げることが可能となる。
また、上記で平滑化係数ｒ１およびｒ２は連続的に変化させてもよいとしたが、以下ではｒ１およびｒ２を連続的に切り替える場合について説明する。以下では、目的音区間検出部１１０により算出されるＣ１、Ｃ２および閾値Ｔｈを利用する。これらの値を利用して、以下の数式により１以下の値を算出する。例えば、β＝１または２とする。ｍｉｎは二つのｔの値のうち小さいほうを選択する関数である。
Figure 0005678445
上記数式において、ｖは目的音が存在するときに１に近い値をとる。このことを利用して、平滑化係数を連続的に以下のように求めることができる。目的音が存在するときには、ｒ≒ｒ１で、それ以外ではｒ≒ｒ２と制御される。
Figure 0005678445
図３に戻り、音声処理装置１００の機能構成の説明を続ける。雑音補正部１１２は、目的音抑圧部１０４により取得された雑音周波数成分の大きさを、目的音強調部１０２により取得された音声周波数成分に含まれる雑音成分の大きさに対応させるように雑音周波数成分を補正する機能を有する。これにより、ゲイン算出部１０６によるゲイン値の算出において、ｈを小さくし、さらに分散を小さくすることが可能となり、大きな雑音抑圧および大幅なミュージカルノイズの低減を実現することができる。
まず、雑音補正部１１２による雑音補正の考え方について説明する。以下の処理は各周波数成分に同様に施されるが、説明を容易にするため、周波数インデックスは省略して記載する。
目的となる音源のスペクトルをＳとし、目的音源からマイクロホンまでの伝達特性をＡとし、各マイクロホンに観測される雑音成分をＮとする。このとき、マイクロホンに観測される信号Ｘは、以下のように記載することができる。Ｍはマイクロホン数である。
Figure 0005678445
目的音強調部１０２および目的音抑圧部１０４は、それぞれＸに対してある重みをかけて足す処理をおこなっているため、各部の出力信号は以下のように与えられる。Ｘに対してかけられる重みの作り方により、目的音を小さくしたり大きくしたりすることができる。
Figure 0005678445
したがって、Ｗemp、Ｗsupが一致しない限り、目的音強調部１０２の出力に含まれる雑音成分と、目的音抑圧部１０４の出力は異なる。具体的には、パワースペクトル上で雑音抑圧をおこなうため、各周波数ごとに雑音の大きさのレベルが一致しないこととなる。そこで、Ｗemp、Ｗsupを補正することにより、ゲイン値算出におけるｈの値を１に近づけることが可能となる。すなわち、ゲイン値において小さい値かつ傾きの小さいところに値を集中することができる。ｈは以下の数式により表される。
Figure 0005678445
例えば、
Figure 0005678445
 の場合は、補正を行うことにより、ｈは１より大きい値から１に近づく。よって、雑音抑圧量を向上することができる。また、
Figure 0005678445
 の場合は、補正を行うことにより、ｈは１より小さい値から１に近づく。よって、音声の劣化を低減することができる。
ｈが１付近の小さい値に集中すると、ゲイン関数の最小値を小さくすることができる。これにより、雑音抑圧量の向上に寄与することが可能となる。Ｗemp、Ｗsupは既知の値であるため、雑音スペクトルＮの共分散Ｒnがわかれば、以下の数式により雑音補正を行うことができる。
Figure 0005678445
次に、図１２を参照して、雑音補正部１１２による雑音補正処理について説明する。図１２に示したように、雑音補正部１１２は、演算手段１４０と保持手段１４２などを有する。演算手段１３０には、目的音抑圧部１０４により取得された周波数スペクトルＹsupが入力される。そして、保持手段１４２を参照し補正係数を算出して、入力された周波数スペクトルＹsupに乗じて雑音スペクトルＹcompを算出する。算出されたＹcompは、ゲイン算出部１０６に提供される。保持手段１４２には、雑音の共分散、目的音強調部１０２および目的音抑圧部１０４で用いられる係数が保持されている。
次に、図１３を参照して、雑音補正部１１２による雑音補正の処理について説明する。図１３は、雑音補正部１１２による雑音補正の処理を示すフローチャートである。図１３に示したように、まず、目的音抑圧部１０４から周波数スペクトルＹsupを取得する（Ｓ１４２）。そして、保持手段１４２から共分散、目的音強調の係数、目的音抑圧の係数を取得する（Ｓ１４４）。そして、周波数毎に補正係数Ｇcompを算出する（Ｓ１４６）。
そして、周波数毎に周波数スペクトルにステップＳ１４６において算出された補正係数Ｇcompを乗じる（Ｓ１４８）。
Figure 0005678445
そして、ゲイン算出部１０６にステップＳ１４８における算出結果Ｙcompを送る（Ｓ１５０）。雑音補正部１１２による上記処理は、すべての周波数域に対して繰り返し実行される。
上記した雑音の共分散Ｒnは、例えば、以下の数式により算出することができる（参照：Measurement of
Correlation Coefficients in Reverberant Sound Fields, Richard K. Cook et al THE
JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA, VOLUME 26, NUMBER 6, NOVEMBER
1955）。
Figure 0005678445
直線状に並んだマイクに対して、拡散雑音場を仮定すると、
Figure 0005678445
直線状に並んだマイクに対して、全方位から互いに相関のない雑音が到来する場を仮定すると、
Figure 0005678445
また、雑音の共分散Ｒnは、数式により算出する以外にも、例えば、あらかじめ大量のデータを収録して、その平均値を求めることにより得ることができる。この場合、マイクロホンに観測されるのは雑音のみとなるため、以下の数式により雑音の共分散を得ることができる。
Figure 0005678445
また、目的音強調部１０２、上述した伝達特性Ａ、共分散Ｒnを用いて以下のような係数を構築することができる。一般的に、最尤ビームフォーミングと呼ばれる（参照：アダプティブアンテナ技術 菊間信良著 オーム社）。
Figure 0005678445
また、最尤ビームフォーミング手法に限定されず、遅延和ビームフォーミングと呼ばれる手法を用いてもよい。この場合、上記において、Ｒnが単位行列であることと同義となる。また、目的音抑圧部１０４では、上記したＡとＡ以外の伝達特性を利用して以下のような係数が構築される。以下は、目的音とは別の方向に対して１、目的音の方向の信号をゼロとするような係数となる。
Figure 0005678445
また、雑音補正部１１２は、制御部（図示せず）からの選択信号に基づいて、補正係数を変更するようにしてもよい。例えば、図１４に示したように、雑音補正部１１２は、演算手段１５０と、選択手段１５２と、複数の保持手段（第１保持手段１５４、第２保持手段１５６、第３保持手段１５８）を有してもよい。複数の保持手段には、それぞれ異なる補正係数が保持されている。選択手段１５２は、制御部から提供される選択信号に基づいて、第１保持手段１５４、第２保持手段１５６、第３保持手段１５８に保持されている補正係数のいずれかの補正係数を取得する。
制御部は、例えば、ユーザ入力に応じて動作するか、雑音の状態に応じて動作して、雑音補正部の選択手段１５２に選択信号を提供する。そして、演算手段１５０は、選択手段１５２により選択された補正係数を用いて、入力された周波数スペクトルＹsupに当該補正係数を乗じて雑音スペクトルＹcompを算出する。
次に、図１５を参照して、選択信号に基づいて補正係数を取得する場合の雑音補正処理について説明する。図１５に示したように、まず、目的音抑圧部１０４から周波数スペクトルＹsupを取得する（Ｓ１５２）。そして、制御部から選択信号を取得する（Ｓ１５４）。そして、取得した選択信号の値が現在の値と異なっているか否かを判定する（Ｓ１５６）。
ステップＳ１５６において、取得した値が現在の値と異なっていると判定された場合には、取得した選択信号の値を利用して、選択信号の値に対応する保持手段からデータを取得する（Ｓ１５８）。そして、周波数毎に補正係数Ｇcompを算出する（Ｓ１６０）。そして、以下の数式により、周波数毎に周波数スペクトルに補正係数を乗じる（Ｓ１６２）。
Figure 0005678445
ステップＳ１５６において、取得した値が現在の値と同じであると判定された場合には、ステップＳ１６２の処理を実行する。そして、ゲイン算出部１０６にステップＳ１６２における算出結果Ｙcompを送る（Ｓ１６４）。雑音補正部１１２による上記処理は、すべての周波数域に対して繰り返し実行される。
また、図１６に示したように、音声処理装置２００のように、雑音補正部２０２が目的音区間検出部１１０の検出結果を利用して雑音共分散の算出を行ってもよい。雑音補正部２０２は、目的音抑圧部１０４から出力された周波数スペクトルＹsupだけでなく、目的音強調部１０２から出力された周波数スペクトルＹempおよび目的音区間検出部１１０により検出された検出結果を利用して、雑音補正を行う。
以上、第１実施形態について説明した。第１実施形態によれば、図１の特徴を有するゲイン関数Ｇ（ｒ）を利用して雑音を抑圧することができる。すなわち、音声の周波数成分と雑音の周波数成分のエネルギー比に応じたゲイン値を音声の周波数成分に乗算して適切に雑音を抑圧することができる。
また、目的音区間か否かを検出し、スペクトル時間方向の平均化制御を行うことにより、時間方向の分散を小さくして、時間方向に変動が少ない値を得ることが可能となり、ミュージカルノイズの発生を更に低減することが可能となる。また、音声周波数成分に含まれる雑音成分Ｎと、雑音周波数成分Ｎ′の比がＧ(r)のＲ１の範囲に収まるように、周波数特性の補正を行う。これにより、さらに、ゲイン値の算出において、ｈを小さくしさらに分散を小さくすることが可能となり、大きな雑音抑圧および大幅なミュージカルノイズの低減を実現することができる。
本実施形態にかかる音声処理装置１００または２００は、携帯電話やＢｌｕｅｔｏｏｔｈのヘッドセットや、コールセンターやＷｅｂ会議に用いられるヘッドセット、ＩＣレコーダやビデオ会議システム、ノートＰＣの本体に付加されたマイクを用いたＷｅｂ会議やボイスチャットに利用することができる。
＜３．第２実施形態＞
次に、第２実施形態について説明する。第１実施形態では、ゲイン関数を利用して、大きな雑音抑圧を実現しつつ、ミュージカルノイズを低減する方法について説明した。以下では、複数マイクロホンを利用することにより、スペクトルサブストラクション（以降、ＳＳとも称する）を利用して、非常に簡易にミュージカルノイズを低減し、目的音声を強調する方法について説明する。ＳＳベースの場合、以下の数式が成立する。
Figure 0005678445
 ＳＳの定式化として、フロアリングの行い方によって２通りの記述が可能である。
＜定式化１＞
Figure 0005678445
＜定式化２＞
Figure 0005678445
定式化１では、Ｇが負にならない限りはフロアリングが生じないが、定式化２では、Ｇthより小さい場合はＧthという一定の利得を掛けることが差となる。定式化１では、Ｇは非常に小さい値までとることが可能となり、雑音自体の抑圧量が大きくなる。しかし、第１実施形態で説明したように、ＳＳは、ゲインという観点から見ると、時間−周波数的に不連続な値をとる可能性が高いため、ミュージカルノイズを発生させる。
また、定式化２では、Ｇth（例えば０．１）より小さな値は乗じられないため、雑音自体の抑圧量は小さい。しかし、多くの時間−周波数において、一定のＧthが乗じられることにより、ミュージカルノイズ自体の発生を抑えることが可能となる。例えば、雑音を小さくする方法として、音量を下げることが考えられる。上記現象は、例えば、ラジオに雑音が乗っているときに音量を下げると雑音は小さくなり、変な歪みを持った音が出てこないことからもわかる。すなわち、違和感の少ない音声を提供するためには、雑音抑圧を大きくするよりも、雑音の変形を一定にすることが有効であることがわかる。
ここで、図１７を参照して、上記した定式化によるＳＳの出力信号の差について説明する。図１７は、定式化によるＳＳの出力信号の差を説明する説明図である。図１７のグラフ４０１は、マイクロホンから出力された音声周波数Ｘである。グラフ４０２は、定式化１により、Ｇが乗じられた場合である。この場合、レベル自体を下げることができるが、周波数の形が崩れてしまう。また、グラフ４０３は、定式化２により、Ｇが乗じられた場合である。この場合、周波数の形は保持されたまま、レベルが下がる。
以上から、音声の成分はなるべくＧthより大きな値が乗算され、雑音の成分はすべてＧthの値が乗算されるようにすればよいことがわかる。
Figure 0005678445
一般的には、αを２程度に設定し、大きめに雑音成分を減算することで上記処理を実現する。しかし、一般的に推定した雑音成分Ｎが正しくなければ意味をなさない。
また、本実施形態の第２のポイントは、複数マイクロホンを用いた処理を利用することである。上記処理に適した雑音成分を効率的に見つけ、一定の値Ｇthを乗算できるようにしたものである。図１８を参照して、本実施形態にかかる音声処理装置３００の機能構成について説明する。図１８に示したように、音声処理装置３００は、目的音強調部１０２、目的音抑圧部１０４、目的音区間検出部１１０、雑音補正部３０２、ゲイン算出部３０４などを備える。以下では、第１実施形態と異なる機能について特に詳細に説明し、第１実施形態と同様の機能については詳細な説明は省略する。
第１実施形態では、雑音補正部１１２によりＹsupとＹempのパワーが等しくなるように補正が行われていた。つまり、目的音強調後の雑音パワーを推定していた。しかし、本実施形態では、ＹsupとＸiのパワーが等しくなるような補正を行う。すなわち、目的音強調前の雑音のパワーを推定する。
目的音強調前の雑音を推定するには、雑音補正部３０２で算出される値
Figure 0005678445
 を以下の数式のように変形する。
Figure 0005678445
これにより、目的音強調前のマイクロホンiに含まれる雑音成分を推定することが可能となる。実際に、目的音強調後の雑音スペクトルと推定された目的音強調前の雑音スペクトルを比較すると、図１９のグラフ４１０に示したようになる。グラフ４１０に示したように、目的音強調前の雑音は、目的音強調後の雑音より大きく、特に、低域で顕著に現れている。
また、実際に、目的音強調後の目的音スペクトルとマイクに入力された目的音スペクトルを比較すると、図２０のグラフ４１２に示したようになる。グラフ４１２に示したように、目的音強調後の目的音スペクトルと、マイクに入力された目的音スペクトルとを比較すると、目的音強調後と目的音強調前とで目的音成分は大きく変化していないことがわかる。
以上から、ＳＳにおける雑音成分Ｎとして、目的音強調前の推定雑音を利用すると、多くの時間−周波数において、Ｇは負の値となる（ここではα＝１とした。）。なぜならば、推定雑音（Ｎ）の方が実際に含まれる雑音成分（Ｘ）より大きいからである。目的音強調とは、雑音を抑圧することであるので、目的音強調前の方が雑音自体の大きさは目的音強調後よりも大きくなっている。これは、複数マイクロホンを利用した処理によって得られるものである。
また、雑音成分には一定のゲインＧthが乗算される。一方、目的音については、多少劣化があるものの、Ｇthに比べられ１に近い値が乗算される。よって、ＳＳに基づくゲイン関数を利用したとしても、ミュージカルノイズの発生の少ない音声を得ることが可能となる。このように、マイクロホンアレイ処理の特徴を生かし、目的音強調前の雑音成分を推定し、この雑音成分を利用することによりスペクトルサブストラクションベースの手法であっても、簡易にミュージカルノイズを低減して音声強調を行うことができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本明細書の音声処理装置１００、２００、３００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、音声処理装置１００、２００、３００の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
また、音声処理装置１００、２００、３００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した音声処理装置１００、２００、３００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
１００、２００、３００ 音声処理装置
１０２ 目的音強調部
１０４ 目的音抑圧部
１０６ ゲイン算出部
１０８ ゲイン乗算部
１１０ 目的音区間検出部
１１２ 雑音補正部

Claims (11)

  1. 目的音および雑音が混入している入力音声の前記目的音を強調して音声周波数成分を取得する目的音強調部と、
    前記入力音声の前記目的音を抑圧して雑音周波数成分を取得する目的音抑圧部と、
    前記音声周波数成分および前記雑音周波数成分に応じた所定のゲイン関数を用いて前記音声周波数成分に乗算するゲイン値を算出するゲイン算出部と、
    前記ゲイン算出部により算出されたゲイン値を前記音声周波数成分に乗算するゲイン乗算部と、
    を備え、
    前記ゲイン算出部は、前記音声周波数成分と前記雑音周波数成分とのエネルギー比が第１の所定値以下の場合に前記ゲイン値が第２の所定値より小さくなるとともに前記ゲイン関数の接線の傾きが第３の所定値より小さくなる前記ゲイン関数を用いて前記ゲイン値を算出し、
    前記ゲイン関数は、単調増加する関数であり、前記音声周波数成分と前記雑音周波数成分とのエネルギー比において、前記エネルギー比が前記第１の所定値以下である、雑音の比率が集中している雑音集中範囲の前記ゲイン値が前記第２の所定値より小さくなるとともに前記ゲイン関数の接線の傾きが前記第３の所定値より小さくなる関数であって、前記エネルギー比が前記第１の所定値より大きく第４の所定値未満の範囲では接線の傾きが前記雑音集中範囲よりも大きい正の値であり、前記エネルギー比が前記第４の所定値以上の範囲では、前記エネルギー比が前記第１の所定値より大きく前記第４の所定値未満の範囲より接線の傾きが小さく、前記ゲイン値が１に収束する関数である、音声処理装置。
  2. 前記音声周波数成分には目的音成分と雑音成分が含まれており、前記ゲイン乗算部は、前記音声周波数成分に前記ゲイン値を乗算して前記音声周波数成分に含まれている前記雑音成分を抑圧する、請求項１に記載の音声処理装置。
  3. 前記ゲイン算出部は、前記目的音抑圧部により取得された雑音周波数成分に雑音のみが含まれていると推定して、前記ゲイン値を算出する、請求項１に記載の音声処理装置。
  4. 前記入力音声に含まれる前記目的音が存在する区間を検出する目的音区間検出部を備え、
    前記ゲイン算出部は、前記目的音区間検出部による検出結果に応じて、前記目的音強調部により取得された前記音声周波数成分のパワースペクトルおよび前記目的音抑圧部により取得された前記雑音周波数成分のパワースペクトルを平均化する式を変化させる、請求項１に記載の音声処理装置。
  5. 前記ゲイン算出部は、前記目的音区間検出部による検出の結果、目的音が存在する区間であることが検出された場合に第１の平滑化係数を選択し、前記目的音が存在する区間であることが検出されなかった場合に第２の平滑化係数を選択して、前記音声周波数成分および前記雑音周波数成分のパワースペクトルを平均化する、請求項４に記載の音声処理装置。
  6. 前記ゲイン算出部は、平均化された前記音声周波数成分のパワースペクトルおよび前記雑音周波数成分のパワースペクトルを用いて算出されたゲイン値を、平滑化係数を用いて平均化する、請求項４に記載の音声処理装置。
  7. 前記目的音抑圧部により取得された雑音周波数成分の大きさを、前記目的音強調部により取得された音声周波数成分に含まれる雑音成分の大きさに対応させるように前記雑音周波数成分を補正する雑音補正部を備え、
    前記ゲイン算出部は、前記雑音補正部により補正された前記雑音周波数成分に応じたゲイン値を算出する、請求項１に記載の音声処理装置。
  8. 前記雑音補正部は、ユーザ操作に応じて前記雑音周波数成分を補正する、請求項７に記載の音声処理装置。
  9. 前記雑音補正部は、検出された雑音の状態に応じて前記雑音周波数成分を補正する、請求項７に記載の音声処理装置。
  10. 目的音および雑音が混入している入力音声の前記目的音を強調して音声周波数成分を取得するステップと、
    前記入力音声の前記目的音を抑圧して雑音周波数成分を取得するステップと、
    前記音声周波数成分および前記雑音周波数成分に応じた所定のゲイン関数を用いて前記音声周波数成分に乗算するゲイン値を算出するステップと、
    前記ゲイン値を算出するステップで算出されたゲイン値を前記音声周波数成分に乗算するステップと、
    を含み、
    前記ゲイン値を算出するステップでは、前記音声周波数成分と前記雑音周波数成分とのエネルギー比が第１の所定値以下の場合に前記ゲイン値が第２の所定値より小さくなるとともに前記ゲイン関数の接線の傾きが第３の所定値より小さくなる前記ゲイン関数を用いて前記ゲイン値を算出し、
    前記ゲイン関数は、単調増加する関数であり、前記音声周波数成分と前記雑音周波数成分とのエネルギー比において、前記エネルギー比が前記第１の所定値以下である、雑音の比率が集中している雑音集中範囲の前記ゲイン値が前記第２の所定値より小さくなるとともに前記ゲイン関数の接線の傾きが前記第３の所定値より小さくなる関数であって、前記エネルギー比が前記第１の所定値より大きく第４の所定値未満の範囲では接線の傾きが前記雑音集中範囲よりも大きい正の値であり、前記エネルギー比が前記第４の所定値以上の範囲では前記エネルギー比が前記第１の所定値より大きく前記第４の所定値未満の範囲より接線の傾きが小さく、前記ゲイン値が１に収束する関数である、音声処理方法。
  11. コンピュータを、
    目的音および雑音が混入している入力音声の前記目的音を強調して音声周波数成分を取得する目的音強調部と、
    前記入力音声の前記目的音を抑圧して雑音周波数成分を取得する目的音抑圧部と、
    前記音声周波数成分および前記雑音周波数成分に応じた所定のゲイン関数を用いて前記音声周波数成分に乗算するゲイン値を算出するゲイン算出部と、
    前記ゲイン算出部により算出されたゲイン値を前記音声周波数成分に乗算するゲイン乗算部と、
    を備え、
    前記ゲイン算出部は、前記音声周波数成分と前記雑音周波数成分とのエネルギー比が第１の所定値以下の場合に前記ゲイン値が第２の所定値より小さくなるとともに前記ゲイン関数の接線の傾きが第３の所定値より小さくなる前記ゲイン関数を用いて前記ゲイン値を算出し、
    前記ゲイン関数は、単調増加する関数であり、前記音声周波数成分と前記雑音周波数成分とのエネルギー比において、前記エネルギー比が前記第１の所定値以下である、雑音の比率が集中している雑音集中範囲の前記ゲイン値が前記第２の所定値より小さくなるとともに前記ゲイン関数の接線の傾きが前記第３の所定値より小さくなる関数であって、前記エネルギー比が前記第１の所定値より大きく第４の所定値未満の範囲では接線の傾きが前記雑音集中範囲よりも大きい正の値であり、前記エネルギー比が前記第４の所定値以上の範囲では前記エネルギー比が前記第１の所定値より大きく前記第４の所定値未満の範囲より接線の傾きが小さく、前記ゲイン値が１に収束する関数である、音声処理装置として機能させるためのプログラム。
JP2010059623A 2010-03-16 2010-03-16 音声処理装置、音声処理方法およびプログラム Expired - Fee Related JP5678445B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010059623A JP5678445B2 (ja) 2010-03-16 2010-03-16 音声処理装置、音声処理方法およびプログラム
US13/041,638 US8861746B2 (en) 2010-03-16 2011-03-07 Sound processing apparatus, sound processing method, and program
CN2011100608719A CN102194464A (zh) 2010-03-16 2011-03-09 声音处理设备、声音处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010059623A JP5678445B2 (ja) 2010-03-16 2010-03-16 音声処理装置、音声処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011191669A JP2011191669A (ja) 2011-09-29
JP5678445B2 true JP5678445B2 (ja) 2015-03-04

Family

ID=44602415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010059623A Expired - Fee Related JP5678445B2 (ja) 2010-03-16 2010-03-16 音声処理装置、音声処理方法およびプログラム

Country Status (3)

Country Link
US (1) US8861746B2 (ja)
JP (1) JP5678445B2 (ja)
CN (1) CN102194464A (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007080764A1 (ja) * 2006-01-12 2007-07-19 Matsushita Electric Industrial Co., Ltd. 対象音分析装置、対象音分析方法および対象音分析プログラム
US8965756B2 (en) * 2011-03-14 2015-02-24 Adobe Systems Incorporated Automatic equalization of coloration in speech recordings
JP6064370B2 (ja) * 2012-05-29 2017-01-25 沖電気工業株式会社 雑音抑圧装置、方法及びプログラム
DK2701145T3 (en) * 2012-08-24 2017-01-16 Retune DSP ApS Noise cancellation for use with noise reduction and echo cancellation in personal communication
JP2014085609A (ja) * 2012-10-26 2014-05-12 Sony Corp 信号処理装置および方法、並びに、プログラム
US9516418B2 (en) 2013-01-29 2016-12-06 2236008 Ontario Inc. Sound field spatial stabilizer
US9106196B2 (en) * 2013-06-20 2015-08-11 2236008 Ontario Inc. Sound field spatial stabilizer with echo spectral coherence compensation
US9271100B2 (en) 2013-06-20 2016-02-23 2236008 Ontario Inc. Sound field spatial stabilizer with spectral coherence compensation
US9099973B2 (en) * 2013-06-20 2015-08-04 2236008 Ontario Inc. Sound field spatial stabilizer with structured noise compensation
US10043532B2 (en) 2014-03-17 2018-08-07 Nec Corporation Signal processing apparatus, signal processing method, and signal processing program
CN106165444B (zh) * 2014-04-16 2019-09-17 索尼公司 声场再现设备、方法和程序
JP2016042132A (ja) * 2014-08-18 2016-03-31 ソニー株式会社 音声処理装置、音声処理方法、並びにプログラム
CN104242850A (zh) * 2014-09-09 2014-12-24 联想(北京)有限公司 一种音频信号处理方法及电子设备
CN107997581A (zh) * 2016-12-23 2018-05-08 芜湖美的厨卫电器制造有限公司 饮水机及其出水控制装置和方法
US10360892B2 (en) * 2017-06-07 2019-07-23 Bose Corporation Spectral optimization of audio masking waveforms
CN108831493B (zh) * 2018-05-21 2020-11-06 北京捷通华声科技股份有限公司 一种音频处理方法和装置
CN111568215B (zh) * 2020-02-28 2022-05-13 佛山市云米电器科技有限公司 饮水机控制方法、饮水机及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3204892B2 (ja) * 1995-12-20 2001-09-04 沖電気工業株式会社 背景雑音消去装置
US20020138254A1 (en) * 1997-07-18 2002-09-26 Takehiko Isaka Method and apparatus for processing speech signals
JP3677143B2 (ja) 1997-07-31 2005-07-27 株式会社東芝 音声処理方法および装置
JP4163294B2 (ja) 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
US6549630B1 (en) * 2000-02-04 2003-04-15 Plantronics, Inc. Signal expander with discrimination between close and distant acoustic source
JP2005037650A (ja) * 2003-07-14 2005-02-10 Asahi Kasei Corp 雑音低減装置
JP4423300B2 (ja) * 2004-10-28 2010-03-03 富士通株式会社 雑音抑圧装置
JP4836720B2 (ja) * 2006-09-07 2011-12-14 株式会社東芝 ノイズサプレス装置
JP4928376B2 (ja) * 2007-07-18 2012-05-09 日本電信電話株式会社 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
ATE448649T1 (de) * 2007-08-13 2009-11-15 Harman Becker Automotive Sys Rauschverringerung mittels kombination aus strahlformung und nachfilterung

Also Published As

Publication number Publication date
US8861746B2 (en) 2014-10-14
JP2011191669A (ja) 2011-09-29
US20110228951A1 (en) 2011-09-22
CN102194464A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
JP5678445B2 (ja) 音声処理装置、音声処理方法およびプログラム
US9113241B2 (en) Noise removing apparatus and noise removing method
US9264804B2 (en) Noise suppressing method and a noise suppressor for applying the noise suppressing method
US7464029B2 (en) Robust separation of speech signals in a noisy environment
US8954324B2 (en) Multiple microphone voice activity detector
JP5675848B2 (ja) レベルキューによる適応ノイズ抑制
CN103718241B (zh) 噪音抑制装置
US8396234B2 (en) Method for reducing noise in an input signal of a hearing device as well as a hearing device
US9854368B2 (en) Method of operating a hearing aid system and a hearing aid system
JP6361156B2 (ja) 雑音推定装置、方法及びプログラム
GB2577824A (en) Earbud speech estimation
EP2700161B1 (en) Processing audio signals
JP2010092054A (ja) ノイズ推定装置及び方法とそれを利用したノイズ減少装置
JP5785674B2 (ja) デュアルマイクに基づく音声残響低減方法及びその装置
EP2002691A1 (en) Hearing aid and method for controlling signal processing in a hearing aid
WO2018173267A1 (ja) 収音装置および収音方法
US7885810B1 (en) Acoustic signal enhancement method and apparatus
EP3641337A1 (en) Signal processing device, teleconferencing device, and signal processing method
US20190035382A1 (en) Adaptive post filtering
JP6638248B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声信号処理装置
US10692514B2 (en) Single channel noise reduction
WO2024202349A1 (ja) 自動利得制御装置、エコー除去装置、自動利得制御方法及び自動利得制御プログラム
KR101394504B1 (ko) 적응적 잡음 처리 장치 및 방법
EP2816817B1 (en) Sound field spatial stabilizer with spectral coherence compensation
JP4479625B2 (ja) 騒音抑圧装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140603

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141222

R151 Written notification of patent or utility model registration

Ref document number: 5678445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees