[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4173525B2 - 雑音抑圧装置及び雑音抑圧方法 - Google Patents

雑音抑圧装置及び雑音抑圧方法 Download PDF

Info

Publication number
JP4173525B2
JP4173525B2 JP2007113120A JP2007113120A JP4173525B2 JP 4173525 B2 JP4173525 B2 JP 4173525B2 JP 2007113120 A JP2007113120 A JP 2007113120A JP 2007113120 A JP2007113120 A JP 2007113120A JP 4173525 B2 JP4173525 B2 JP 4173525B2
Authority
JP
Japan
Prior art keywords
noise
spectrum
input signal
ratio
subband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2007113120A
Other languages
English (en)
Other versions
JP2007226264A5 (ja
JP2007226264A (ja
Inventor
訓 古田
真哉 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007113120A priority Critical patent/JP4173525B2/ja
Publication of JP2007226264A publication Critical patent/JP2007226264A/ja
Publication of JP2007226264A5 publication Critical patent/JP2007226264A5/ja
Application granted granted Critical
Publication of JP4173525B2 publication Critical patent/JP4173525B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

この発明は、種々の雑音環境下で用いられる音声通信システムや音声認識システム等において、例えば音声信号以外の雑音を抑圧する雑音抑圧装置及び雑音抑圧方法に関するものである。
音声信号に重畳した雑音等の目的外信号を抑圧する雑音抑圧装置は、例えば、特許文献1に開示されている。これは、非特許文献1に示す振幅スペクトル上で雑音を抑圧する、いわゆるスペクトルサブトラクション(Spectral Subtraction:SS)法を基本とするものである。
特開平7−306695号公報 "Steven F.Boll,"Suppression of Acoustic noise in speech using spectral subtraction",IEEE Trans. ASSP, Vol.ASSP−27, No.2,April 1979
図10は上記公報に開示された従来の雑音抑制装置の構成を示すブロック図である。図において、111は入力端子、112はフレーム化・窓掛け処理回路、113はFFT回路、114はバンド分割回路、115は雑音推定回路、116は音声推定回路、117はPr(Sp)計算回路、118はPr(Sp|Y)計算回路、119は最尤フィルタ、120は軟判定抑圧回路、121はフィルタ処理回路、122はバンド変換回路、123はスペクトラム修正回路、124はIFFT回路、125はオーバラップ加算回路、126は出力端子である。
図11は従来の雑音抑制装置における雑音推定回路115の構成を示すブロック図である。図において、115AはRMS計算回路、115Bは相対エネルギ計算回路、115Cは最小RMS計算回路、115Dは最大信号計算回路である。
次に動作について説明する。
入力端子111には、音声成分と雑音成分とを含む入力信号y[t]が入力される。この入力信号y[t]は、例えばサンプリング周波数FSのディジタル信号であり、フレーム化・窓掛け処理回路112に送られてフレーム長がFLサンプル、例えば160サンプルのフレームに分割され、次のFFT処理に先立ち窓掛け処理が行われる。
次にFFT回路113では、256ポイントのFFT(Fast Fourier Transform :高速フーリエ変換)処理が施され、得られた周波数スペクトル振幅値は、バンド分割回路114により例えば18バンドに分割される。
雑音推定回路115では、入力信号y[t]中の雑音を音声から区別し、雑音と推定されるフレームを検出する。以下、図11を用いて雑音推定回路115の動作を説明する。
図11において、入力信号y[t]は、RMS(Root Mean Square :自乗平均の平方根)計算回路115Aに送られて、各フレーム毎の短時間RMS値が計算され、この短時間RMS値は相対エネルギ計算回路115B、最小RMS計算回路115C、最大信号計算回路115D及び雑音スペクトル推定回路115Eに送られる。また、雑音スペクトル推定回路115Eには、相対エネルギ計算回路115B、最小RMS計算回路115C及び最大信号計算回路115Dからの各出力と、上記バンド分割回路114からの出力とが送られている。
RMS計算回路115Aでは、次の式(1)に従い各フレーム毎の信号のRMS値RMS[k]を計算する。また、相対エネルギ計算回路115Bでは、前フレームからの減衰エネルギ(減衰時間0.65秒)に対する現フレームの相対エネルギdB_rel[k]を計算する。
Figure 0004173525
最小RMS計算回路115Cでは、背景雑音レベルを評価するために、現フレームの最小ノイズRMS値MinNoise_short、及び0.6秒毎に更新する長期間の最小ノイズRMS値MinNoise_longを計算する。なお、長期間の最小ノイズRMS値MinNoise_longは、雑音レベルの急激な変化に現フレームの最小ノイズRMS値MinNoise_shortが追従できない場合に代わりに用いられる。
最大信号計算回路115Dでは、現フレームの最大信号RMS値MaxSignal_short、及び例えば0.4秒毎に更新する長期間の最大信号RMS値MaxSignal_longを求める。なお、長期間の最大信号RMS値MaxSignal_longは、信号レベルの急激な変化に現フレームの最大信号RMS値が追従できない場合に代わりに用いられる。上記の短期間の最大信号RMS値MaxSignal_shortと短期間の最小ノイズRMS値MinNoise_shortを用いて、現フレーム信号の最大SNR値MaxSNRが推定される。また、最大SNR値MaxSNRを用いて、相対ノイズレベルを示す0から1までの範囲の正規化パラメータNR_levelが算出される。
次に、雑音スペクトル推定回路115Eでは、相対エネルギ計算回路115B、最小RMS計算回路115C及び最大信号計算回路115Dで算出した値を用いて、現フレームの様態が音声信号であるか雑音であるかの判定を行う。現フレームが雑音と判定される場合、雑音スペクトルの時間平均推定値N[w,k]は、現フレームの信号スペクトルY[w,k]によって更新される。wはバンド分割のバンド番号を示す。
図10における音声推定回路116では、上記バンド分割された各周波数バンドw毎のSN比を計算する。まず、次の式(2)に従って、雑音が存在しない場合(クリーンな条件)を仮定して音声スペクトルを粗く推定し、音声スペクトル粗推定値S’[w,k]を求める。この音声スペクトル粗推定値S’[w,k]は、後述する確率Pr(Sp|Y)を算出するのに用いられる。なお、式(2)中のρは所定の定数であり、例えばρ=1.0とする。
S’[w,k]=
sqrt(max(0,Y[w,k]2 −ρN[w,k]2 ))
・・・・・(2)
次に、音声推定回路116は、上述の音声スペクトル粗推定値S’[w,k]と1フレーム前の音声スペクトル推定値S[w,k−1]を用いて、現フレームの音声スペクトル推定値S[w,k]を算出する。得られた音声スペクトル推定値S[w,k]と、上記雑音スペクトル推定回路115Eが出力する雑音スペクトルの推定値N[w,k]を用いて、次の式(3)に従ってサブバンド毎のSN比SNR[w,k]を算出する。
Figure 0004173525
続いて、音声推定回路116は、広範囲の雑音/音声レベルに対応するために上記のサブバンド毎のSN比SNR[w,k]を用いて、可変のSN比SNR_new[w,k]を次の式(4)により求める。式(3)中のMIN_SNR()はSNR_new[w,k]の最小値を決める関数であり、引数snrはサブバンドSN比SNR[w,k]と同義である。
Figure 0004173525
上記求められるSNR_new[w,k]は、その最小値に制限を加えた現フレームにおける瞬時のサブバンドSN比である。このSNR_new[w,k]は、例えば、有音部のような全体として高SN比を有する信号に対しては、サブバンドSN比がとる最小値を1.5(dB)まで落とすことができる。また、例えば雑音部のような低い瞬時SN比を有する信号に対しては、サブバンドSN比がとる最小値が3(dB)より小さな値になることはない。
Pr(Sp)計算回路117では、想定した入力信号中、即ちクリーンな条件で音声信号が存在する確率Pr(Sp)を計算する。この確率Pr(Sp)は最大信号計算回路115Dで算出されたNR_level関数を用いて計算される。
Pr(Sp|Y)計算回路118では、実際に雑音が混入している入力信号y[t]中において、音声信号が存在する確率Pr(Sp|Y)を計算する。この確率Pr(Sp|Y)は上記Pr(Sp)計算回路117が出力する確率Pr(Sp)と、上記式(4)で計算されるサブバンドSN比SNR_new[w,k]を用いて算出される。ここで、算出される確率Pr(Sp|Y)のうち、確率Pr(H1|Y)[w,k]が持つ意味は、スペクトル振幅信号Y[w,k]のサブバンドwの音声事象H1、即ち、現フレームの入力信号y[t]が音声信号s[t]と雑音信号n[t]との和であって、その中で音声信号s[t]が存在する場合のサブバンドw毎の確率を示し、例えばSNR_new[w,k]が大きくなると、確率Pr(H1|Y)[w,k]は1.0に近い値となる。
最尤フィルタ119では、バンド分割回路114からのスペクトル振幅信号Y[w,k]と雑音推定回路115からの雑音スペクトル振幅信号N[w,k]を用いて、次の式(5)により、スペクトル振幅信号Yから雑音信号Nの除去を行い、雑音スペクトル除去信号H[w,k]を出力する。
Figure 0004173525
軟判定抑圧回路120では、最尤フィルタ119が出力する雑音スペクトル除去信号H[w,k]と、Pr(Sp|Y)計算回路118が出力する確率Pr(H1|Y)[w,k]を用いて、次の式(6)に従って雑音スペクトル除去信号H[w,k]のサブバンドw毎のスペクトル振幅抑圧を行い、スペクトル抑圧信号Hs[w,k]を出力する。なお、式(6)において、MIN_GAINは最小ゲインを示す所定の定数であり、例えば、MIN_GAIN=0.1(−15dB)とする。式(6)により、音声信号が存在する確率Pr(H1|Y)[w,k]が1.0に近い場合は、雑音除去スペクトル信号H[w,k]は振幅抑圧を弱め、確率Pr(H1|Y)[w,k]が0.0に近くなるにつれて、雑音除去スペクトル信号H[w,k]は最小ゲインMIN_GAINにまで振幅抑圧される。
Hs[w,k]=Pr(H1|Y)[w,k]・H[w,k]+
(1−Pr(H1|Y)[w,k])・MIN_GAIN
・・・・・(6)
フィルタ処理回路121では、周波数軸方向と時間軸方向とについて、軟判定抑圧回路120が出力するスペクトル抑圧信号Hs[w,k]の平滑化を行ってスペクトル抑圧信号Hs[w,k]の不連続感を軽減する。また、バンド変換回路122では、フィルタ処理回路121が出力する平滑化した信号を補間処理によりバンド拡張変換を行う。
スペクトラム修正回路123では、FFT回路113で得られた入力信号のFFT係数の虚部と、バンド変換回路122で得られたFFT係数の実部に、バンド分割回路114の出力信号を乗じてスペクトラム修正を行う。
IFFT回路124では、スペクトラム修正回路123で得られた信号を用いて逆FFT処理を行う。オーバラップ加算回路125では、各フレーム毎のIFFT出力信号のフレーム境界部分について重ね合わせ処理を行い、雑音低減処理された出力信号を出力端子126より出力する。
このように、従来の雑音抑圧装置は、入力信号の雑音・音声レベルが変動しても、そのサブバンドSN比に応じて雑音抑圧量が調整できる構成であり、例えば、有音部のように全体として高SN比を有する信号に対しては、各サブバンドSN比の最小値を小さくして、SN比の低いサブバンドに対して振幅抑圧量を小さくできるので、低レベルの音声信号を抑圧することを防止できる。また、雑音部のように全体として低いSN比を有する信号に対しては、各サブバンドSN比の最小値を大きくして、SN比の低いサブバンドに対して十分な振幅抑圧を行うので雑音感の発生が抑えられる。
従来の雑音抑圧装置は、以上のように構成されているので、雑音フレームでは、残留雑音を生じさせないようにするために、全帯域で周波数方向に一定の雑音抑圧量特性で雑音抑圧すべきだが、推定された雑音スペクトルは過去の平均的な雑音スペクトルであるために、現フレームにおける実際の雑音スペクトルとスペクトル形状が一致せず、そのためサブバンドSN比の推定誤差が生じ、全帯域で周波数方向に一定の雑音抑圧量特性で雑音抑圧を行うことができないという課題があった。
具体的には、雑音フレームであっても、パワーが大きいスペクトル成分を含む帯域では、そのサブバンドのSN比が大きくなり、その帯域は有音として扱われて抑圧量が不十分となる。その結果、全帯域で一定の抑圧特性とならなくなり、これが残留雑音の原因となるが、従来の方式では推定雑音スペクトルと推定サブバンドSN比に依存した制御を行っているので、雑音スペクトルの推定が間違った場合には、適切な雑音抑圧が行うことができないという課題があった。
この発明は上記のような課題を解決するためになされたもので、簡単な方法で雑音フレームでの残留雑音発生を抑制し、かつ、高雑音下でも品質劣化が少なく雑音レベル変動にも強い雑音抑圧装置及び雑音抑圧方法を得ることを目的とする。
この発明に係る雑音抑圧装置は、入力信号の現フレームに基づいて入力信号スペクトルをサブバンド単位で得る入力信号スペクトル取得手段と、入力信号の過去のフレームに基づいて推定された推定雑音スペクトルをサブバンド単位で得る推定雑音スペクトル取得手段と、サブバンド単位で、入力信号スペクトル取得手段で得られた入力信号スペクトルと、推定雑音スペクトル取得手段で得られた推定雑音スペクトルと、入力信号スペクトル取得手段で得られた入力信号スペクトル及び推定雑音スペクトル取得手段で得られた推定雑音スペクトルの関数とに基づいて、SN比を得るSN比取得手段と、SN比取得手段で得られたSN比に基づいて、入力信号の雑音抑圧に用いられる抑圧係数をサブバンド単位で得る抑圧係数取得手段と、入力信号と抑圧係数取得手段で得られた抑圧係数とに基づいて、雑音抑圧された出力信号を得る出力信号取得手段とを備えたものである。
この発明によれば、入力信号の現フレームに基づいて入力信号スペクトルをサブバンド単位で得る入力信号スペクトル取得手段と、入力信号の過去のフレームに基づいて推定された推定雑音スペクトルをサブバンド単位で得る推定雑音スペクトル取得手段と、サブバンド単位で、入力信号スペクトル取得手段で得られた入力信号スペクトルと、推定雑音スペクトル取得手段で得られた推定雑音スペクトルと、入力信号スペクトル取得手段で得られた入力信号スペクトル及び推定雑音スペクトル取得手段で得られた推定雑音スペクトルの関数とに基づいて、SN比を得るSN比取得手段と、SN比取得手段で得られたSN比に基づいて、入力信号の雑音抑圧に用いられる抑圧係数をサブバンド単位で得る抑圧係数取得手段と、入力信号と抑圧係数取得手段で得られた抑圧係数とに基づいて、雑音抑圧された出力信号を得る出力信号取得手段とを備えたことにより、周波数全帯域にわたって変動の少ない特性で雑音抑圧することができ、残留雑音発生を軽減することができるという効果がある。
実施の形態1.
図1はこの発明の実施の形態1による雑音抑制装置の構成を示すブロック図である。図において、1は入力信号端子、2は入力信号をフレーム毎に周波数分析して入力信号スペクトルと位相スペクトルに変換する時間/周波数変換手段、3は入力信号のフレームが雑音であるか有音であるかの指標である雑音らしさ信号を算出する雑音らしさ分析手段、4は時間/周波数変換手段2により変換された入力信号スペクトルを入力して小帯域毎の入力信号平均スペクトルを算出し、算出した小帯域毎の入力信号平均スペクトルと、雑音らしさ分析手段3により算出された雑音らしさ信号に基づき、過去のフレームから推定された小帯域毎の推定雑音スペクトルを更新する雑音スペクトル推定手段である。
また、図1において、5は、雑音らしさ分析手段3により算出された雑音らしさ信号と、時間/周波数変換手段2により変換された入力信号スペクトルと、雑音スペクトル推定手段4により更新された小帯域毎の推定雑音スペクトルを入力し、入力した入力信号スペクトルにより小帯域毎の入力信号平均スペクトルを算出し、入力した雑音らしさ信号に基づき、入力した小帯域毎の推定雑音スペクトルと算出した小帯域毎の入力信号平均スペクトルの混合率を算出し、入力した小帯域毎の推定雑音スペクトルと、算出した小帯域毎の入力信号平均スペクトルと、算出した混合率に基づき小帯域毎のSN比を算出するサブバンドSN比算出手段、6はサブバンドSN比算出手段5により算出された小帯域毎のSN比を用いて、雑音スペクトル推定手段4により更新された小帯域毎の推定雑音スペクトルに対する小帯域毎のスペクトル抑圧量を算出するスペクトル抑圧量算出手段、7はスペクトル抑圧量算出手段6により算出された小帯域毎のスペクトル抑圧量を用いて、時間/周波数変換手段2により変換された入力信号スペクトルのスペクトル振幅抑圧を行い、雑音除去スペクトルを出力するスペクトル抑圧手段、8はスペクトル抑圧手段7により出力された雑音除去スペクトルを、時間/周波数変換手段2により変換された位相スペクトルを用いて時間領域の雑音抑圧信号に変換する周波数/時間変換手段、9は周波数/時間変換手段8により変換された雑音抑圧信号のフレーム境界部分について重ね合わせ処理を行い、雑音低減処理された雑音除去信号を出力するオーバラップ加算手段、10は出力信号端子である。
図2はこの発明の実施の形態1による雑音抑制装置におけるサブバンドSN比算出手段5の構成を示すブロック図である。図において、5Aは帯域分割フィルタ、5Bは混合率算出回路、5CはサブバンドSN比算出回路である。
図3はこの発明の実施の形態1による雑音抑制装置における雑音らしさ分析手段3の構成を示すブロック図である。図において、3Aは窓掛け回路、3Bはローパスフィルタ、3Cは線形予測分析回路、3Dは逆フィルタ、3Eは自己相関係数算出回路、3Fは最大値検出回路、3Gは雑音らしさ信号算出回路である。
図4はこの発明の実施の形態1による雑音抑制装置における雑音スペクトル推定手段4の構成を示すブロック図である。図において、4Aは更新速度係数算出回路、4Bは帯域分割フィルタ、4Cは推定雑音スペクトル更新回路である。
図5はこの発明の実施の形態1による雑音抑制装置におけるスペクトル抑圧量算出手段6の構成を示すブロック図である。図において、6Aはフレーム雑音エネルギ算出回路、6Bはスペクトル抑圧量算出回路である。
図6はこの発明の実施の形態1による雑音抑制装置におけるスペクトル抑圧手段7の構成を示すブロック図である。図において、7Aは補間回路、7Bはスペクトル抑圧回路である。
次に動作について説明する。
入力信号s[t]は、所定のサンプリング周波数(例えば8kHz)でサンプリングされ、所定のフレーム単位(例えば20ms)に分割されて入力信号端子1より入力される。この入力信号s[t]は背景雑音が混入した音声信号、もしくは背景騒音のみの信号である。
時間/周波数変換手段2は、例えば256点FFTを用いて、入力信号s[t]をフレーム単位で入力信号スペクトルS[f]と位相スペクトルP[f]に変換する。なお、FFTは公知の手法であるので説明を省略する。
次にサブバンドSN比算出手段5は、時間/周波数変換手段2が出力する入力信号スペクトルS[f]と、後述する雑音らしさ分析手段3が出力する雑音らしさ信号Noise_levelと、後述する雑音スペクトル推定手段4が出力する、過去の雑音と判定されたフレームから推定した平均的な雑音スペクトルである推定雑音スペクトルNa[i]を用いて、現フレームの周波数帯域別SN比(以下、サブバンドSN比と称する)SNR[i]を次のような方法で求める。
図7はこの発明の実施の形態1による雑音抑制装置における周波数帯域分割テーブルを示す図である。まず、サブバンドSN比SNR[i]を求める準備として、例えば、図7に示すように、低域では帯域幅が狭く、高域になるに従って帯域幅が広くなるような19の小帯域(サブバンド)に分割を行う。この帯域分割には、図2の帯域分割フィルタ5Aを用いて、入力信号スペクトルS[f]のf=0〜127までのパワースペクトル成分を、次の式(7)に従いサブバンドi毎にサブバンドに属するスペクトル成分の平均値を求め、それぞれを入力信号平均スペクトルSa[i]として出力する。
Figure 0004173525
次に、図2の混合率算出回路5Bでは、後述する雑音らしさ信号Noise_levelを入力し、サブバンドSN比SNR[i]を計算するときに用いる、後述する雑音スペクトル推定手段4が出力する推定雑音スペクトルNa[i]と、上記帯域分割フィルタ5Aが出力する入力信号平均スペクトルSa[i]の混合率mを算出する。ここでは、雑音らしさ信号Noise_levelを混合率mとして用いており、混合率mを決定する関数は式(8)のようになる。
m=Noise_level ・・・・・(8)
例えば式(8)のように、雑音らしさ信号Noise_levelに混合率mを比例させることで、雑音らしさ信号Noise_levelが大きい値をとる場合には混合率mが大きくなり、逆に、雑音らしさ信号Noise_levelが小さい値をとる場合には混合率mは小さくなる。
次に図2のサブバンドSN比算出回路5Cでは、上記帯域分割フィルタ5Aが出力する入力信号平均スペクトルSa[i]、雑音スペクトル推定手段4が出力する推定雑音スペクトルNa[i]と上記混合率算出回路5Bで求められた混合率mを用いて、次の式(9)に従ってサブバンドiに対応するサブバンドSN比SNR[i]を計算する。
Figure 0004173525
混合率mを使ってサブバンドSN比SNR[i]を求めることで、現フレームが雑音の度合いが大きい場合には、サブバンドSN比SNR[i]の周波数方向の平滑化度合いを強め、雑音の度合いが小さい場合には、サブバンドSN比SNR[i]の周波数方向の平滑化度合いを弱めることができる。よって、現フレームの雑音らしさに応じて、サブバンドSN比SNR[i]の周波数方向の平滑化を制御することができる。
図8はこの発明の実施の形態1による雑音抑制装置における、現フレームが雑音フレームの場合の入力信号平均スペクトルSa[i](現フレームの雑音スペクトル:実線)と、過去の雑音スペクトルから推定された推定雑音スペクトルNa[i](点線)と、それから得られるサブバンドSN比SNR[i]との関係を示す図である。図8(a)は、サブバンドSN比SNR[i]算出の際に推定雑音スペクトルNa[i]に入力信号平均スペクトルSa[i]を混合しない場合であり、得られるサブバンドSN比SNR[i]は周波数方向に変動の大きい形状となる。一方、図8(b)は、推定雑音スペクトルNa[i]に混合率m=0.9で入力信号平均スペクトルSa[i]を混合する場合であり、推定雑音スペクトルNa[i]を現フレームの実際の雑音スペクトルに近似させることができるので、サブバンドSN比SNR[i]は周波数方向に変動の少ない形状となる。従って、雑音フレームにおいてパワーが大きいスペクトル成分を含む帯域で、サブバンドSN比SNR[i]を大きく推定してしまうような(又は小さく推定してしまうような)誤推定を抑えるように、サブバンドSN比SNR[i]を平滑化することができる。
次に図3の雑音らしさ分析手段3では、入力信号s[t]を入力し、現フレームの様態が雑音・有音であるかどうかの指標である雑音らしさ信号Noise_levelの算出を以下のような方法で行う。
まず、窓掛け回路3Aにおいて、次の式(10)に従って入力信号s[t]の窓掛け処理を行い、窓掛けされた入力信号s_w[t]を出力する。窓関数としては、例えばHanning窓Hanwin[t]を使用する。また、Nはフレーム長でありN=160とする。
s_w[t]=Hanwin[t]*s[t],t=0,..,N−1
Hanwin[t]=0.5+0.5*cos(2πt/2N−1)
・・・・・(10)
ローパスフィルタ3Bでは、窓掛け回路3Aが出力する窓掛けされた入力信号s_w[t]を入力し、例えばカットオフ周波数2kHzのローパスフィルタ処理を行ってローパスフィルタ信号s_lpf[t]を得る。ローパスフィルタ処理を行うことで、後述の自己相関分析において高域雑音の影響を取り除くことができ安定した分析が行える。
次に線形予測分析回路3Cでは、ローパスフィルタ3Bが出力するローパスフィルタ信号s_lpf[t]を入力し、例えばLevinson-Durbinの方法等の公知の手法により線形予測係数(例えば10次のαパラメータ)alphaを計算し出力する。
逆フィルタ3Dでは、ローパスフィルタ3Bが出力するローパスフィルタ信号s_lpf[t]と、線形予測分析回路3Cが出力する線形予測係数alphaを入力し、ローパスフィルタ信号s_lpf[t]の逆フィルタ処理を行い、ローパス線形予測残差信号res[t]を出力する。
続いて自己相関係数算出回路3Eでは、逆フィルタ3Dが出力するローパス線形予測残差信号res[t]を入力し、次の式(11)に従ってローパス線形予測残差信号res[t]の自己相関分析を行い、N次の自己相関係数ac[k]を求める。
Figure 0004173525
最大値検出回路3Fでは、自己相関係数算出回路3Eが出力する自己相関係数ac[k]を入力し、自己相関係数ac[k]中から正の最大値となる自己相関係数を検索して自己相関係数最大値AC_maxを出力する。
次に雑音らしさ信号算出回路3Gでは、最大値検出回路3Fが出力する自己相関係数最大値AC_maxを入力し、次の式(12)に従って雑音らしさ信号Noise_levelを出力する。式(12)中のAC_max_h及びAC_max_lはAC_maxの値を規制する所定の定数閾値であり、例えばそれぞれAC_max_h=0.7,AC_max_l=0.2とする。
Figure 0004173525
次に図4に示す雑音スペクトル推定手段4では、雑音らしさ分析手段3が出力する雑音らしさ信号Noise_levelを入力し、以下のような方法で雑音らしさ信号Noise_levelに対応する推定雑音スペクトル更新速度係数rを決定した後、入力信号スペクトルS[f]を用いて推定雑音スペクトルNa[i]の更新を行う。
更新速度係数算出回路4Aでは、推定雑音スペクトルNa[i]を更新するのに用いる推定雑音スペクトル更新速度係数rを、雑音らしさ信号Noise_levelの値が1.0に近い程、現フレームは雑音である可能性が大きいと見なして、現フレームの入力信号スペクトルS[f]を大きく反映するように設定する。例えば、次の式(13)のようにNoise_levelの値が大きい程、推定雑音スペクトル更新速度係数rの値を大きくするようにする。なお、式(13)におけるX1,X2,Y1,Y2は各々所定の定数であり、例えばX1=0.9,X2=0.5,Y1=0.1,Y2=0.01とする。
Figure 0004173525
続いて、上述のサブバンドSN比算出手段5で用いたのと同一の帯域分割フィルタ4Bを用いて、入力信号スペクトルS[f]をサブバンド別の平均スペクトルである入力信号平均スペクトルSa[i]に変換した後、推定雑音スペクトル更新回路4Cで、次の式(14)に従って過去のフレームから推定された推定雑音スペクトルNa[i]の更新を行う。式(14)におけるNa_old[i]は更新前の推定雑音スペクトルで雑音抑制装置内のメモリ(記載せず)に格納されており、Na[i]は更新後の推定雑音スペクトルである。
Na[i]=(1−r)・Na_old[i]+r・Sa[i]
;i=0,...,18 ・・・・・(14)
次に図5のスペクトル抑圧量算出手段6では、サブバンドSN比算出手段5が出力するサブバンドSN比SNR[i]と、雑音スペクトル推定手段4が出力する推定雑音スペクトルNa[i]から求められるフレーム雑音エネルギnpowに基づいて、以下のような方法でサブバンドi毎のスペクトル抑圧量α[i]を求める。
フレーム雑音エネルギ算出回路6Aでは、雑音スペクトル推定手段4が出力する推定雑音スペクトルNa[i]を入力し、次の式(15)に従って現フレームの雑音パワーであるフレーム雑音エネルギnpowを算出する。
Figure 0004173525
スペクトル抑圧量算出回路6Bでは、サブバンドSN比SNR[i]とフレーム雑音エネルギnpowを入力し、次の式(16)に従ってスペクトル抑圧量A[i](dB)を算出してデシベル→リニア値変換の後、スペクトル抑圧量α[i]を出力する。なお、min(a,b)は2つの引数a,bのうち小さい方の値を返す関数である。また、式(16)中のMIN_GAINは過度の抑圧を制限するための所定の定数閾値であり、例えばMIN_GAIN=10(dB)とする。
A[i]=SNR[i]−min(MIN_GAIN,npow)
α[i]=10A[i]/20 ・・・・・(16)
次に図6のスペクトル抑圧手段7では、時間/周波数変換手段2が出力する入力信号スペクトルS[f]と、雑音スペクトル抑圧量算出手段6が出力するスペクトル抑圧量α[i]を入力し、入力信号スペクトルS[f]のスペクトル振幅抑圧を行って雑音除去スペクトルSr[f]を出力する。
補間回路7Aでは、スペクトル抑圧量α[i]を入力し、サブバンドi毎のスペクトル抑圧量を各サブバンドに属するスペクトル成分に展開し、スペクトル成分f毎の値であるスペクトル抑圧量αw[f]を出力する。
スペクトル抑圧回路7Bでは、次の式(17)に従って入力信号スペクトルS[f]のスペクトル振幅抑圧を行い、雑音除去スペクトルSr[f]を出力する。
Sr[f]=αw[f]・S[f] ・・・・・(17)
周波数/時間変換手段8では、時間/周波数変換手段2の逆の手順をとり、例えば逆FFTを行ってスペクトル抑圧手段7が出力する雑音除去スペクトルSr[f]と、時間/周波数変換手段2が出力する位相スペクトルP[f]とを用いて時間領域の信号である雑音抑圧信号sr’[t]に変換し出力する。
オーバラップ加算手段9では、周波数/時間変換手段8が出力する各フレーム毎の逆FFT出力信号sr’[t]のフレーム境界部分について重ね合わせ処理を行い、雑音低減処理された雑音除去信号sr[t]を出力信号端子10より出力する。
以上のように、この実施の形態1によれば、図8(b)に示すように、サブバンドSN比SNR[i]を算出するときに、推定雑音スペクトルNa[i]を現フレームの雑音スペクトルに近似させることができるので、サブバンドSN比SNR[i]は周波数方向の変動が小さくなる。従って、雑音フレームにおいてパワーが大きいスペクトル成分を含む帯域でも、サブバンドSN比を大きく推定してしまうような(又は小さく推定してしまうような)誤推定を抑制することができる。この周波数方向に変動が少ないサブバンドSN比SNR[i]を用いて、スペクトル抑圧量α[i]を求め、このスペクトル抑圧量α[i]を用いてスペクトル振幅抑圧処理を行うことにより、周波数全帯域にわたって変動の少ない特性で雑音抑圧することができ、残留雑音発生を軽減することができるという効果が得られる。
実施の形態2.
上記実施の形態1において、サブバンドSN比算出手段5にて算出する混合率mを、サブバンドi毎に、例えば雑音らしさ信号Noise_levelの関数を用いることにより、サブバンド混合率m[i]として制御することも可能である。
例えば次の式(18)のように、雑音らしさ信号Noise_levelが大きいときには、サブバンドi毎の混合率m[i]を大きくし、雑音らしさ信号Noise_levelが小さい場合には、サブバンド混合率m[i]を小さくするような値に設定する。
Figure 0004173525
また、一般に高域になるに従い雑音スペクトルの推定精度が低下するので、式(18)中のサブバンド混合率m[i]に雑音らしさ信号Noise_levelの値を受け渡す閾値N_TH[i]の値を低く設定する。高域になるに従って閾値N_TH[i]の値を低くすることで、高域のサブバンド混合率m[i]を大きくすることができるので、高域のサブバンドSN比SNR[i]の平滑化を強めて高域の雑音スペクトルの推定精度劣化を抑圧でき、その結果、高域の残留雑音を更に抑制することができる。
なお、式(18)中の閾値N_TH[i]は各サブバンド毎に用意する必要はなく、例えば、サブバンド0と1,サブバンド2と3,...というように、2組の隣接するサブバンドで閾値を共有してもかまわない。
この実施の形態において、全てのサブバンドに対して関数を用意し、各々個別にサブバンド混合率の制御を行っているが、例えば、サブバンド0〜9までの低域では、上記実施の形態1での全周波数帯域から求めた混合率mをサブバンド混合率m[0]〜m[9]として出力し、それ以外の高域のサブバンド混合率m[10]〜m[18]は、この実施の形態2のものを用いるような、複合構成をとることももちろん可能である。この複合構成をとることで混合率を求めるための演算量、メモリ量を削減することができる。
以上のように、この実施の形態2によれば、混合率mを、サブバンドi毎に、例えば雑音らしさ信号Noise_levelの関数を用いてサブバンド混合率m[i]とし、高域になるに従いサブバンド混合率m[i]に雑音らしさ信号Noise_levelの値を受け渡す閾値N_TH[i]の値を低く設定することにより、高域のサブバンド混合率m[i]を大きくすることができるので、高域のサブバンドSN比SNR[i]の平滑化を強めて高域の雑音スペクトルの推定精度劣化を抑圧でき、高域の残留雑音を更に抑制することができるという効果が得られる。
実施の形態3.
上記実施の形態1において、例えば式(19)に示すように混合率mを雑音らしさ信号Noise_levelに対応した複数の所定の値とし、雑音らしさ信号Noise_levelのレベルが高い場合は大きい値を選択し、雑音らしさ信号Noise_levelのレベルが低い場合には小さい値を選択することも可能である。
Figure 0004173525
以上のように、この実施の形態3によれば、雑音らしさ信号Noise_levelに対応した複数の所定の値で混合率mを設定することにより、実施の形態1における、時間方向に変動する雑音らしさ信号Noise_levelの関数による混合率mの制御に比べて、混合率mの時間方向の微細な変動が所定の定数値に吸収されるので、安定して混合率mを求めることができ、更に残留雑音の発生を抑制することができるという効果が得られる。
実施の形態4.
上記実施の形態3における混合率mの制御を、サブバンド毎に所定の定数値から選択してサブバンド混合率m[i]を求めても、同等な効果が得られることはもちろんである。
以上のように、この実施の形態4によれば、雑音らしさ信号Noise_levelに対応した複数の所定の値でサブバンド混合率m[i]を設定することにより、実施の形態2における、時間方向に変動する雑音らしさ信号Noise_levelの関数によるサブバンド混合率m[i]の制御に比べて、サブバンド混合率m[i]の時間方向の微細な変動が所定の定数値に吸収されるので、安定してサブバンド混合率m[i]を求めることができ、更に残留雑音の発生を抑制することができるという効果が得られる。
実施の形態5.
上記実施の形態2において、サブバンド混合率m[i]に対して、例えば高域になるに従って混合率m[i]が大きくなるように、周波数方向に重み付けすることも可能である。
例えば、次の式(20)に示すように、周波数に応じた重み係数w[i]を雑音らしさ信号Noise_levelに乗ずることで、高域のサブバンド混合率m[i]を大きくする。式(20)中に示す重み係数w[i]は、高域のサブバンド混合率m[i]を大きくするような重みである。ただし、重み付け後のサブバンド混合率m[i]が1.0を越える場合はm[i]=1.0とする。
図9は式(20)の条件で混合率m[i]に周波数方向の重み付けを行った例であり、高域のサブバンドSN比SNR[i]の平滑化度合いが強められていることが確認できる。
Figure 0004173525
以上のように、この実施の形態5によれば、高域のサブバンド混合率m[i]を大きくするように周波数方向の重み付けを行うことにより、高域のサブバンドSN比SNR[i]の変動が更に小さくなるように平滑化できるので、高域の残留雑音の発生を更に抑制することができるという効果が得られる。
なお、この実施の形態においては、全てのサブバンドに対して周波数方向の重み付けを行っているが、例えば,サブバンド10〜18だけといったように、高域のサブバンドに対してだけ重み付けしてもかまわない。
実施の形態6.
上記実施の形態4において、実施の形態2のサブバンド混合率m[i]を決定する関数に代わり、所定の定数とした場合であっても、サブバンド混合率m[i]に重み付けすることはもちろん可能である。式(21)は所定の定数に周波数方向の重み付けを行った一例である。
Figure 0004173525
以上のように、この実施の形態6によれば、高域のサブバンド混合率m[i]を大きくするように周波数方向の重み付けを行うことにより、所定の定数によるサブバンド混合率m[i]の時間方向変動抑制効果に加えて、高域のサブバンドSN比SNR[i]を小さくするように平滑を行うことができる相乗効果により、更に残留雑音の発生を抑制することができるという効果が得られる。
実施の形態7.
上記実施の形態5において、例えば、次の式(22)に示すように、サブバンド混合率m[i]を現フレームの雑音らしさ信号Noise_levelが所定の閾値m_th[i]に満たない場合は、重み付けを行わないことも可能である。式(22)は、第0番目のサブバンド混合率m[0]に重み付けを行っている一例である。
Figure 0004173525
以上のように、この実施の形態7によれば、雑音らしさ信号Noise_levelが所定の閾値を越える場合だけ重み付けをすることにより、例えば、音声信号の始まりの子音部等において、仮に当該フレームが雑音と誤判定されたとしても、サブバンドSN比算出手段5が不必要なサブバンドSN比の平滑を行いSN比を小さくすることを防止できるので、出力音声の品質劣化を防止することができるという効果が得られる。
実施の形態8.
上記実施の形態6において、例えば、次の式(23)に示すように、サブバンド混合率m[i]を、現フレームの雑音らしさ信号Noise_levelが所定の閾値m_th[i]に満たない場合は、重み付けを行わないことも可能である。
Figure 0004173525
以上のように、この実施の形態8によれば、雑音らしさ信号Noise_levelが所定の閾値を越える場合だけ重み付けをすることにより、例えば、音声信号の始まりの子音部等において、仮に当該フレームが雑音と誤判定されたとしても、サブバンドSN比算出手段5が不必要なサブバンドSN比の平滑を行いSN比を小さくすることを防止できるので、出力音声の品質劣化を防止することができるという効果が得られる。
以上のように、この発明に係る雑音抑圧装置は、周波数全帯域にわたって変動の少ない特性で雑音を抑圧し、残留雑音発生を軽減するものに適している。
この発明の実施の形態1による雑音抑制装置の構成を示すブロック図である。 この発明の実施の形態1による雑音抑制装置におけるサブバンドSN比算出手段の構成を示すブロック図である。 この発明の実施の形態1による雑音抑制装置における雑音らしさ分析手段の構成を示すブロック図である。 この発明の実施の形態1による雑音抑制装置における雑音スペクトル推定手段の構成を示すブロック図である。 この発明の実施の形態1による雑音抑制装置におけるスペクトル抑圧量算出手段の構成を示すブロック図である。 この発明の実施の形態1による雑音抑制装置におけるスペクトル抑圧手段の構成を示すブロック図である。 この発明の実施の形態1による雑音抑制装置における周波数帯域分割テーブルを示す図である。 この発明の実施の形態1による雑音抑制装置における入力信号平均スペクトルと推定雑音スペクトルとサブバンドSN比との関係を示す図である。 この発明の実施の形態5による雑音抑制装置における、混合率に周波数方向の重み付けを行った場合の、入力信号平均スペクトルと推定雑音スペクトルとサブバンドSN比との関係を示す図である。 従来の雑音抑制装置の構成を示すブロック図である。 従来の雑音抑制装置における雑音推定回路の構成を示すブロック図である。

Claims (4)

  1. 入力信号の現フレームに基づいて入力信号スペクトルをサブバンド単位で得る入力信号スペクトル取得手段と、
    前記入力信号の過去のフレームに基づいて推定された推定雑音スペクトルを前記サブバンド単位で得る推定雑音スペクトル取得手段と、
    前記サブバンド単位で、
    前記入力信号スペクトル取得手段で得られた入力信号スペクトルと、
    前記推定雑音スペクトル取得手段で得られた推定雑音スペクトルと、
    前記入力信号スペクトル取得手段で得られた入力信号スペクトル及び前記推定雑音スペクトル取得手段で得られた推定雑音スペクトルの関数と
    に基づいて、SN比を得るSN比取得手段と、
    前記SN比取得手段で得られたSN比に基づいて、前記入力信号の雑音抑圧に用いられる抑圧係数を前記サブバンド単位で得る抑圧係数取得手段と、
    前記入力信号と前記抑圧係数取得手段で得られた抑圧係数とに基づいて、雑音抑圧された出力信号を得る出力信号取得手段と
    を有する事を特徴とする雑音抑圧装置。
  2. 入力信号の現フレームに基づいて入力信号スペクトルをサブバンド単位で得る入力信号スペクトル取得手段と、
    前記入力信号の過去のフレームに基づいて推定された推定雑音スペクトルを前記サブバンド単位で得る推定雑音スペクトル取得手段と、
    前記サブバンド単位で、
    前記入力信号スペクトル取得手段で得られた入力信号スペクトルと、
    前記推定雑音スペクトル取得手段で得られた推定雑音スペクトルと、
    前記入力信号スペクトル取得手段で得られた入力信号スペクトル及び前記推定雑音スペクトル取得手段で得られた推定雑音スペクトルの関数と
    に基づいて、
    前記入力信号に含まれる雑音成分の程度が大きいほど小さくなるようなSN比を得るSN比取得手段と、
    前記SN比取得手段で得られたSN比に基づいて、前記入力信号の雑音抑圧に用いられる抑圧係数を前記サブバンド単位で得る抑圧係数取得手段と、
    前記入力信号と前記抑圧係数取得手段で得られた抑圧係数とに基づいて、雑音抑圧された出力信号を得る出力信号取得手段と
    を有する事を特徴とする雑音抑圧装置。
  3. 入力信号の現フレームに基づいて入力信号スペクトルをサブバンド単位で得る入力信号スペクトル取得ステップと、
    前記入力信号の過去のフレームに基づいて推定された推定雑音スペクトルを前記サブバンド単位で得る推定雑音スペクトル取得ステップと、
    前記サブバンド単位で、
    前記入力信号スペクトル取得ステップで得られた入力信号スペクトルと、
    前記推定雑音スペクトル取得ステップで得られた推定雑音スペクトルと、
    前記入力信号スペクトル取得ステップで得られた入力信号スペクトル及び前記推定雑音スペクトル取得ステップで得られた推定雑音スペクトルの関数と
    に基づいて、SN比を得るSN比取得ステップと、
    前記SN比取得ステップで得られたSN比に基づいて、前記入力信号の雑音抑圧に用いられる抑圧係数を前記サブバンド単位で得る抑圧係数取得ステップと、
    前記入力信号と前記抑圧係数取得ステップで得られた抑圧係数とに基づいて、雑音抑圧された出力信号を得る出力信号取得ステップと
    を有する事を特徴とする雑音抑圧方法。
  4. 入力信号の現フレームに基づいて入力信号スペクトルをサブバンド単位で得る入力信号スペクトル取得ステップと、
    前記入力信号の過去のフレームに基づいて推定された推定雑音スペクトルを前記サブバンド単位で得る推定雑音スペクトル取得ステップと、
    前記サブバンド単位で、
    前記入力信号スペクトル取得ステップで得られた入力信号スペクトルと、
    前記推定雑音スペクトル取得ステップで得られた推定雑音スペクトルと、
    前記入力信号スペクトル取得ステップで得られた入力信号スペクトル及び前記推定雑音スペクトル取得ステップで得られた推定雑音スペクトルの関数と
    に基づいて、
    前記入力信号に含まれる雑音成分の程度が大きいほど小さくなるようなSN比を得るSN比取得ステップと、
    前記SN比取得ステップで得られたSN比に基づいて、前記入力信号の雑音抑圧に用いられる抑圧係数を前記サブバンド単位で得る抑圧係数取得ステップと、
    前記入力信号と前記抑圧係数取得ステップで得られた抑圧係数とに基づいて、雑音抑圧された出力信号を得る出力信号取得ステップと
    を有する事を特徴とする雑音抑圧方法。
JP2007113120A 2007-04-23 2007-04-23 雑音抑圧装置及び雑音抑圧方法 Expired - Lifetime JP4173525B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007113120A JP4173525B2 (ja) 2007-04-23 2007-04-23 雑音抑圧装置及び雑音抑圧方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007113120A JP4173525B2 (ja) 2007-04-23 2007-04-23 雑音抑圧装置及び雑音抑圧方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004110285A Division JP4098271B2 (ja) 2004-04-02 2004-04-02 雑音抑圧装置

Publications (3)

Publication Number Publication Date
JP2007226264A JP2007226264A (ja) 2007-09-06
JP2007226264A5 JP2007226264A5 (ja) 2008-05-29
JP4173525B2 true JP4173525B2 (ja) 2008-10-29

Family

ID=38548065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007113120A Expired - Lifetime JP4173525B2 (ja) 2007-04-23 2007-04-23 雑音抑圧装置及び雑音抑圧方法

Country Status (1)

Country Link
JP (1) JP4173525B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5131149B2 (ja) * 2008-10-24 2013-01-30 ヤマハ株式会社 雑音抑圧装置及び雑音抑圧方法
US8571231B2 (en) 2009-10-01 2013-10-29 Qualcomm Incorporated Suppressing noise in an audio signal
JP5903305B2 (ja) * 2012-03-26 2016-04-13 東芝デジタルメディアエンジニアリング株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP2007226264A (ja) 2007-09-06

Similar Documents

Publication Publication Date Title
JP3574123B2 (ja) 雑音抑圧装置
AU2009278263B2 (en) Apparatus and method for processing an audio signal for speech enhancement using a feature extraction
JP4670483B2 (ja) 雑音抑圧の方法及び装置
JP3591068B2 (ja) 音声信号の雑音低減方法
JP4163267B2 (ja) 雑音抑圧器及び移動局並びに雑音抑圧方法
WO2011111091A1 (ja) 雑音抑圧装置
JP2001134287A (ja) 雑音抑圧装置
WO2010046954A1 (ja) 雑音抑圧装置および音声復号化装置
WO2002101729A1 (fr) Attenuateur de bruit
WO2005124739A1 (ja) 雑音抑圧装置および雑音抑圧方法
JP3960834B2 (ja) 音声強調装置及び音声強調方法
WO2014129233A1 (ja) 音声強調装置
CN104867499A (zh) 一种用于助听器的分频段维纳滤波去噪方法和系统
JP4173525B2 (ja) 雑音抑圧装置及び雑音抑圧方法
JPH11265199A (ja) 送話器
JP4098271B2 (ja) 雑音抑圧装置
EP1278185A2 (en) Method for improving noise reduction in speech transmission
JP6065488B2 (ja) 帯域拡張装置及び方法
JP2003131689A (ja) ノイズ除去方法及び装置
JP4968355B2 (ja) 雑音抑圧の方法及び装置
JP5131149B2 (ja) 雑音抑圧装置及び雑音抑圧方法
Yang et al. Environment-Aware Reconfigurable Noise Suppression

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080414

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20080414

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080507

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080813

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4173525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term