EP2515300A1 - Method and System for noise reduction - Google Patents
Method and System for noise reduction Download PDFInfo
- Publication number
- EP2515300A1 EP2515300A1 EP12163679A EP12163679A EP2515300A1 EP 2515300 A1 EP2515300 A1 EP 2515300A1 EP 12163679 A EP12163679 A EP 12163679A EP 12163679 A EP12163679 A EP 12163679A EP 2515300 A1 EP2515300 A1 EP 2515300A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- module
- output
- sub
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000009467 reduction Effects 0.000 title description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000012935 Averaging Methods 0.000 claims abstract description 13
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 3
- 230000003595 spectral effect Effects 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 40
- 101001120757 Streptococcus pyogenes serotype M49 (strain NZ131) Oleate hydratase Proteins 0.000 claims description 38
- 229940083712 aldosterone antagonist Drugs 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 30
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 230000006798 recombination Effects 0.000 claims description 10
- 238000005215 recombination Methods 0.000 claims description 10
- 238000007792 addition Methods 0.000 claims description 9
- 101100366000 Caenorhabditis elegans snr-1 gene Proteins 0.000 claims description 7
- 101100419874 Caenorhabditis elegans snr-2 gene Proteins 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 5
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 abstract description 5
- 238000005070 sampling Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 7
- 238000012550 audit Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 240000008042 Zea mays Species 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 241000861223 Issus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Definitions
- the present invention relates to a noise reduction method and an associated noise reduction system.
- It relates more particularly to a method and a system for reducing noise on a noisy acoustic signal y (t) from a microphone operating in a noisy environment.
- the present invention finds particular application in full-duplex, wireless and mono-sensor audio communication systems, in other words mono-microphone, which make it possible to establish audio communication between several users, in an autonomous manner (ie ie without connection to a transmission base or to a network) and which is easy to use (that is to say not requiring any intervention of a technician to establish the communication).
- Such communication systems are generally used in a noisy environment, such as a marine environment or a theater, or extremely noisy, such as a construction site or a hall or stadium hosting a sporting event.
- the present invention aims to provide a method and a noise reduction system adapted to highly noisy environments and where the noise component is highly non-stationary and evolves relatively quickly over time.
- the invention proposes to implement a multi-band spectral subtraction algorithm "SSMB" which consists of sharing the entire spectral band in sub-bands and to adapt in each subband the subtraction calculation between the noisy signal Y k, 1 and the noise component D k, 1 for extracting an output denoised signal SD k, l ; applying the spectral subtraction operation in each sub-band to improve the sensitivity of the noise reduction method.
- SSMB multi-band spectral subtraction algorithm
- step a the extraction of the phase ⁇ k, 1 , of the noisy signal Y k, 1 is optional. It is indeed possible, during step e), to determine the output denoised signal SD k, l from the square modules
- the so-called "MCRA" method uses the following principle: on a finite horizon window and for a given frequency, the minimum of the power spectral density (DSP) of the noisy signal Y k, l corresponds to the value of the spectral density of power (DSP) of the noise component D k, l .
- DSP power spectral density
- Such an algorithm is particularly advantageous since it takes into account the value of the signal-to-noise ratio SNR k, l, i specific to each sub-band SB i to perform the spectral subtraction in each sub-band.
- the implementation of this multi-band spectral subtraction algorithm "SSMB" allows processing with different parameters depending on the sub-band where the 'We are.
- the noise component can be reduced more significantly in a sub-band if it is more dominant, unlike a full-band subtraction algorithm that will reduce noise equally all the sub-bands of the spectrum and will therefore be less precise and therefore less effective.
- ⁇ c1 , ⁇ c2 , ⁇ c3 and ⁇ c4 are predetermined constants
- SNR 1 and SNR 2 are predetermined thresholds.
- ⁇ c1 , ⁇ c2 , ⁇ c3 and ⁇ c4 and SNR 1 and SNR 2 are chosen experimentally, in particular by numerical simulation.
- SNR 1 - 5 dB
- SNR 2 20 dB
- ⁇ vs ⁇ 1 5
- ⁇ vs ⁇ 2 4
- ⁇ vs ⁇ 3 - 0.15
- ⁇ vs ⁇ 4 1
- step e) consists of determining the denoised signal X k, 1 from the square modules
- 2 debruitées components of sub-band X k, l, i , and optionally phases ⁇ k, l extracted in step a), so that the output unedited signal SD k, l corresponds to the denoised signal X k , l , ie SD k, l X k, l .
- the output unedited signal SD k, 1 corresponds to the denoised signal X k, l whose square modules
- 2 are directly derived from step d) implementing the multi-band spectral subtraction algorithm "SSMB".
- the processed signal i.e., the denoised signal X k, l
- the processed signal may suffer in terms of the quality and intelligibility of a distortion problem.
- This distortion whose origin is usually the noise reduction process, depends on the parameters of noise reduction algorithms ("MCRA” and "SSMB” algorithms) but also on the level and type of noise component to be reduced.
- step d) implementing the multi-band spectral subtraction algorithm "SSMB"
- a step of reinjection of the noisy signal Y k is carried out , l from the microphone in the denoised signal X k, l ; this reinjection being controlled by the amplification coefficient (otherwise called attenuation parameter) chosen very low, of the order of a few percent.
- the reinjected signal corresponds to the signal ⁇
- the step f.2) involves reconstructing the voice signal output denoised sd (t) only from the Sd output signals from the the step f.1), these output signals Sd l corresponding to the inverse Fourier transforms of the output denoised signal SD k, l specific to each time frame I.
- the speech output speech signal sd (t) is reconstructed from the only output signals Sd I from step f.1).
- This second embodiment allows somehow the deactivation of steps b), c) and d) noise reduction when the noise is not present. As a result, the distortions that can be brought about by the noise reduction processing, in this situation of absence or near absence of noise, will be eliminated.
- This OLA overlap and add method is a typical time reconstruction method that uses juxtaposed weighting windows (ie overlapping or overlapping windows). then who Adds the output signals taking into account the overlap of the time frames.
- the system implements a step of reinjection of a very small part of the noisy signal Y k, 1 coming from the microphone into the denoised signal X k, 1 to remedy at least in part the distortion problems induced by the estimation modules "MCRA” and "SSMB".
- the system 1 comprises a conversion unit 2 of the noisy acoustic signal y (t) in the time domain into a noisy signal Y k, 1 in the frequency domain.
- This conversion unit 2 comprises a switching module 21 of the noisy acoustic signal y (t) in sampled signals y 1 in successive time frames I.
- the noisy acoustic signal y (t) is cut into frames of 240 samples, which at a sampling frequency of 8 kHz corresponds to time frames of 30 milliseconds.
- the successive time frames overlap or overlap.
- successive time frames overlap on 120 samples, which corresponds to fifty percent (50%) of overlap.
- This overlap of the time frames is intended to allow the implementation of a method of recovery and addition called "OLA", which allows the initial temporal division of the noisy acoustic signal y (t) then the final restitution at the output of the system 1 in the time domain.
- OVA a method of recovery and addition
- This conversion unit 2 comprises, at the output of the chopper module 21, a windowing module 22 of the sampled signals y 1 by application of a weighting window, in particular of the Hanning window or Hamming window type, in order to output weighted sampled signals ⁇ y 1 ⁇ .
- a weighting window in particular of the Hanning window or Hamming window type
- time frames are then apodized with a weighting window, before applying a Fourier transform, in order to to minimize the edge effects due to the blanking cut performed by the cutting module 21.
- This conversion unit 2 comprises, at the output of the windowing module 22, a calculation module 23 of a discrete Fourier transform which outputs the noisy signal Y k, l .
- the switching module 21 receives as input the noisy acoustic signal y (t) and outputs the sampled signal y 1 , where I is the time index (or index of the time frame).
- the calculation of the Discrete Fourier Transform is for example carried out by a Fast Fourier Transform (FFT) calculation with a size N which can be equal to 256 (N corresponds to the number of points of the Fourier transform).
- FFT Fast Fourier Transform
- the system 1 comprises, at the output of the conversion unit 2, a digital processing unit 3 in the frequency domain which carries out denoising or speech enhancement processing on the noisy signal Y k, l .
- This digital processing unit 3 comprises a first extraction module 31 of the square module
- this digital processing unit 3 comprises a second extraction module 32 of the phase ⁇ k, 1 of the noisy signal Y k, l . As detailed later, it is also conceivable to dispense with this second extraction module 32.
- the digital processing unit 3 comprises, at the output of the first extraction module 31, an estimation module 33, called "MCRA", of a noise component D k, 1 contained in the noisy signal Y k, l from the square module
- MCRA estimation module 33
- the estimation module "MCRA” 33 thus outputs the noise component D k, l .
- the frequency band can for example be divided into three frequency sub-bands, namely SB 1 for f i ⁇ 1000 Hz, SB 2 for 1000 Hz ⁇ f i ⁇ 2000 Hz and finally SB 3 for f i > 2000 Hz, where f i is the subband frequency.
- the digital processing unit 3 comprises, at the output of the estimation module "MCRA” 33 and the module of division 34 of the frequency band, an estimation module 35, called “SSMB", of the square module
- the principle of the multi-band spectral subtraction algorithm proceeds from a generalization of the spectral subtraction algorithm which consists in subtracting from the spectral power density of the noisy signal Y k, l coming from the microphone a portion of the spectral power density of the noise component estimated by the "MCRA" method.
- This multi-band spectral subtraction algorithm is combined with the so-called OLA overlay and addition method.
- ⁇ i ⁇ ⁇ vs ⁇ 1 if SNR k , l , i ⁇ SNR 1 ⁇ vs ⁇ 2 + ⁇ vs ⁇ 3 ⁇ SNR k , l , i if SNR 1 ⁇ SNR k , l , i ⁇ SNR 2 ⁇ vs ⁇ 4 if SNR k , l , i > SNR 2
- ⁇ c1 , ⁇ c2 , ⁇ c3 and ⁇ c4 are predetermined constants
- SNR 1 and SNR 2 are the predetermined thresholds.
- ⁇ i ⁇ 5 if SNR k , l , i ⁇ - 5 4 - 3 20 ⁇ SNR k , l , i if - 5 ⁇ SNR k , l , i ⁇ 20 1 if SNR k , l , i > 20
- ⁇ i ⁇ 1 if f i ⁇ 1000 first sub - bandaged SB 1 2.75 if 1000 ⁇ f i ⁇ 2000 second sub - bandaged SB 2 1.75 if f i > 2000 third sub - bandaged SB 3
- the digital processing unit 3 also comprises, at the output of the estimation module "SSMB" 35 and the second extraction module 32, a module 36 for determining an output denoised signal SD k, l from the modules square
- the system 1 implements a step of reinjection of a very small part of the noisy signal Y k , 1 , coming from the microphone, into the denoised signal X k, l ; the reinjected signal corresponding to the amplified signal ⁇
- the distortion problems introduced by the "MCRA” 33 and "SSMB” estimation modules 35 are remedied.
- the system 1 comprises, at the output of the digital processing unit 3, a conversion unit 4 in the time domain.
- This conversion unit 4 comprises a calculation module 41 of an output signal Sd 1 specific to each time frame I by the application of an inverse Fourier transform of the output denoised signal SD k, l .
- IFFT inverse fast Fourier Transform
- This conversion unit 4 comprises, at the output of the calculation module 41, a reconstruction module 42 of a speech output signal sd (t) in the time domain from the output signals Sd 1 .
- the time frame of the output denoised signal SD k, 1 passes through the calculation module 41 of the inverse Fourier transform, then its first half (N / 2 first sampling points). is added with the second half (N / 2 last sampling points) saved from the previous frame, while its second half (N / 2 first sampling points) is saved for the next block.
- N / 2 which is equal to 128, being reminded that the recovery rate of two successive frames is fifty percent (50%).
- the system 1 does not include the second extraction module 32 of the phase ⁇ k, 1 of the noisy signal Y k, l .
- the recombination sub-module 362 of the de-banded components of sub-band X k, l, i calculates the denoised signal X k, l from the modules
- System 1 of the figure 3 is a variant of the system 1 of the figure 2 without the second extraction module 32, but it is of course also conceivable to provide for the removal of the second extraction module 32 in the system 1 of the figure 1 .
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Noise Elimination (AREA)
Abstract
Description
La présente invention se rapporte à un procédé de réduction du bruit et à un système de réduction du bruit associé.The present invention relates to a noise reduction method and an associated noise reduction system.
Elle se rapporte plus particulièrement à un procédé et à un système de réduction du bruit sur un signal acoustique bruité y(t) issu d'un microphone opérant dans un milieu bruité.It relates more particularly to a method and a system for reducing noise on a noisy acoustic signal y (t) from a microphone operating in a noisy environment.
La présente invention trouve une application particulière dans les systèmes de communication audio full-duplex, sans fils et mono-capteur, autrement dit mono-microphone, qui permettent d'établir une communication audio entre plusieurs utilisateurs, de manière autonome (c'est-à-dire sans raccordement à une base de transmission ou à un réseau) et qui soit simple d'utilisation (c'est-à-dire ne nécessitant aucune intervention d'un technicien pour établir la communication).The present invention finds particular application in full-duplex, wireless and mono-sensor audio communication systems, in other words mono-microphone, which make it possible to establish audio communication between several users, in an autonomous manner (ie ie without connection to a transmission base or to a network) and which is easy to use (that is to say not requiring any intervention of a technician to establish the communication).
De tels systèmes de communication sont généralement employés dans un environnement bruité, comme par exemple un milieu marin ou une salle de spectacle, voire extrêmement bruité, comme par exemple un chantier de travaux publics ou une salle ou stade accueillant un évènement sportif.Such communication systems are generally used in a noisy environment, such as a marine environment or a theater, or extremely noisy, such as a construction site or a hall or stadium hosting a sporting event.
Ainsi, il est nécessaire, voire indispensable, de prévoir un procédé et/ou système de réduction du bruit (ou de rehaussement de parole) dans la chaîne de traitement du signal afin d'améliorer la qualité audio pour que la conversation soit audible entre les utilisateurs des systèmes de communication, autrement dit que la communication soit compréhensible.Thus, it is necessary, if not essential, to provide a method and / or system for noise reduction (or speech enhancement) in the signal processing chain in order to improve the audio quality so that the conversation is audible between the speakers. users of communication systems, in other words that the communication is understandable.
Il est connu d'estimer la composante de bruit contenue dans le signal bruité par un algorithme d'estimation de la densité spectrale de puissance de la composante de bruit selon une méthode de moyennage récursif des minima contrôlés dite « MCRA » pour « Minima Controlled Recursive Averaging ».It is known to estimate the noise component contained in the noisy signal by an algorithm for estimating the power spectral density of the noise component according to a recursive averaging method of the controlled minima known as "MCRA" for "Minima Controlled Recursive" Averaging ".
Cette méthode d'estimation du bruit dite « MCRA » est connue de la littérature scientifique, notamment des articles suivants :
-
« Speech enhancement for non-stationary noise environments », par I. Cohen et B. Berdugo, Signal Processing, 2001, vol.81 , pp. 2403-2418 -
« Noise Estimation by Minima Controlled Recursive Averaging for Robust Speech Enhancement », par I. Cohen et B. Berdugo, IEEE Signal Processing Letters, Janvier 2002, vol. 9, No.1, pp. 12-15
-
"Speech enhancement for non-stationary noise environments", by I. Cohen and B. Berdugo, Signal Processing, 2001, vol.81, pp. 2403-2418 -
"Noise Estimation by Minima Controlled Recursive Averaging for Robust Speech Enhancement", by I. Cohen and B. Berdugo, IEEE Signal Processing Letters, January 2002, vol. 9, No.1, pp. 12-15
La méthode d'estimation du bruit dite « MCRA » est ainsi particulièrement bien adaptée dans les environnements où le signal de bruit est fortement non-stationnaire et évolue relativement rapidement dans le temps.The so-called "MCRA" noise estimation method is thus particularly well suited in environments where the noise signal is highly non-stationary and evolves relatively rapidly over time.
L'état de la technique peut également être illustré par l'enseignement de l'article
La présente invention a pour but de proposer un procédé et un système de réduction du bruit adapté à des environnements fortement bruités et où la composante de bruit est fortement non-stationnaire et évolue relativement rapidement dans le temps.The present invention aims to provide a method and a noise reduction system adapted to highly noisy environments and where the noise component is highly non-stationary and evolves relatively quickly over time.
A cet effet, elle propose un procédé de réduction du bruit sur un signal acoustique bruité y(t) issu d'un microphone, de préférence unique, opérant dans un milieu bruité, comportant les étapes successives suivantes :
- a) conversion du signal acoustique bruité y(t) dans le domaine temporel en un signal bruité Yk,l dans le domaine fréquentiel, par découpage temporel du signal acoustique bruité y(t) en signaux échantillonnés yl dans des trames temporelles I successives, fenêtrage des signaux échantillonnés yl par application d'une fenêtre de pondération, et application d'une transformée de Fourier discrète, avec extraction du module carré |Yk,l|2, et éventuellement de la phase θk,l, du signal bruité Yk,l ;
- b) estimation d'une composante de bruit D̂k,l contenue dans le signal bruité Yk,l à partir du module carré |Yk,l|2, par un algorithme d'estimation de la densité spectrale de puissance de la composante de bruit selon une méthode de moyennage récursif des minima contrôlés dite « MCRA » ;
ledit procédé étant remarquable en ce qu'il comprend en outre, après l'étape b), les étapes successives suivantes : - c) découpage de la bande fréquentielle en plusieurs sous-bandes fréquentielles SBi=[ei, bi], suivie d'une décomposition multi-bandes du module carré |Yk,l|2 et de la composante de bruit D̂k,l, consistant à décomposer le module carré |Yk,l|2 et la composante de bruit D̂k,l en respectivement plusieurs modules carré de sous-bande |Yk,l,i|2 et plusieurs composantes de bruit de sous-bande D̂k,l,i propres à chacune des sous-bandes SBi ;
- d) estimation, pour chacune des sous-bandes SBi, du module carré |X̂k,l,i|2 d'une composante débruitée de sous-bande X̂k,l,i propre à chaque sous-bande SBi d'un signal débruité X̂k,l, par un algorithme de soustraction spectrale multi-bandes dit « SSMB » à partir des modules carrés de sous-bande |Yk,l,i|2 et des composantes de bruit de sous-bande D̂k,l,i ;
- e) détermination d'un signal débruité de sortie SDk,l à partir des modules carré |X̂k,l,i|2 issus de l'étape d), et éventuellement des phases θk,l extraites lors de l'étape a) ;
- f) conversion du signal débruité de sortie SDk,l en un signal vocal débruité de sortie sd(t) dans le domaine temporel, par une étape f.1) de calcul d'un signal échantillonné de sortie Sdl propre à chaque trame temporelle I pair application d'une transformée de Fourier inverse du signal débruité de sortie SDk,l, suivie d'une étape f.2) de reconstruction temporelle du signal vocal débruité de sortie sd(t) à partir des signaux échantillonnés de sortie Sdl.
- a) converting the noisy acoustic signal y (t) in the time domain into a noisy signal Y k, 1 in the frequency domain, by time division of the noisy acoustic signal y (t) into sampled signals y 1 in successive time frames I , windowing of sampled signals y l by applying a weighting window, and applying a discrete Fourier transform, with extraction of the squared modulus | Y k, l | 2 , and possibly of the phase θ k, 1 , of the noisy signal Y k, 1 ;
- b) estimating a noise component D k, 1 contained in the noisy signal Y k, 1 from the square module | Y k, l | 2 , by an algorithm for estimating the spectral power density of the noise component according to a method of recursive averaging of the controlled minima known as "MCRA";
said method being remarkable in that it further comprises, after step b), the following successive steps: - c) division of the frequency band into several frequency sub-bands SB i = [e i , b i ], followed by a multi-band decomposition of the module square | Y k, l | 2 and the noise component D k, 1 , consisting in breaking down the square module | Y k, l | 2 and the noise component D k, l respectively at several square subband modules | Y k, l, i | 2 and a plurality of subband noise components D k, l, i specific to each of the subbands SB i ;
- d) estimating, for each of the subbands SB i , the square module | X k, l, i | 2 of a denoised component of subband X k, l, i specific to each subband SB i of a denoised signal X k, 1 , by a multiband spectral subtraction algorithm called "SSMB" from square subband modules | Y k, l, i | 2 and subband noise components D k, l, i ;
- e) determining an output denoised signal SD k, l from the square modules | X k, l, i | 2 from step d), and optionally phases θ k, l extracted during step a);
- f) converting the output denoised signal SD k, l into an output speech output signal sd (t) in the time domain, by a step f.1) of calculating a sampled output signal Sd l specific to each frame temporal I pair application of an inverse Fourier transform of the output denoised signal SD k, l , followed by a step f.2) of temporal reconstruction of the output unfracked speech signal sd (t) from the output sampled signals Sd l .
Ainsi, l'invention propose de mettre en oeuvre un algorithme de soustraction spectrale multi-bandes « SSMB » qui consiste à partager la bande spectrale entière en sous bandes et à adapter dans chaque sous bande le calcul de soustraction entre le signal bruité Yk,l et la composante de bruit D̂k,l pour extraire un signal débruité de sortie SDk,l ; appliquer l'opération de soustraction spectrale dans chaque sous-bande permettant d'améliorer la sensibilité du procédé de réduction du bruit.Thus, the invention proposes to implement a multi-band spectral subtraction algorithm "SSMB" which consists of sharing the entire spectral band in sub-bands and to adapt in each subband the subtraction calculation between the noisy signal Y k, 1 and the noise component D k, 1 for extracting an output denoised signal SD k, l ; applying the spectral subtraction operation in each sub-band to improve the sensitivity of the noise reduction method.
Les simulations avec ce procédé qui combine les algorithmes « MCRA » et « SSMB » démontrent une nette amélioration de la qualité audio du signal bruité traité. Pour un large éventail de bruits, le résultat s'avère largement supérieur aux procédés classiques.Simulations with this method that combines the "MCRA" and "SSMB" algorithms demonstrate a marked improvement in the audio quality of the processed noisy signal. For a wide range of noises, the result is far superior to conventional methods.
Lors de l'étape a), l'extraction de la phase θk,l, du signal bruité Yk,l est optionnelle. Il est en effet envisageable, lors de l'étape e), de déterminer le signal débruité de sortie SDk,l à partir des modules carré |X̂k,l,i|2 et du signal bruité Yk,l sans avoir à calculer en préalable sa phase.During step a), the extraction of the phase θ k, 1 , of the noisy signal Y k, 1 is optional. It is indeed possible, during step e), to determine the output denoised signal SD k, l from the square modules | X k, l, i | 2 and the noisy signal Y k, l without having to calculate its phase beforehand.
Selon une caractéristique, l'algorithme d'estimation de la densité spectrale de puissance de la composante de bruit selon la méthode de moyennage récursif des minimas contrôlés dite « MCRA » lors de l'étape b) met en oeuvre les phases de calcul suivantes :
- b.1) calcul d'une composante bruitée filtrée Sk,l répondant à l'équation :
où αs est une constante prédéterminée caractéristique d'un filtre passe-bas ; - b.2) calcul d'une densité de probabilité de présence de parole p̃k,l par la mise en oeuvre du calcul progressif suivant :
- (i) calcul d'une composante minimale spectrale Smink,l avec :
- si rem(k,1) = 0
alors Smink,l = min (Smink,l-1 ; Sk,l) et Stmpk,l = Sk,l - si rem(k,1) ≠ 0
alors Smink,l = min (Stmpk,l-1 ; Sk,l) et
Stmpk,l = min (Stmpk,l-1 ; Sk,l)
où rem(k,l) est le reste de la division entière de k par I, puis
- si rem(k,1) = 0
- (ii) calcul d'un rapport spectral Srk,l répondant à l'équation :
- (iii) calcul d'une variable indicatrice Ik,l avec :
- si Srk,l > δTH alors Ik,l = 1
- si Srk,l ≤ δTH alors Ik,l = 0
où δTH est un paramètre prédéterminé de seuil fixe de détection de parole ;
- (iv) calcul de la densité de probabilité de présence de parole p̃k.l avec :
où αp est une constante prédéterminée ;
- (i) calcul d'une composante minimale spectrale Smink,l avec :
- b.3) calcul d'un coefficient α̃k,l répondant à l'équation suivante :
où α est une constante prédéterminée ; - b.4) calcul de la composante de bruit D̂k,l répondant à l'équation suivante :
- b.1) calculating a filtered noise component S k, l corresponding to the equation:
where α s is a predetermined constant characteristic of a low-pass filter; - b.2) calculating a probability density of presence of speech p k, 1 by the implementation of the following progressive calculation:
- (i) calculating a minimum spectral component Smin k, 1 with:
- if rem (k, 1) = 0
then Smin k, l = min (Smin k, l-1 ; S k, l ) and Stmp k, l = S k, l - if rem (k, 1) ≠ 0
then Smin k, l = min (Stmp k, l-1 ; S k, l ) and
Stmp k, l = min (Stmp k, l-1 ; S k, l )
where rem (k, l) is the remainder of the integer division of k by I, then
- if rem (k, 1) = 0
- (ii) calculating a spectral ratio Sr k, l corresponding to the equation:
- (iii) calculating an indicator variable I k, l with:
- if Sr k, l > δ TH then I k, l = 1
- if Sr k, l ≤ δ TH then I k, l = 0
where δ TH is a predetermined parameter of fixed threshold of speech detection;
- (iv) calculating the probability density of speech presence p kl with:
where α p is a predetermined constant;
- (i) calculating a minimum spectral component Smin k, 1 with:
- b.3) calculating a coefficient α k, l corresponding to the following equation:
where α is a predetermined constant; - b.4) calculating the noise component D k, l corresponding to the following equation:
La méthode dite « MCRA » utilise le principe suivant : sur une fenêtre à horizon fini et pour une fréquence donnée, le minimum de la densité spectrale de puissance (DSP) du signal bruité Yk,l correspond à la valeur de la densité spectrale de puissance (DSP) de la composante de bruit D̂k,l. Ainsi, une estimation des différentes valeurs minimales du spectre sur une fenêtre glissante permet d'obtenir une estimation de la densité spectrale de puissance (DSP) de la composante de bruit D̂k,l.The so-called "MCRA" method uses the following principle: on a finite horizon window and for a given frequency, the minimum of the power spectral density (DSP) of the noisy signal Y k, l corresponds to the value of the spectral density of power (DSP) of the noise component D k, l . Thus, an estimation of the different minimum values of the spectrum on a sliding window makes it possible to obtain an estimate of the power spectral density (DSP) of the noise component D k, l .
Selon une autre caractéristique, l'algorithme de soustraction spectrale multi-bande dit « SSMB » de l'étape d) met en oeuvre les phases de calcul suivantes, pour chacune des sous-bandes SBi :
- d.1) calcul d'un rapport signal à bruit SNRk,l,i propre à chaque sous-bande SBi répondant à l'équation :
- d.2) calcul du module carré |X̂k,l,i|2 de la composante débruitée de sous-bande X̂k,l,i propre à chaque sous-bande SBi, selon l'équation :
où - δi est un paramètre variable en fonction de la sous-bande SBi correspondante, prenant des valeurs distinctes d'une sous-bande à l'autre ;- αi est un paramètre variable qui dépend de la valeur du rapport signal à bruit SNRk,l,i calculée dans la sous-bande SBi correspondante ; et
- β est une constante.
- d.1) calculating a signal-to-noise ratio SNR k, l, i specific to each sub-band SB i corresponding to the equation:
- d.2) calculation of the square module | X k, l, i | 2 of the denoised component of sub-band X k, l, i specific to each sub-band SB i , according to the equation:
where - δ i is a variable parameter as a function of the corresponding sub-band SB i , taking values that are distinct from one subband to another;- α i is a variable parameter which depends on the value of the signal-to-noise ratio SNR k, l, i calculated in the corresponding sub-band SB i ; and
- β is a constant.
Un tel algorithme est particulièrement avantageux car il prend en compte la valeur du rapport signal à bruit SNRk,l,i propre à chaque sous-bande SBi pour effectuer la soustraction spectrale dans chaque sous-bande.Such an algorithm is particularly advantageous since it takes into account the value of the signal-to-noise ratio SNR k, l, i specific to each sub-band SB i to perform the spectral subtraction in each sub-band.
Comme la composante de bruit n'est pas distribué de façon uniforme le long des fréquences, la mise en oeuvre de cet algorithme de soustraction spectrale multi-bande « SSMB » permet de faire des traitements avec des paramètres différents selon la sous-bande où l'on se trouve. De ce fait, la composante de bruit pourra être réduite de manière plus significative dans une sous-bande si elle y est plus prépondérante, contrairement à un algorithme de soustraction pleine bande qui réduira le bruit de façon égale sur toutes les sous-bandes du spectre et sera donc moins précis et donc moins efficace.Since the noise component is not distributed uniformly along the frequencies, the implementation of this multi-band spectral subtraction algorithm "SSMB" allows processing with different parameters depending on the sub-band where the 'We are. As a result, the noise component can be reduced more significantly in a sub-band if it is more dominant, unlike a full-band subtraction algorithm that will reduce noise equally all the sub-bands of the spectrum and will therefore be less precise and therefore less effective.
Dans une réalisation particulière, les paramètres α i répondent aux équations suivantes :
où αc1, αc2, αc3 et αc4 sont des constantes prédéterminées, et SNR1 et SNR2 sont des seuils prédéterminés.In a particular embodiment, the parameters α i respond to the following equations:
where α c1 , α c2 , α c3 and α c4 are predetermined constants, and SNR 1 and SNR 2 are predetermined thresholds.
Les valeurs αc1, αc2, αc3 et αc4 et SNR1 et SNR2 sont choisies de façon expérimentale, notamment par simulation numérique. A titre d'exemple non limitatif, les valeurs suivantes ont donné de bons résultats en simulation numérique :
et
and
Selon une première possibilité de l'invention, l'étape e) consiste à déterminer le signal débruité X̂k,l à partir des modules carré |X̂k,l,i|2 des composantes débruitées de sous-bande X̂k,l,i, et éventuellement des phases θk,l extraites lors de l'étape a), de sorte que le signal débruité de sortie SDk,l correspond au signal débruité X̂k,l, soit SDk,l = X̂k,l.According to a first possibility of the invention, step e) consists of determining the denoised signal X k, 1 from the square modules | X k, l, i | 2 debruitées components of sub-band X k, l, i , and optionally phases θ k, l extracted in step a), so that the output unedited signal SD k, l corresponds to the denoised signal X k , l , ie SD k, l = X k, l .
Ainsi, on considère que le signal débruité de sortie SDk,l correspond au signal débruité X̂k,l dont les modules carré |X̂k,l,i|2 sont issus directement de l'étape d) mettant en oeuvre l'algorithme de soustraction spectrale multi-bandes « SSMB ».Thus, it is considered that the output unedited signal SD k, 1 corresponds to the denoised signal X k, l whose square modules | X k, l, i | 2 are directly derived from step d) implementing the multi-band spectral subtraction algorithm "SSMB".
Selon une seconde possibilité de l'invention, en variante de la première possibilité, l'étape e) consiste à :
- déterminer, pour chacune des sous-bandes SBi, le module carré
et 0,1 ; - déterminer un signal débruité combiné k,l à partir des modules carrés | k,l,i|2 des composantes débruitées combinées de sous-bande k,l,i, et éventuellement des phases θk,l extraites lors de l'étape a), de sorte que le signal débruité de sortie SDk,l corresponde au signal débruité combiné k,l,soit SDk,l = k,l.
- determining, for each of the subbands SB i , the square module
- determine a combined debris signal k, l from the square modules | k, l, i | 2 combined debris components of subband k, l, i , and possibly phases θ k, l extracted during step a), so that the output denoised signal SD k, 1 corresponds to the combined de-noise signal k, l , ie SD k, l = k, l .
Le signal traité, c'est-à-dire le signal débruité X̂k,l, peut souffrir au niveau de la qualité et de l'intelligibilité d'un problème de distorsion. Cette distorsion, dont l'origine est généralement le traitement de réduction du bruit, dépend des paramètres des algorithmes de réduction du bruit (algorithmes « MCRA » et « SSMB ») mais aussi du niveau et du type de composante de bruit à réduire.The processed signal, i.e., the denoised signal X k, l , may suffer in terms of the quality and intelligibility of a distortion problem. This distortion, whose origin is usually the noise reduction process, depends on the parameters of noise reduction algorithms ("MCRA" and "SSMB" algorithms) but also on the level and type of noise component to be reduced.
Ainsi, dans le cadre de cette seconde possibilité de l'invention, on procède, après l'étape d) mettant en oeuvre l'algorithme de soustraction spectrale multi-bandes « SSMB », à une étape de réinjection du signal bruité Yk,l issu du microphone dans le signal débruité X̂k,l ; cette réinjection étant contrôlée par le coefficient d'amplification (autrement appelé paramètre d'atténuation) choisi très faible, de l'ordre de quelques pourcents. Le signal réinjecté correspond au signal γ |Yk,l,i|2 et il ne présente pas de distorsion, car il n'a pas fait l'objet d'un traitement par les algorithmes « MCRA » et « SSMB ».Thus, in the context of this second possibility of the invention, after step d) implementing the multi-band spectral subtraction algorithm "SSMB", a step of reinjection of the noisy signal Y k is carried out , l from the microphone in the denoised signal X k, l ; this reinjection being controlled by the amplification coefficient (otherwise called attenuation parameter) chosen very low, of the order of a few percent. The reinjected signal corresponds to the signal γ | Y k, l, i | 2 and it is not distorted because it has not been processed by the "MCRA" and "SSMB" algorithms.
Ce principe de réinjection d'une partie très faible du signal bruité Yk,l issu du microphone permet de remédier au moins en partie à ce problème de distorsion.This principle of reinjection of a very small part of the noisy signal Y k, l from the microphone makes it possible to remedy at least part of this problem of distortion.
Dans une première réalisation, l'étape f.2) consiste à reconstruire le signal vocal débruité de sortie sd(t) uniquement à partir des signaux de sortie Sdl issus de l'étape f.1), ces signaux de sortie Sdl correspondant aux transformées de Fourier inverse du signal débruité de sortie SDk,l propres à chaque trame temporelle I.In a first embodiment, the step f.2) involves reconstructing the voice signal output denoised sd (t) only from the Sd output signals from the the step f.1), these output signals Sd l corresponding to the inverse Fourier transforms of the output denoised signal SD k, l specific to each time frame I.
Ainsi, dans cette première réalisation, le signal vocal débruité de sortie sd(t) est reconstruit à partir des seuls signaux de sortie Sdl issus de l'étape f.1).Thus, in this first embodiment, the speech output speech signal sd (t) is reconstructed from the only output signals Sd I from step f.1).
Dans une seconde réalisation, en variante de la première réalisation, l'étape f.2) consiste à, pour chaque trame temporelle I :
- g) calculer un rapport moyen signal à bruit rl propre à la trame temporelle I à partir du module carré |Yk,l|2 et de la composante de bruit D̂k,l ;
- h) comparer le rapport moyen signal à bruit rl avec un seuil ΨTH prédéterminé ;
- i) reconstruire le signal vocal débruité de sortie sd(t) à partir en considérant que :
- si le rapport moyen signal à bruit rl est inférieur audit seuil ΨTH pour la trame temporelle I, alors le signal considéré avant reconstruction temporelle pour cette trame temporelle I correspond au signal de sortie Sdl issu de l'étape f.1) ;
- si le rapport moyen signal à bruit rl est supérieur audit seuil ΨTH pour la trame temporelle I, alors le signal considéré avant reconstruction temporelle pour cette trame temporelle I correspond au signal échantillonné yl issu de l'étape de découpage de l'étape a).
- g) calculating a signal-to-noise average ratio r I specific to the time frame I from the square module | Y k, l | 2 and the noise component D k, l ;
- h) comparing the average signal-to-noise ratio r 1 with a predetermined threshold Ψ TH ;
- i) reconstructing the output speechless signal sd (t) from considering that:
- if the average signal-to-noise ratio r 1 is less than said threshold Ψ TH for the time frame I, then the signal considered before time reconstruction for this time frame I corresponds to the output signal Sd 1 resulting from the step f.1);
- if the average signal-to-noise ratio r l is greater than said threshold Ψ TH for the time frame I, then the signal considered before time reconstruction for this time frame I corresponds to the sampled signal y 1 resulting from the step of cutting step at).
Ainsi, dans cette seconde réalisation, on met en oeuvre:
- lors de l'étape g), une détection de bruit par calcul d'un rapport moyen signal à bruit rl ;
- lors de l'étape h), une comparaison de ce rapport moyen signal à bruit rl avec un seuil ΨTH pour établir si le bruit est présent (rl < ΨTH) ou si le bruit est absent ou du moins est extrémement faible (rl > ΨTH) ; et
- lors de l'étape i), on fait en sorte, pour chaque trame I, que :
- si le bruit est présent (rl < ΨTH), alors on prend en compte le signal traité numériquement, c'est-à-dire le signal de sortie Sdl pour la reconstruction temporelle ;
- si le bruit est absent ou extrémement faible (rl > ΨTH), alors on ne prend pas en compte le signal de sortie Sdl mais on prend en compte directement le signal échantillonné yl pour la reconstruction temporelle, ce qui revient à ignorer les traitements de réduction du bruit (MCRA, SSMB) pour cette trame I, avec l'avantage d'éviter des distorsions inutiles lorsque le niveau de bruit est tel qu'un traitement de réduction du bruit n'est pas nécessaire.
- in step g), a noise detection by calculating a signal-to-noise average ratio r l ;
- in step h), a comparison of this signal-to-noise ratio r l with a threshold Ψ TH to establish if the noise is present (r l <Ψ TH ) or if the noise is absent or at least is extremely weak (r l > Ψ TH ); and
- during step i), it is made, for each frame I, that:
- if the noise is present (r l <Ψ TH ), then we take into account the digitally processed signal, that is to say the output signal Sd l for time reconstruction;
- if the noise is absent or extremely weak (r l > Ψ TH ), then we do not take into account the output signal Sd l but we take into account directly the sampled signal y l for the time reconstruction, which amounts to ignoring the noise reduction processing (MCRA, SSMB) for this frame I, with the advantage of avoiding unnecessary distortions when the noise level is such that a noise reduction treatment is not necessary.
Cette seconde réalisation permet en quelque sorte la désactivation des étapes b), c) et d) de réduction du bruit lorsque le bruit n'est pas présent. De ce fait, les distorsions qui peuvent être apportées par le traitement de réduction du bruit, dans cette situation d'absence ou de quasi-absence de bruit, seront éliminées.This second embodiment allows somehow the deactivation of steps b), c) and d) noise reduction when the noise is not present. As a result, the distortions that can be brought about by the noise reduction processing, in this situation of absence or near absence of noise, will be eliminated.
Pour rendre le procédé plus robuste, il serait avantageux que la même décision (présence ou non de bruit) soit prise sur une succession de trames temporelles I.To make the process more robust, it would be advantageous for the same decision (presence or absence of noise) to be taken on a succession of time frames I.
Dans un mode de réalisation particulier, l'étape g) met en oeuvre l'algorithme de calcul suivant, pour chaque trame temporelle I :
- g.1) calcul d'une composante de bruit moyenne D̅1 à partir de la composante de bruit D̂k,l estimée lors de l'étape b) et répondant à l'équation :
où M est une constante prédéterminée, de préférence égale à N ou à [1+N/2], N étant le nombre de points de la transformée de Fourier ; - g.2) calcul d'un module carré moyen |Yk,l|2 du signal bruité Yk,l répondant à l'équation :
- g.3) calcul d'une composante filtrée Pl du module carré moyen |Yk,l|2 répondant à l'équation :
où - λ est une constante prédéterminée caractéristique d'un filtre passe-bas,
de préférence compris entre 0,80 et 0,99 ;
- g.4) calcul du rapport moyen signal à bruit rl répondant à l'équation :
- si D̅l > 0 alors
- si D̅l ≤ 0 alors rl = 0.
- si D̅l > 0 alors
- g.1) calculating a mean noise component D̅ 1 from the noise component D k, l estimated in step b) and corresponding to the equation:
where M is a predetermined constant, preferably equal to N or [1 + N / 2], where N is the number of points of the Fourier transform; - g.2) calculating a mean square module | Y k, l | 2 of the noisy signal Y k, l corresponding to the equation:
- g.3) calculating a filtered component P l of the average square module | Y k, l | 2 answering the equation:
where - λ is a predetermined constant characteristic of a low-pass filter,
preferably between 0.80 and 0.99;
- g.4) calculation of the average signal to noise ratio r l corresponding to the equation:
- if D̅ l > 0 then
- if D̅ l ≤ 0 then r l = 0.
- if D̅ l > 0 then
Avantageusement, les étapes a) et f) de conversion mettent en oeuvre une méthode de recouvrement et addition dite « OLA », avec :
- pour l'étape a), un découpage du signal acoustique bruité y(t) en trames temporelles avec un recouvrement entre les trames temporelles successives ;
- pour l'étape f.2), la reconstruction du signal vocal débruité de sortie sd(t) est réalisée par les additions successives des parties en recouvrement des signaux de deux trames temporelles successives.
- for step a), cutting the noisy acoustic signal y (t) into time frames with an overlap between the successive time frames;
- for step f.2), the reconstruction of the output defracked speech signal sd (t) is performed by the successive additions of the parts in overlap of the signals of two successive time frames.
Cette méthode de recouvrement et addition dite « OLA » pour « OverLap and Add method » est une méthode classique de reconstruction temporelle qui utilise des fenêtres de pondération juxtaposées (c'est-à-dire des fenêtres qui se superposent ou qui se recouvrent partiellement), puis qui additionne les signaux de sortie en tenant compte du recouvrement des trames temporelles.This OLA overlap and add method is a typical time reconstruction method that uses juxtaposed weighting windows (ie overlapping or overlapping windows). then who Adds the output signals taking into account the overlap of the time frames.
L'invention se rapporte également à un système de réduction du bruit sur un signal acoustique bruité y(t) issu d'un microphone opérant dans un milieu bruité, comportant :
- une unité de conversion du signal acoustique bruité y(t) dans le domaine temporel en un signal bruité Yk,l dans le domaine fréquentiel, comportant :
- un module de découpage du signal acoustique bruité y(t) en signaux échantillonnés yl dans des trames temporelles I successives ;
- en sortie du module de découpage, un module de fenêtrage des signaux échantillonnés yl par application d'une fenêtre de pondération ;
- en sortie du module de fenêtrage, un module de calcul d'une transformée de Fourier discrète qui délivre en sortie le signal bruité Yk,l ;
- une unité de traitement numérique dans le domaine fréquentiel comportant, en sortie de l'unité de conversion :
- un premier module d'extraction du module carré |Yk,l|2 du signal bruité Yk,l ; et éventuellement un deuxième module d'extraction de la phase θk,l du signal bruité Yk,l ;
- en sortie du premier module d'extraction, un module d'estimation, dit « MCRA », d'une composante de bruit D̃k,l contenue dans le signal bruité Yk,l à partir du module carré |Yk,l|2 issu du premier module d'extraction, par un algorithme d'estimation de la densité spectrale de puissance de la composante de bruit selon une méthode de moyennage récursif des minima contrôlés dite « MCRA » ;
- en sortie du premier module d'extraction, un module de découpage de la bande fréquentielle en plusieurs sous-bandes fréquentielles SBi=[ei, bi] ;
- en sortie du module d'estimation « MCRA » et du module de découpage de la bande fréquentielle, un module d'estimation, dit « SSMB », du module carré |X̂k,l,i|2 d'une composante débruitée de sous-bande X̂k,l,i propre à chaque sous-bande SBi d'un signal débruité X̂k,l, par un algorithme de soustraction spectrale multi-bandes à partir de modules carrés de sous-bande |Yk,l,i|2 et de composantes de bruit de sous-bande D̂k,l,i ;
- en sortie du module d'estimation « SSMB », et éventuellement du deuxième module d'extraction, un module de détermination d'un signal débruité de sortie SDk,l à partir des modules carré |X̂k,l,i|2, et éventuellement des phases θk,l ;
- une unité de conversion dans le domaine temporel comportant, en sortie de l'unité de traitement numérique :
- un module de calcul d'un signal de sortie Sdl propre à chaque trame temporelle I par application d'une transformée de Fourier inverse du signal débruité de sortie SDk,l ; et
- un module de reconstruction d'un signal vocal débruité de sortie sd(t) dans le domaine temporel à partir desdits signaux de sortie Sdl.
- a noisy acoustic signal conversion unit y (t) in the time domain into a noisy signal Y k, 1 in the frequency domain, comprising:
- a module for cutting the noisy acoustic signal y (t) into sampled signals y 1 in successive time frames I;
- the output of the cutting module, a windowing module of the sampled signals y l by applying a weighting window;
- at the output of the windowing module, a module for calculating a discrete Fourier transform which outputs the noisy signal Y k, l ;
- a digital processing unit in the frequency domain comprising, at the output of the conversion unit:
- a first extraction module of the square module | Y k, l | 2 of the noisy signal Y k, l ; and possibly a second extraction module of the phase θ k, 1 of the noisy signal Y k, 1 ;
- at the output of the first extraction module, an estimation module, called "MCRA", of a noise component D k, 1 contained in the noisy signal Y k, 1 from the square module | Y k, l | 2 from the first extraction module, by an algorithm for estimating the spectral power density of the noise component according to a recursive averaging method of the controlled minima known as "MCRA";
- at the output of the first extraction module, a frequency band division module in several frequency subbands SB i = [e i , b i ];
- at the output of the estimation module "MCRA" and the frequency band division module, an estimation module, called "SSMB", of the square module | X k, l, i | 2 of a denoised component of subband X k, l, i specific to each subband SB i of a denoised signal X k, 1 , by a multiband spectral subtraction algorithm from square subband modules | Y k, l, i | 2 and subband noise components D k, l, i ;
- at the output of the estimating module "SSMB", and possibly of the second extraction module, a module for determining an output denoised signal SD k, l from the square modules | X k, l, i | 2 , and optionally phases θ k, l ;
- a time domain conversion unit comprising, at the output of the digital processing unit:
- a module for calculating an output signal Sd 1 specific to each time frame I by applying an inverse Fourier transform of the output denoised signal SD k, l ; and
- a module for reconstructing a speech output speech signal sd (t) in the time domain from said output signals Sd l .
Selon une première possibilité de l'invention, le module de détermination du signal débruité de sortie SDk,l comprend :
- un sous-module racine-carré pour calculer le module |X̂k,l,i| des composantes débruitées de sous-bande X̂k,l,i, et
- un sous-module de recombinaison des composantes débruitées de sous-bande X̂k,l,i pour obtenir le signal débruité X̂k,l à partir des modules |X̂k,l,i|, et éventuellement des phases θk,l, de sorte que le signal débruité de sortie SDk,l corresponde au signal débruité X̂k,l, soit SDk,l = X̂k,l
- a root-square submodule to compute the module | X k, l, i | debrueted components of sub-band X k, l, i , and
- a recombination sub-module of the de-banded components of sub-band X k, l, i to obtain the denoised signal X k, l from the modules | X k, l, i |, and possibly phases θ k, l , so that the output unedited signal SD k, 1 corresponds to the denoised signal X k, 1 , ie SD k, l = X k, l
Selon une seconde possibilité de l'invention, en variante de la première possibilité, le module de détermination d'un signal débruité de sortie SDk,l comprend :
- en sortie du premier module d'extraction, un sous-module d'amplification selon un coefficient d'amplification γ, préférentiellement compris entre 0,01
et 0,1, afin de délivrer un signal amplifié γ |Yk,l|2 ; - en sortie du module d'estimation « SSMB », un sous-module additionneur propre à additionner le signal amplifié γ |Yk,l|2 et les modules carré |X̂k,l,i|2, afin de délivrer en sortie les module carré | k,l,i|2 de composantes débruitées combinées de sous-bande k,l,i propres à chaque sous-bande SBi d'un signal débruité combiné k,l, répondant à l'équation correspondante :
- un sous-module racine-carré pour calculer le module | k,l,i| des composantes débruitées combinées de sous-bande k,l,i des et
- un sous-module de recombinaison des composantes combinées de sous-bande k,l,i pour obtenir le signal débruité combiné k,l à partir des modules | k,l,i|, et éventuellement des phases θk,l, de sorte que le signal débruité de sortie SDk,l correspond au signal débruité combiné k,l, soit SDk,l = k,l,
- at the output of the first extraction module, an amplification sub-module according to an amplification coefficient γ, preferably between 0.01 and 0.1, in order to deliver an amplified signal γ | Y k, l | 2 ;
- at the output of the estimating module "SSMB", an addering sub-module capable of adding the amplified signal γ | Y k, l | 2 and the square modules | X k, l, i | 2 , in order to output the square module | k, l, i | 2 combined debrueted components of sub-band k, l, i specific to each sub-band SBi of a combined de-noise signal k, l , corresponding to the equation:
- a root-square submodule to compute the module | k, l, i | combined debrueted subband components k, l, i and
- a recombination sub-module of the combined subband components k, l, i to obtain the combined noise signal k, l from the modules | k, l, i |, and possibly phases θ k, 1 , so that the output unedited signal SD k, 1 corresponds to the combined de-noise signal k, l , ie SD k, l = k, l ,
Dans cette seconde possibilité, le système met en oeuvre une étape de réinjection d'une partie très faible du signal bruité Yk,l issu du microphone dans le signal débruité X̂k,l pour remédier au moins en partie aux problèmes de distorsion induits par les modules d'estimation « MCRA » et « SSMB ».In this second possibility, the system implements a step of reinjection of a very small part of the noisy signal Y k, 1 coming from the microphone into the denoised signal X k, 1 to remedy at least in part the distortion problems induced by the estimation modules "MCRA" and "SSMB".
Dans une réalisation avantageuse, l'unité de traitement numérique comprend en outre, en sortie du module d'estimation « MCRA », un module de détection du bruit comprenant
- un module de calcul d'un rapport moyen signal à bruit rl propre à chaque trame temporelle I à partir du module carré |Yk,l|2 et de la composante de bruit D̂k,l ;
- un module de comparaison du rapport moyen signal à bruit rl propre à chaque trame temporelle I avec un seuil ΨTH prédéterminé ;
- un module de contrôle du module de reconstruction du signal vocal débruité de sortie sd(t) qui est conçu pour que :
- si le rapport moyen signal à bruit rl est inférieur audit seuil ΨTH pour la trame temporelle I, alors le signal considéré avant reconstruction pour cette trame temporelle I correspond au signal de sortie Sdl issu du module de calcul dudit signal de sortie Sdl ;
- si le rapport moyen signal à bruit rl est supérieur audit seuil ΨTH pour la trame temporelle I, alors le signal considéré avant reconstruction pour cette trame temporelle I correspond au signal échantillonné yl issu du module de découpage du signal acoustique bruité y(t).
- a module for calculating a signal-to-noise average ratio r 1 specific to each time frame I from the square module | Y k, l | 2 and the noise component D k, l ;
- a module for comparing the average signal-to-noise ratio r 1 for each time frame I with a predetermined threshold Ψ TH ;
- a module for controlling the output defracked speech signal reconstruction module sd (t) which is designed so that:
- if the average signal-to-noise ratio r 1 is less than said threshold Ψ TH for the time frame I, then the signal considered before reconstruction for this time frame I corresponds to the output signal Sd 1 from the calculation module of said output signal Sd l ;
- if the average signal-to-noise ratio r l is greater than said threshold Ψ TH for the time frame I, then the signal considered before reconstruction for this time frame I corresponds to the sampled signal y 1 from the noisy acoustic signal cutting module y (t ).
D'autres caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description détaillée ci-après, d'un exemple de mise en oeuvre non limitatif, faite en référence aux figures annexées dans lesquelles :
- la
figure 1 est une vue schématique d'un premier système de réduction du bruit conforme à l'invention ; - la
figure 2 est une vue schématique d'un second système de réduction du bruit conforme à l'invention ; - la
figure 3 est une vue schématique d'une variante du second système de lafigure 2 .
- the
figure 1 is a schematic view of a first noise reduction system according to the invention; - the
figure 2 is a schematic view of a second noise reduction system according to the invention; - the
figure 3 is a schematic view of a variant of the second system of thefigure 2 .
La description d'un système 1 de réduction du bruit sur un signal acoustique bruité y(t) issu d'un microphone unique opérant dans un milieu bruité, et du procédé de réduction du bruit associé, est faite en référence aux
Dans les trois modes de réalisation, le système 1 comprend une unité de conversion 2 du signal acoustique bruité y(t) dans le domaine temporel en un signal bruité Yk,l dans le domaine fréquentiel.In the three embodiments, the
Cette unité de conversion 2 comporte un module de découpage 21 du signal acoustique bruité y(t) en signaux échantillonnés yl dans des trames temporelles I successives.This
Dans ce module de découpage 21, le signal acoustique bruité y(t) est découpé en trames de 240 échantillons, ce qui à une fréquence d'échantillonnage de 8 kHz correspond à des trames temporelles de 30 millisecondes.In this
Il est également envisageable d'avoir un découpage en trames de 256 échantillons, ce qui à une fréquence d'échantillonnage de 8 kHz correspond à des trames temporelles de 32 millisecondes.It is also conceivable to have a frame division of 256 samples, which at a sampling frequency of 8 kHz corresponds to time frames of 32 milliseconds.
Dans ce module de découpage 21, les trames temporelles successives se recouvrent ou se chevauchent. Par exemple, les trames temporelles successives se chevauchent sur 120 échantillons, ce qui correspond à cinquante pourcent (50 %) de recouvrement.In this
Ce recouvrement des trames temporelles est destiné à permettre la mise en oeuvre d'une méthode de recouvrement et addition dite « OLA », qui permet le découpage temporel initial du signal acoustique bruité y(t) puis la restitution finale en sortie du système 1 dans le domaine temporel.This overlap of the time frames is intended to allow the implementation of a method of recovery and addition called "OLA", which allows the initial temporal division of the noisy acoustic signal y (t) then the final restitution at the output of the
Cette unité de conversion 2 comporte, en sortie du module de découpage 21, un module de fenêtrage 22 des signaux échantillonnés yl par application d'une fenêtre de pondération, notamment du type fenêtre de Hanning ou fenêtre de Hamming, afin de délivrer en sortie des signaux échantillonnés pondérés {yl}.This
Ainsi, les trames temporelles sont alors apodisées avec une fenêtre de pondération, avant d'appliquer une transformée de Fourier, afin de minimiser les effets de bords dus au découpage-recouvrement effectué par le module de découpage 21.Thus, the time frames are then apodized with a weighting window, before applying a Fourier transform, in order to to minimize the edge effects due to the blanking cut performed by the cutting
Cette unité de conversion 2 comporte, en sortie du module de fenêtrage 22, un module de calcul 23 d'une transformée de Fourier discrète qui délivre en sortie le signal bruité Yk,l.This
D'un point de vue mathématique, on note :
avec x(t) le signal de parole utile et d(t) la composante de bruit.From a mathematical point of view, we note:
with x (t) the useful speech signal and d (t) the noise component.
Le module de découpage 21 reçoit en entrée le signal acoustique bruité y(t) et délivre en sortie le signal échantillonnée yl, où I est l'indice temporel (ou indice de la trame temporelle).The
Le module de découpage 21 reçoit en entrée le signal échantillonnée yl et délivre en sortie le signal échantillonnée pondéré {yl}, avec :
avec ωl, le signal représentatif de la fenêtre de pondération.Cutting
with ω l , the signal representative of the weighting window.
Le module de calcul 23 reçoit en entrée le signal échantillonnée pondéré {yl} et délivre en sortie le signal bruité Yk,l qui correspond à la transformée de Fourier Discrète de {y(l)}, où k représente l'indice de fréquence, soit :
Le calcul de la transformée de Fourier Discrète (DFT pour « Discrete Fourier Transform ») est par exemple réalisé par un calcul de transformée de Fourier rapide (FFT pour « Fast Fourier Transform ») avec une taille N qui peut être égale à 256 (N correspond au nombre de points de la transformée de Fourier).The calculation of the Discrete Fourier Transform (DFT) is for example carried out by a Fast Fourier Transform (FFT) calculation with a size N which can be equal to 256 (N corresponds to the number of points of the Fourier transform).
Le système 1 comprend, en sortie de l'unité de conversion 2, une unité de traitement numérique 3 dans le domaine fréquentiel qui réalise le traitement de débruitage ou de rehaussement de la parole sur le signal bruité Yk,l.The
Cette unité de traitement numérique 3 comprend un premier module d'extraction 31 du module carré |Yk,l|2 du signal bruité Yk,l.This
D'un point de vue mathématique, le premier module d'extraction 31 réalise le calcul suivant :
Dans les modes de réalisation des
D'un point de vue mathématique, le deuxième module d'extraction 32 réalise le calcul suivant :
avec
with
L'unité de traitement numérique 3 comprend, en sortie du premier module d'extraction 31, un module d'estimation 33, dit « MCRA », d'une composante de bruit D̂k,l contenue dans le signal bruité Yk,l à partir du module carré |Yk,l|2 issu du premier module d'extraction 31, par un algorithme d'estimation de la densité spectrale de puissance de la composante de bruit selon une méthode de moyennage récursif des minima contrôlés dite « MCRA ».The
D'un point de vue mathématique, l'algorithme d'estimation de la densité spectrale de puissance de la composante de bruit selon la méthode de moyennage récursif des minimas contrôlés dite « MCRA » met en oeuvre les phases de calcul suivantes :
- b.1) calcul d'une composante bruitée filtrée Sk,l répondant à l'équation :
où αs est une constante prédéterminée caractéristique d'un filtre passe-bas ; - b.2) calcul d'une densité de probabilité de présence de parole p̃k,l par la mise en oeuvre du calcul progressif suivant :
- (i) calcul d'une composante minimale spectrale Smink,l avec :
- si rem(k,1) = 0
- si rem(k,l) ≠ 0
Stmpk,l = min (Stmpk,l-1 ; Sk,l)
où rem(k,l) est le reste de la division entière de k par I, puis - (ii) calcul d'un rapport spectral Srk,l répondant à l'équation :
- (iii) calcul d'une variable indicatrice Ik,l avec :
- si Srk,l > δTH alors Ik,l = 1
- si Srk,l ≤ δTH alors Ik,l = 0
où δTH est un paramètre prédéterminé de seuil fixe de détection de parole ;
- (iv) calcul de la densité de probabilité de présence de parole p̃k,l avec :
où αp est une constante prédéterminée ;
- (i) calcul d'une composante minimale spectrale Smink,l avec :
- b.3) calcul d'un coefficient α̃k,l répondant à l'équation suivante :
où α est une constante prédéterminée ; - b.4) calcul de la composante de bruit D̂k,l répondant à l'équation suivante :
- b.1) calculating a filtered noise component S k, l corresponding to the equation:
where α s is a predetermined constant characteristic of a low-pass filter; - b.2) calculating a probability density of presence of speech p k, 1 by the implementation of the following progressive calculation:
- (i) calculating a minimum spectral component Smin k, 1 with:
- if rem (k, 1) = 0
- if rem (k, l) ≠ 0
Stmp k, l = min (Stmp k, l-1 ; S k, l )
where rem (k, l) is the remainder of the integer division of k by I, then - (ii) calculating a spectral ratio Sr k, l corresponding to the equation:
- (iii) calculating an indicator variable I k, l with:
- if Sr k, l > δ TH then I k, l = 1
- if Sr k, l ≤ δ TH then I k, l = 0
where δ TH is a predetermined parameter of fixed threshold of speech detection;
- (iv) calculating the probability density of speech presence p k, 1 with:
where α p is a predetermined constant;
- (i) calculating a minimum spectral component Smin k, 1 with:
- b.3) calculating a coefficient α k, l corresponding to the following equation:
where α is a predetermined constant; - b.4) calculating the noise component D k, l corresponding to the following equation:
Le module d'estimation « MCRA » 33 délivre ainsi en sortie la composante de bruit D̂k,l.The estimation module "MCRA" 33 thus outputs the noise component D k, l .
L'unité de traitement numérique 3 comprend, en sortie du premier module d'extraction 31, un module de découpage 34 de la bande fréquentielle en plusieurs sous-bandes fréquentielles SBi=[ei, bi].The
La bande fréquentielle peut par exemple être divisée en trois sous-bandes fréquentielles, à savoir SB1 pour fi < 1000 Hz, SB2 pour 1000 Hz ≤ fi ≤ 2000 Hz et enfin SB3 pour fi > 2000 Hz, où fi est la fréquence de sous-bande.The frequency band can for example be divided into three frequency sub-bands, namely SB 1 for f i <1000 Hz, SB 2 for 1000 Hz ≤ f i ≤ 2000 Hz and finally SB 3 for f i > 2000 Hz, where f i is the subband frequency.
L'unité de traitement numérique 3 comprend, en sortie du module d'estimation « MCRA » 33 et du module de découpage 34 de la bande fréquentielle, un module d'estimation 35, dit « SSMB », du module carré |X̂k,l,i|2 d'une composante débruitée de sous-bande X̂k,l,i propre à chaque sous-bande SBi d'un signal débruité X̂k,l, par un algorithme de soustraction spectrale multi-bandes à partir de modules carrés de sous-bande |Yk,l,i|2 et de composantes de bruit de sous-bande D̂k,l,i The
Le principe de l'algorithme de soustraction spectrale multi-bandes (SSMB) procède d'une généralisation de l'algorithme de soustraction spectrale qui consiste à soustraire de la densité spectrale de puissance du signal bruité Yk,l issu du microphone une portion de la densité spectrale de puissance de la composante de bruit estimé par la méthode « MCRA ». L'algorithme de soustraction spectrale multi-bandes applique le même principe en découpant l'espace spectral en plusieurs sous-bandes SBi fréquentielles et, ensuite, dans chaque sous-bande SBi, l'opération de soustraction spectrale est appliquée, comme suit :
avec µi un coefficient prédéterminé.The principle of the multi-band spectral subtraction algorithm (SSMB) proceeds from a generalization of the spectral subtraction algorithm which consists in subtracting from the spectral power density of the noisy signal Y k, l coming from the microphone a portion of the spectral power density of the noise component estimated by the "MCRA" method. The multi-band spectral subtraction algorithm applies the same principle by splitting the spectral space into several frequency sub-bands SB i and then, in each sub-band SB i , the spectral subtraction operation is applied, as follows :
with μ i a predetermined coefficient.
Cet algorithme de soustraction spectrale multi-bandes est combiné avec la méthode de recouvrement et addition dite « OLA ».This multi-band spectral subtraction algorithm is combined with the so-called OLA overlay and addition method.
Il est bien entendu envisageable d'affiner la relation de soustraction spectrale multi-bandes donnée ci-dessus, comme décrit ci-après.It is of course conceivable to refine the multi-band spectral subtraction relationship given above, as described below.
D'un point de vue mathématique, l'algorithme de soustraction spectrale multi-bande « SSMB » mis en oeuvre par le module d'estimation « SSMB » 35, réalise les phases de calcul suivantes, pour chacune des sous-bandes SBi:
- d.1) calcul d'un rapport signal à bruit SNRk,l,i propre à chaque sous-bande SBi répondant à l'équation :
- d.2) calcul du module carré |X̂k,l,i|2 de la composante débruitée de sous-bande X̂k,l,i propre à chaque sous-bande SBi, selon l'équation :
où - δi est un paramètre variable en fonction de la sous-bande SBi
correspondante, prenant des valeurs distinctes d'une sous-bande à l'autre ;- αi est un paramètre variable qui dépend de la valeur du rapport signal à bruit SNRk,l,i calculée dans la sous-bande SBi correspondante ; et
- β est une constante.
- d.1) calculating a signal-to-noise ratio SNR k, l, i specific to each sub-band SB i corresponding to the equation:
- d.2) calculation of the square module | X k, l, i | 2 of the denoised component of sub-band X k, l, i specific to each sub-band SB i , according to the equation:
where - δ i is a variable parameter depending on the sub-band SB i
corresponding, taking values distinct from one subband to another;- α i is a variable parameter which depends on the value of the signal-to-noise ratio SNR k, l, i calculated in the corresponding sub-band SB i ; and
- β is a constant.
Il est envisageable de comparer la valeur du rapport signal à bruit SNRk,l,i avec deux seuils SNR1 et SNR2 pour établir la valeur des paramètres αi. Ainsi, les paramètres αi répondent aux équations suivantes :
où αc1, αc2, αc3 et αc4 sont des constantes prédéterminées, et SNR1 et SNR2 sont les seuils prédéterminés.It is conceivable to compare the value of the signal-to-noise ratio SNR k, l, i with two thresholds SNR 1 and SNR 2 to establish the value of the parameters α i . Thus, the parameters α i respond to the following equations:
where α c1 , α c2 , α c3 and α c4 are predetermined constants, and SNR 1 and SNR 2 are the predetermined thresholds.
Par exemple, il est envisageable d'avoir les relations suivantes pour les paramètres αi :
Concernant les paramètres variables δi, il envisageable d'avoir les relations suivantes, dans le cas de la division en trois sous-bandes fréquentielles décrite ci-dessus :
Concernant la constante β, il est envisageable d'avoir des valeurs de l'ordre de 0,002 ou 0,0015, soit par exemple β = 0.002 ou β = 0.0015.Regarding the constant β, it is possible to have values of the order of 0.002 or 0.0015, for example β = 0.002 or β = 0.0015.
L'unité de traitement numérique 3 comprend également, en sortie du module d'estimation « SSMB » 35 et du deuxième module d'extraction 32, un module de détermination 36 d'un signal débruité de sortie SDk,l à partir des modules carré |X̃k,l,i|2 et des phases θk,l.The
Dans le premier mode de réalisation illustré sur la
- un sous-module racine-
carré 361 pour calculer le module |X̂k,l,i| des composantes débruitées de sous-bande X̂k,l,i, et - un sous-module de recombinaison 362 des composantes débruitées de sous-bande X̂k,l,i pour obtenir le signal débruité X̂k,l à partir des modules |X̂k,l,i| et des phases θk,l, de sorte que le signal débruité de sortie SDk,l corresponde au signal débruité X̂k,l, soit SDk,l = X̂k,l.
- a root-square sub-module 361 for calculating the module | X k, l, i | debrueted components of sub-band X k, l, i , and
- a
recombination sub-module 362 of the subband de-waving components X k, l, i to obtain the denoised signal X k, l from the modules | X k, l, i | and phases θ k, 1 , such that the output unedited signal SD k, 1 corresponds to the denoised signal X k, 1 , ie SD k, l = X k, l .
D'un point de vue mathématique, on a :
- le sous-module racine-
carré 361 réalise le calcul : - le sous-module de recombinaison 362 effectue la réinjection de la phase, comme suit : SDk,l = X̂k,l = |X̂k,l| cos θk,l + j |X̂k,l| sin θk,l.
- the root-square sub-module 361 performs the calculation:
- the
recombination submodule 362 performs the reinjection of the phase, as follows: SD k, l = X k, l = | X k, l | cos θ k, l + j | X k, l | sin θ k, l .
Dans le second mode de réalisation illustré sur la
- en sortie du
premier module d'extraction 31, un sous-module d'amplification 363 selon un coefficient d'amplification γ, préférentiellement compris entre 0,01et 0,1, afin de délivrer un signal amplifié γ |Yk,l|2 ; - en sortie du module d'estimation « SSMB » 35, un sous-
module additionneur 364 propre à additionner le signal amplifié γ |Yk,l|2 et les modules carré |X̂k,l,i|2, afin de délivrer en sortie les module carré |X̂k,l,i|2 de composantes débruitées combinées de sous-bande X̂k,l,i propres à chaque sous-bande SBi d'un signal débruité combiné X̂k,l, répondant à l'équation correspondante : - un sous-module racine-
carré 361 pour calculer le module |X̂k,l,i| des composantes débruitées combinées de sous-bande X̂k,l,i ; et - un sous-module de recombinaison 362 des composantes combinées de sous-bande X̂k,l,i pour obtenir le signal débruité combiné X̂k,l, à partir des modules |X̂k,l,i| et des phases θk,l, de sorte que le signal débruité de sortie SDk,l correspond au signal débruité combiné X̂k,l, soit SDk,l = X̂k,l.
- at the output of the
first extraction module 31, anamplification sub-module 363 according to an amplification coefficient γ, preferably between 0.01 and 0.1, in order to deliver an amplified signal γ | Y k, l | 2 ; - at the output of the estimation module "SSMB" 35, an adder sub-module 364 capable of adding the amplified signal γ | Y k, l | 2 and the square modules | X k, l, i | 2 , in order to output the square modules | x k, l, i | 2 of combined de-banded components of sub-band X k, l, i specific to each sub-band SBi of a combined de-signaled signal X k, l , responding to the corresponding equation:
- a root-square sub-module 361 for calculating the module | X k, l, i | combined de-banded components of sub-band X k, l, i ; and
- a
recombination sub-module 362 of the combined sub-band components X k, l, i to obtain the combined de-signaled signal X k, l , from the modules | X k, l, i | and phases θ k, 1 , so that the output unedited signal SD k, 1 corresponds to the combined de-noise signal X k, 1 , ie SD k, l = X k, l .
D'un point de vue mathématique, on a :
- le sous-
module d'amplification 363 délivre en sortie le signal amplifié - le sous-
module additionneur 364 réalise le calcul : - le sous-module racine-
carré 361 réalise le calcul : - le sous-module de recombinaison 362 effectue la réinjection de la phase, comme suit : SDk,l = X̂k,l = |X̂k,l| cos θk,l + j |X̂k,l| sin θk,l
- the
amplification sub-module 363 outputs the amplified signal - the
adder submodule 364 performs the calculation: - the root-square sub-module 361 performs the calculation:
- the
recombination submodule 362 performs the reinjection of the phase, as follows: SD k, l = X k, l = | X k, l | cos θ k, l + j | X k, l | sin θ k, l
Ainsi, dans ce second mode de réalisation, le système 1 met en oeuvre une étape de réinjection d'une partie très faible du signal bruité Yk,l, issu du microphone, dans le signal débruité X̂k,l ; le signal réinjecté correspondant au signal amplifié γ |Yk,l|2. De cette manière, on remédie au moins en partie aux problèmes de distorsion introduits par les modules d'estimation « MCRA » 33 et « SSMB » 35.Thus, in this second embodiment, the
Le système 1 comprend, en sortie de l'unité de traitement numérique 3, une unité de conversion 4 dans le domaine temporel.The
Cette unité de conversion 4 comporte un module de calcul 41 d'un signal de sortie Sdl propre à chaque trame temporelle I pair application d'une transformée de Fourier inverse du signal débruité de sortie SDk,l.This
D'un point de vue mathématique, ce module de calcul 41 met en oeuvre le calcul de la transformée de Fourier rapide inverse (IFFT pour « Inverse Fast Fourier Transform ») avec une taille N égale à 256 (N correspondant pour rappel au nombre de points de la transformée de Fourier), avec la relation suivante :
où IDFT correspond à la fonction de transformée de Fourier discrète inverse, qui peut être du type transformée de Fourier rapide inverse (IFFT).From a mathematical point of view, this
where IDFT corresponds to the inverse discrete Fourier transform function, which can be of the inverse fast Fourier transform (IFFT) type.
En outre, du fait de la symétrie de l'amplitude de la transformée de Fourier (DFT ou FFT) des signaux réels, le traitement de réduction du bruit et de reconstruction selon la méthode « OLA » se fera uniquement sur les premiers [N/2 + 1] premiers points d'échantillonnage, soit sur les 129 premiers points d'échantillonnage pour N égal à 256, sachant que l'on a la relation suivante de symétrie hermitienne :
Dans le cas du premier mode de réalisation illustré sur la
Dans le cas du second mode de réalisation illustré sur la
Cette unité de conversion 4 comporte, en sortie du module de calcul 41, un module de reconstruction 42 d'un signal vocal débruité de sortie sd(t) dans le domaine temporel à partir des signaux de sortie Sdl.This
Le signal temporel est restitué selon la méthode de recouvrement et addition « OLA », la reconstruction du signal vocal débruité de sortie sd(t) étant réalisée par les additions successives des parties en recouvrement des signaux de deux trames temporelles successives, selon le principe :
qui se traduit dans le premier mode de réalisation par :
which is translated in the first embodiment by:
A chaque fois qu'une trame temporelle du signal débruité de sortie SDk,l est délivrée dans le domaine fréquentiel et que sa transformée de Fourier inverse Sdl est calculée, les premiers N/2 points d'échantillonnage seront additionnés avec les derniers N/2 points d'échantillonnage de la trame traitée précédente. Les derniers N/2 points d'échantillonnage de la trame traitée en cours seront quand à eux stockés en mémoire pour être à leur tour utilisés lors du traitement de la trame suivante.Whenever a time frame of the output denoised signal SD k , l is delivered in the frequency domain and its inverse Fourier transform Sd l is computed, the first N / 2 sampling points will be added together with the last N / 2 sampling points of the previous processed frame. The last N / 2 sampling points of the current processed frame will be stored in memory for use in processing the next frame.
Autrement dit, après traitement dans le domaine spectral, la trame temporelle du signal débruité de sortie SDk,l passe par le module de calcul 41 de la transformée de Fourier inverse, puis sa première moitié (N/2 premiers points d'échantillonnage) est additionnée avec la seconde moitié (N/2 derniers points d'échantillonnage) sauvegardée de la trame précédente, tandis que sa seconde moitié (N/2 premiers points d'échantillonnage) est sauvegardée pour le prochain bloc.In other words, after processing in the spectral domain, the time frame of the output denoised signal SD k, 1 passes through the
Avec N égal à 256, on a N/2 qui est égal à 128, étant rappelé que le taux de recouvrement de deux trames successives est de cinquante pourcent (50 %).With N equal to 256, we have N / 2 which is equal to 128, being reminded that the recovery rate of two successive frames is fifty percent (50%).
De manière optionnelle et avantageuse, l'unité de traitement numérique 3 comprend en outre, en sortie du module d'estimation « MCRA » 33, un module de détection du bruit 37 qui pilote le module de reconstruction 42 selon le principe suivant :
- mise en oeuvre d'un calcul d'un rapport moyen signal à bruit rl pour effectuer une détection de bruit ;
- comparaison de ce rapport moyen signal à bruit rl avec un seuil ψTH pour établir si le bruit est présent (rl < ψTH) ou si le bruit est absent ou du moins extrémement faible (rl > ψTH) ; et
- pilotage du
module de reconstruction 42 selon les règles suivantes : - si le bruit est présent (rl < ψTH), alors on prend en compte le signal traité numériquement, c'est-à-dire le signal de sortie Sdl pour la reconstruction temporelle ;
- si le bruit est absent ou extrémement faible (rl > ψTH), alors on ne prend pas en compte le signal de sortie Sdl mais on prend en compte directement le signal échantillonné yl pour la reconstruction temporelle, ce qui revient à ignorer les traitements de réduction du bruit (« MCRA », « SSMB ») pour cette trame I, avec l'avantage d'éviter des distorsions inutiles lorsque le niveau de bruit est tel qu'un traitement de réduction du bruit n'est pas nécessaire.
- implementing a calculation of a signal-to-noise average ratio r 1 for performing noise detection;
- comparing this signal to noise ratio r 1 with a threshold ψ TH to establish whether the noise is present (r l <ψ TH ) or if the noise is absent or at least extremely low (r l > ψ TH ); and
- driving the
reconstruction module 42 according to the following rules: - if the noise is present (r l <ψ TH ), then we take into account the digitally processed signal, that is to say the output signal Sd l for time reconstruction;
- if the noise is absent or extremely weak (r l > ψ TH ), then we do not take into account the output signal Sd l but we take into account directly the sampled signal y l for the time reconstruction, which amounts to ignoring noise reduction processing ("MCRA", "SSMB") for this frame I, with the advantage of avoiding unnecessary distortions when the noise level is such that a noise reduction treatment is not necessary .
De ce fait, dans une situation d'absence ou quasi absence de bruit, les distorsions qui peuvent être apportées par le traitement de réduction du bruit seront éliminées.Therefore, in a situation of absence or near absence of noise, the distortions that can be made by the noise reduction treatment will be eliminated.
D'un point de vue structurel, le module de détection du bruit 37 comprend :
- un module de calcul d'un rapport moyen signal à bruit rl propre à chaque trame temporelle 1 à partir du module carré |Yk,l|2 et de la composante de bruit Dk,l;
- un module de comparaison du rapport moyen signal à bruit rl propre à chaque trame temporelle I avec un seuil ψTH prédéterminé ;
- un module de contrôle du
module de reconstruction 42 du signal vocal débruité de sortie sd(t) qui est conçu pour que :- si le rapport moyen signal à bruit rl est inférieur audit seuil ψTH pour la trame temporelle I, alors le signal considéré avant reconstruction pour cette trame temporelle I correspond au signal de sortie Sdl issu du module de calcul dudit signal de sortie Sdl ;
- si le rapport moyen signal à bruit rl est supérieur audit seuil ψTH pour la trame temporelle I, alors le signal considéré avant reconstruction pour cette trame temporelle I correspond au signal échantillonné yl issu du module de découpage du signal acoustique bruité y(t).
- a module for calculating a signal-to-noise average ratio r 1 specific to each
time frame 1 from the square module | Y k, l | 2 and the noise component D k, l ; - a module for comparing the average signal-to-noise ratio r 1 for each time frame I with a predetermined threshold ψ TH ;
- a module of control of the
reconstruction module 42 of the output speech signal noiseless output sd (t) which is designed so that:- if the average signal-to-noise ratio r 1 is less than said threshold ψ TH for the time frame I, then the signal considered before reconstruction for this time frame I corresponds to the output signal Sd 1 from the calculation module of said output signal Sd l ;
- if the average signal-to-noise ratio r l is greater than said threshold ψ TH for the time frame I, then the signal considered before reconstruction for this time frame I corresponds to the sampled signal y 1 from the noisy acoustic signal cutting module y (t ).
D'un point de vue mathématique, le module de détection du bruit 37 met en oeuvre l'algorithme de calcul suivant, pour chaque trame temporelle l:
- g.1) calcul d'une composante de bruit moyenne
Dl à partir de la composante de bruit D̂k,l estimée par le module d'estimation « MCRA » 33 et répondant à l'équation :
où M est une constante prédéterminée égale à N/2, N étant pour rappel le nombre de points de la transformée de Fourier ; - g.2) calcul d'un module carré moyen |Yk,l|2 du signal bruité Yk,l répondant à l'équation :
- g.3) calcul d'une composante filtrée Pl du module carré moyen |Yk,l|2 répondant à l'équation :
où - λ est une constante prédéterminée caractéristique d'un filtre passe-bas, de préférence compris entre 0,80 et 0,99 ; -
- g.4) calcul du rapport moyen signal à bruit rl répondant à l'équation :
- si
D l > 0 alors - si
D l < 0 alors rl = 0.
- si
- g.1) calculation of an average noise component
D l from the noise component D k, l estimated by the estimation module "MCRA" 33 and corresponding to the equation:
where M is a predetermined constant equal to N / 2, N being for reference the number of points of the Fourier transform; - g.2) calculating a mean square module | Y k, l | 2 of the noisy signal Y k, l corresponding to the equation:
- g.3) calculating a filtered component P l of the average square module | Y k, l | 2 answering the equation:
where - λ is a predetermined constant characteristic of a low-pass filter, preferably between 0.80 and 0.99; -
- g.4) calculation of the average signal to noise ratio r l corresponding to the equation:
- if
D l > 0 then - if
D l <0 then r l = 0.
- if
Bien entendu l'exemple de mise en oeuvre évoqué ci-dessus ne présente aucun caractère limitatif et d'autres améliorations et détails peuvent être apportés au système de réduction selon l'invention, sans pour autant sortir du cadre de l'invention.Of course the implementation example mentioned above is not limiting and other improvements and details can be made to the reduction system according to the invention, without departing from the scope of the invention.
Ainsi, il est envisageable de se passer de l'extraction de la phase de la phase θk,l, du signal bruité Yk,l comme illustré sur la
A cet effet, le sous-module de recombinaison 362 réalise le calcul suivant :
Avec Gk,l le gain de l'algorithme de reduction de bruit. Avec ce calcul, il n'est donc plus nécessaire de calculer, stocker et réinjecter la phase.With G k, l the gain of the noise reduction algorithm. With this calculation, it is no longer necessary to calculate, store and reinject the phase.
Le système 1 de la
Claims (14)
caractérisé en ce qu'il comprend en outre, après l'étape b), les étapes successives suivantes :
characterized in that it further comprises, after step b), the following successive steps:
où αs est une constante prédéterminée caractéristique d'un filtre passe-bas ;
alors Smink,l = min ( Smink,l-1 ; Sk,l) et Stmpk,l = Sk,l
alors Smink,l = min ( Stmpk,l-1 ; Sk,l) et
Stmpk,l = min ( Stmpk,l-1 ; Sk,l)
où rem(k,l) est le reste de la division entière de k par 1, puis
où δTH est un paramètre prédéterminé de seuil fixe de détection de parole ;
où αp est une constante prédéterminée ;
où α est une constante prédéterminée ;
where α s is a predetermined constant characteristic of a low-pass filter;
then Smin k, l = min (Smin k, l-1 ; S k, l ) and Stmp k, l = S k, l
then Smin k, l = min (Stmp k, l-1 ; S k, l ) and
Stmp k, l = min (Stmp k, l-1 ; S k, l )
where rem (k, l) is the remainder of the integer division of k by 1, then
where δ TH is a predetermined parameter of fixed threshold of speech detection;
where α p is a predetermined constant;
where α is a predetermined constant;
où - δi est un paramètre variable en fonction de la sous-bande SBi
correspondante, prenant des valeurs distinctes d'une sous-bande à l'autre ;
where - δ i is a variable parameter depending on the sub-band SB i
corresponding, taking values distinct from one subband to another;
où αc1, αc2, αc3 et αc4 sont des constantes prédéterminées, et SNR1 et SNR2 sont des seuils prédéterminés.The method of claim 3, wherein the parameters α i respond to the following equations:
where α c1 , α c2 , α c3 and α c4 are predetermined constants, and SNR 1 and SNR 2 are predetermined thresholds.
où γ est un coefficient d'amplification prédéterminé, préférentiellement compris entre 0,01 et 0,1 ;
where γ is a predetermined amplification coefficient, preferably between 0.01 and 0.1;
où M est une constante prédéterminée, de préférence égale à N ou à N/2, N étant le nombre de points d'échantillonnage de la transformée de Fourier ;
où - λ est une constante prédéterminée caractéristique d'un filtre passe-bas, de préférence compris entre 0,80 et 0,99 ;
where M is a predetermined constant, preferably N or N / 2, where N is the number of sample points of the Fourier transform;
where - λ is a predetermined constant characteristic of a low-pass filter, preferably between 0.80 and 0.99;
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1153507A FR2974443B1 (en) | 2011-04-22 | 2011-04-22 | METHOD AND SYSTEM FOR REDUCING NOISE |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2515300A1 true EP2515300A1 (en) | 2012-10-24 |
EP2515300B1 EP2515300B1 (en) | 2014-05-14 |
Family
ID=44243603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP20120163679 Not-in-force EP2515300B1 (en) | 2011-04-22 | 2012-04-11 | Method and system for noise reduction |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2515300B1 (en) |
ES (1) | ES2492698T3 (en) |
FR (1) | FR2974443B1 (en) |
PT (1) | PT2515300E (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111854920A (en) * | 2020-07-24 | 2020-10-30 | 贵州电网有限责任公司 | Preprocessing method and system based on DVS vibration monitoring signal |
CN113367676A (en) * | 2021-06-07 | 2021-09-10 | 广东电网有限责任公司 | PPG motion noise filtering method and device for wearable equipment |
CN116495946A (en) * | 2023-06-27 | 2023-07-28 | 珠江水利委员会珠江水利科学研究院 | A comprehensive treatment method and system for urban rainwater sewage interception, regulation, storage and dredging |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016507B1 (en) * | 1997-04-16 | 2006-03-21 | Ami Semiconductor Inc. | Method and apparatus for noise reduction particularly in hearing aids |
-
2011
- 2011-04-22 FR FR1153507A patent/FR2974443B1/en not_active Expired - Fee Related
-
2012
- 2012-04-11 PT PT12163679T patent/PT2515300E/en unknown
- 2012-04-11 EP EP20120163679 patent/EP2515300B1/en not_active Not-in-force
- 2012-04-11 ES ES12163679.9T patent/ES2492698T3/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016507B1 (en) * | 1997-04-16 | 2006-03-21 | Ami Semiconductor Inc. | Method and apparatus for noise reduction particularly in hearing aids |
Non-Patent Citations (8)
Title |
---|
"Multi-band Spectral Subraction for Enhancing Speech Corrupted by Colored Noise", 2002 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, vol. 4, pages 2002 |
BING-YIN XIA ET AL: "A modified spectral subtraction method for speech enhancement based on masking property of human auditory system", WIRELESS COMMUNICATIONS&SIGNAL PROCESSING, 2009. WCSP 2009. INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 13 November 2009 (2009-11-13), pages 1 - 5, XP031594664, ISBN: 978-1-4244-4856-2 * |
COHEN I ET AL: "Speech enhancement for non-stationary noise environments", SIGNAL PROCESSING, ELSEVIER SCIENCE PUBLISHERS B.V. AMSTERDAM, NL, vol. 81, no. 11, 1 November 2001 (2001-11-01), pages 2403 - 2418, XP004308517, ISSN: 0165-1684, DOI: 10.1016/S0165-1684(01)00128-1 * |
COHEN; B. BERDUGO: "Noise Estimation by Minima Controlled Recursive Averaging for Robust Speech Enhancement", IEEE SIGNAL PROCESSING LETTERS, vol. 9, no. 1, January 2002 (2002-01-01), pages 12 - 15, XP011428379, DOI: doi:10.1109/97.988717 |
I. COHEN; B. BERDUGO: "Speech enhancement for non-stationary noise environments", SIGNAL PROCESSING, vol. 81, 2001, pages 2403 - 2418, XP004308517, DOI: doi:10.1016/S0165-1684(01)00128-1 |
KAMATH S ET AL: "Multi-band spectral subtraction method for enhancing speech corrupted by colored noise", 2002 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS (CAT. NO.02CH37334) IEEE PISCATAWAY, NJ, USA, vol. 4, 2002, XP002649825, ISBN: 0-7803-7402-9 * |
LUO JUN ET AL: "Spectral Subtraction Speech Enhancement Technology Based on Fast Noise Estimation", INFORMATION ENGINEERING AND COMPUTER SCIENCE, 2009. ICIECS 2009. INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 19 December 2009 (2009-12-19), pages 1 - 3, XP031587156, ISBN: 978-1-4244-4994-1 * |
X. BING-YIN ET AL.: "A Modified Spectral Subtraction Method For Speech Enhancement Based on Masking Property of Human Auditory System", WIRELESS COMMUNICATIONS & SIGNAIS PROCESSING, INTERNATIONAL CONFERENCE ON IEEE, 13 November 2009 (2009-11-13), pages 1 - 5, XP031594664 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111854920A (en) * | 2020-07-24 | 2020-10-30 | 贵州电网有限责任公司 | Preprocessing method and system based on DVS vibration monitoring signal |
CN113367676A (en) * | 2021-06-07 | 2021-09-10 | 广东电网有限责任公司 | PPG motion noise filtering method and device for wearable equipment |
CN116495946A (en) * | 2023-06-27 | 2023-07-28 | 珠江水利委员会珠江水利科学研究院 | A comprehensive treatment method and system for urban rainwater sewage interception, regulation, storage and dredging |
CN116495946B (en) * | 2023-06-27 | 2023-10-13 | 珠江水利委员会珠江水利科学研究院 | Comprehensive treatment method and system for urban rainwater sewage interception, regulation and dredging |
Also Published As
Publication number | Publication date |
---|---|
FR2974443A1 (en) | 2012-10-26 |
EP2515300B1 (en) | 2014-05-14 |
PT2515300E (en) | 2014-08-27 |
ES2492698T3 (en) | 2014-09-10 |
FR2974443B1 (en) | 2013-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1356461B1 (en) | Noise reduction method and device | |
EP1789956B1 (en) | Method of processing a noisy sound signal and device for implementing said method | |
EP2293594B1 (en) | Method for filtering lateral non stationary noise for a multi-microphone audio device | |
EP2002428B1 (en) | Method for trained discrimination and attenuation of echoes of a digital signal in a decoder and corresponding device | |
EP2309499B1 (en) | Method for optimised filtering of non-stationary interference captured by a multi-microphone audio device, in particular a hands-free telephone device for an automobile. | |
EP2772916B1 (en) | Method for suppressing noise in an audio signal by an algorithm with variable spectral gain with dynamically adaptive strength | |
US20070255560A1 (en) | Low complexity noise reduction method | |
FR3012928A1 (en) | MODIFIERS BASED ON EXTERNALLY ESTIMATED SNR FOR INTERNAL MMSE CALCULATIONS | |
EP0752181A1 (en) | Frequency-domain adaptive-filter acoustic echo canceller | |
EP0998166A1 (en) | Device for audio processing,receiver and method for filtering the wanted signal and reproducing it in presence of ambient noise | |
EP2936488B1 (en) | Effective attenuation of pre-echos in a digital audio signal | |
EP1016071B1 (en) | Method and apparatus for detecting speech activity | |
EP2515300B1 (en) | Method and system for noise reduction | |
FR3012929A1 (en) | SPEECH PROBABILITY PRESENCE MODIFIER IMPROVING NOISE REMOVAL PERFORMANCE BASED ON LOG-MMSE | |
EP2262216A1 (en) | Method for detecting a double-talking situation for a hands-free telephone device | |
EP3192073B1 (en) | Discrimination and attenuation of pre-echoes in a digital audio signal | |
EP1039736B1 (en) | Method and device for adaptive identification and related adaptive echo canceller | |
EP1429316A1 (en) | System and method for multi-referenced correction of spectral voice distortions introduced by a communication network | |
FR2906070A1 (en) | Electronic voice signal preprocessing system for hands free mobile telephone, has non coherent filtering stage filtering output of coherent filtering stage such that signal is successively subjected to coherent and non coherent filterings | |
EP1021805B1 (en) | Method and apparatus for conditioning a digital speech signal | |
FR2768546A1 (en) | Frame by frame noise removal for use with digital speech signal | |
FR2906071A1 (en) | Electronic filter e.g. non-coherent filter, for e.g. hands-free mobile phone in vehicle, has control section limiting calibration gain such that variation threshold of calibration gain does not exceed preset variation threshold | |
EP4287648A1 (en) | Electronic device and associated processing method, acoustic apparatus and computer program | |
BE1020218A3 (en) | METHOD FOR IMPROVING THE TEMPORAL RESOLUTION OF INFORMATION PROVIDED BY A COMPOUND FILTER AND CORRESPONDING DEVICE THEREFOR. | |
WO1999027523A1 (en) | Method for reconstructing sound signals after noise abatement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
17P | Request for examination filed |
Effective date: 20130308 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R079 Ref document number: 602012001676 Country of ref document: DE Free format text: PREVIOUS MAIN CLASS: G10L0021020000 Ipc: G10L0021020800 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G10L 25/18 20130101ALN20131128BHEP Ipc: G10L 21/0208 20130101AFI20131128BHEP |
|
INTG | Intention to grant announced |
Effective date: 20131216 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 668811 Country of ref document: AT Kind code of ref document: T Effective date: 20140615 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602012001676 Country of ref document: DE Effective date: 20140703 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: CABINET GERMAIN ET MAUREAU, FR |
|
REG | Reference to a national code |
Ref country code: PT Ref legal event code: SC4A Free format text: AVAILABILITY OF NATIONAL TRANSLATION Effective date: 20140811 |
|
REG | Reference to a national code |
Ref country code: SE Ref legal event code: TRGR |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140815 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140914 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140814 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602012001676 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20150217 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602012001676 Country of ref document: DE Effective date: 20150217 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150411 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 5 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20150411 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20160315 Year of fee payment: 5 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: PT Payment date: 20160317 Year of fee payment: 5 Ref country code: FR Payment date: 20160310 Year of fee payment: 5 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20160504 Year of fee payment: 5 Ref country code: DE Payment date: 20160316 Year of fee payment: 5 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20160412 Year of fee payment: 5 Ref country code: BE Payment date: 20160421 Year of fee payment: 5 Ref country code: SE Payment date: 20160415 Year of fee payment: 5 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20160411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20120411 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 602012001676 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20171229 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20171103 Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170502 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170430 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170430 Ref country code: SE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170412 Ref country code: PT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20171011 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20170430 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170411 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170430 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 668811 Country of ref document: AT Kind code of ref document: T Effective date: 20170411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FD2A Effective date: 20180629 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170412 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |