WO2024009892A1 - エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム - Google Patents
エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム Download PDFInfo
- Publication number
- WO2024009892A1 WO2024009892A1 PCT/JP2023/024233 JP2023024233W WO2024009892A1 WO 2024009892 A1 WO2024009892 A1 WO 2024009892A1 JP 2023024233 W JP2023024233 W JP 2023024233W WO 2024009892 A1 WO2024009892 A1 WO 2024009892A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- filter
- echo
- unit
- reference signal
- echo suppression
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 55
- 230000003044 adaptive effect Effects 0.000 claims abstract description 111
- 230000003111 delayed effect Effects 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 33
- 238000012937 correction Methods 0.000 claims abstract description 16
- 230000001629 suppression Effects 0.000 claims description 105
- 238000012986 modification Methods 0.000 claims description 65
- 230000004048 modification Effects 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 21
- 238000002592 echocardiography Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 125000002015 acyclic group Chemical group 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
Definitions
- the present invention relates to an echo suppression device, an echo suppression method, and an echo suppression program.
- Patent Document 1 discloses that first and second echo replica signals are generated by convolving a received signal with a first filter coefficient or a second filter coefficient, and a signal in a communication frequency band of the first echo replica signal is used as an echo canceller signal.
- An echo canceller device that outputs an output is disclosed.
- the second filter coefficient is corrected so as to minimize the signal obtained by subtracting the second echo replica signal from the signal of an arbitrary measurement frequency in the input sound signal, and the second filter coefficient is preset with the second filter coefficient.
- the filter coefficients are set by determining the first filter coefficients.
- the present invention has been made in view of the above circumstances, and provides an echo suppression device, an echo suppression method, and an echo suppression program that can perform echo removal using an appropriate adaptive filter that has not undergone erroneous learning.
- the purpose is to
- an echo suppression device that removes an echo from an input signal picked up by a microphone of a terminal having a speaker and a microphone, and includes: a reference signal adjustment unit that generates a plurality of delayed reference signals by giving a plurality of mutually different delay times to a reference signal transmitted through a receiving side signal path that transmits a signal to the speaker; and each of the plurality of delayed reference signals.
- a filter generation unit that obtains convergence values of a plurality of adaptive filters based on the convergence values of the plurality of adaptive filters; a filter modification section that modifies the adaptive filter so that the adaptive filter is smaller than the above value; and an echo removal section that removes linear echo by applying the adaptive filter modified by the filter modification section to the input signal. It is characterized by
- a plurality of mutually different delay times are applied to a reference signal transmitted through a receiving side signal path that transmits a signal to the speaker of a terminal having a speaker and a microphone.
- a reference signal adjustment step of generating a plurality of delayed reference signals by giving a filter modification step of modifying the adaptive filter so that a first filter coefficient, which is a filter coefficient for an element that does not change in response to a change in the delay time, is smaller than the convergence value;
- the method is characterized in that it includes an echo removal step of removing a linear echo by applying an adaptive filter modified by the filter modification step to the input signal.
- An echo suppression program may, for example, cause a computer to transmit a reference signal transmitted through a receiving side signal path that transmits a signal to the speaker of a terminal having a speaker and a microphone using a plurality of different delays.
- a reference signal adjustment unit that generates a plurality of delayed reference signals by giving time; a filter generation unit that obtains convergence values of a plurality of adaptive filters based on each of the plurality of delayed reference signals; a filter generation unit that compares the plurality of convergence values; a filter modification unit that modifies the adaptive filter so that a first filter coefficient, which is a filter coefficient for an element that does not change in accordance with a change in the delay time, is smaller than the convergence value; an input signal picked up by the microphone; It is characterized in that it functions as an echo removal section that removes a linear echo by applying an adaptive filter modified by the filter modification section to the filter modification section.
- a plurality of adaptations are performed based on a plurality of delayed reference signals generated by giving a plurality of mutually different delay times to a reference signal transmitted through a receiving side signal path that transmits a signal to a speaker.
- the first filter coefficient which is a filter coefficient for an element that does not change according to a change in delay time, is made smaller than the convergence value, and the modified adaptive filter is Since linear echoes are removed from the input signal using
- the filter modification unit may set the first filter coefficient to zero. Thereby, the calculation load can be reduced, and the processing load on the arithmetic device can be reduced. Furthermore, since the processing load on the arithmetic unit can be reduced, the echo suppression device can be constructed at low cost.
- the filter modification unit may gradually decrease the first filter coefficient from the convergence value. This can prevent noise or excessive removal due to sudden changes in the shape of the adaptive filter.
- the filter modification unit may set a filter coefficient whose convergence value is greater than or equal to a threshold value as the first filter coefficient among the elements that do not change according to a change in the delay time. This makes it possible to reduce the filter coefficients of elements that have a large effect on linear echo removal.
- the filter modification unit may obtain the threshold value based on the convergence value. Thereby, it is possible to automatically determine an appropriate threshold value depending on the situation of the reference signal.
- the reference signal adjustment unit continuously generates the plurality of delayed reference signals while acquiring the reference signal
- the filter generation unit continuously generates the plurality of linear filters
- the filter The modification unit may continuously modify the adaptive filter.
- a double talk detection section detects whether the state is a single talk state or a double talk state, and when the double talk state is not detected, the filter correction section adjusts the first filter coefficient from the convergence value. You can also make it smaller. As a result, in a situation where double talk occurs, there is a lot of disturbance, so the effect of the processing may be small, but with this configuration, the calculation load can be reduced by stopping the processing that has a small effect. .
- the reference signal adjustment unit may generate the delayed reference signal only once before the echo removal unit removes the linear echo. This can be realized with a small calculation load, and the echo suppression device 1 can also be constructed at low cost.
- echoes can be effectively removed while reducing the processing load on the arithmetic device.
- FIG. 1 is a diagram schematically showing a voice communication system 100 provided with an echo suppression device 1.
- FIG. 1 is a block diagram showing a schematic configuration of an echo suppression device 1.
- FIG. 3 is a flowchart showing the flow of processing performed by the echo suppression device 1.
- FIG. 7 is a graph showing a process of comparing convergence values of a plurality of adaptive filters with each other. It is a block diagram showing the schematic structure of echo suppression device 1A.
- 1 is a block diagram showing a schematic configuration of an echo suppression device 2.
- FIG. 2 is a flowchart showing the flow of processing performed by the echo suppression device 2.
- FIG. 1 is a block diagram showing a schematic configuration of an echo suppression device 3.
- FIG. 3 is a flowchart showing the flow of processing performed by the echo suppression device 3.
- An echo suppression device is a device that suppresses the echo that occurs during a call in a voice communication system, and is used in products with built-in speakers and microphones, such as headsets for telephone conferences and video conferences, in-vehicle communication devices, It is also used for intercoms, etc.
- FIG. 1 is a diagram schematically showing a voice communication system 100 provided with an echo suppression device 1 according to a first embodiment.
- the voice communication system 100 mainly includes a terminal 50 (for example, a vehicle-mounted device, a conference system, a mobile terminal) having a microphone 51 and a speaker 52, two communication devices 53 and 54, a speaker amplifier 55, and an echo suppression device 1. and has.
- a user (user A on the near-end side) who uses the terminal 50 (near-end terminal) and a user (user A on the far-end side) who uses the communication device 54 (far-end terminal)
- This is a system for voice communication with person B).
- the audio signal input through the communication device 54 is amplified by the speaker 52, and the voice emitted by the user on the near-end side is collected by the microphone 51 and transmitted to the communication device 54.
- A can make a loudspeaker call (hands-free call) without holding the communication device 53.
- the communication device 53 and the communication device 54 are connected through a general telephone line, and can communicate with each other.
- the echo suppression device 1 is provided on the transmitting side signal path that transmits the input signal input from the microphone 51 from the terminal 50 to the communication device 53, and removes echo from the input signal.
- the echo suppression device 1 may be constructed as a dedicated board mounted on the terminal 50 or the like within the voice communication system 100, for example. Further, the echo suppression device 1 may be configured by, for example, computer hardware and software (echo suppression program).
- the echo suppression program may be stored in advance in an HDD as a storage medium built into a device such as a computer, or a ROM in a microcomputer having a CPU, and then installed into the computer from there. Further, the echo suppression program may be temporarily or permanently stored in a removable storage medium such as a semiconductor memory, a memory card, an optical disk, a magneto-optical disk, or a magnetic disk.
- FIG. 2 is a block diagram showing a schematic configuration of the echo suppression device 1.
- the echo suppression device 1 is connected between the microphone 51 and a signal input terminal 531 on the transmitting side of the communication device 53.
- the upper signal path is a transmitting side signal path that transmits an input signal input from the microphone 51
- the lower signal path is a receiving side signal path that transmits a signal to the speaker 52.
- the input signal picked up by the microphone 51 and the audio signal received by the communication device 53 are input to the echo suppression device 1.
- the echo suppression device 1 removes the echo of the input signal based on a reference signal, which is an audio signal received by the communication device 53 and transmitted through the receiving side signal path, and outputs it to the transmitting side signal input terminal 531.
- the echo suppression device 1 mainly includes a reference signal adjustment section 10, a linear echo suppression section 20, and a nonlinear echo suppression section 30. Note that the echo suppression device 1 may further include a general configuration related to noise canceling.
- the reference signal adjustment unit 10 is a functional unit that acquires a reference signal input from the signal output terminal 532 on the receiver side and generates a delayed reference signal based on the reference signal.
- the reference signal adjustment unit 10 generates a plurality of delayed reference signals by giving a plurality of mutually different delay times.
- the linear echo suppression unit 20 is a functional unit that generates an adaptive filter using a reference signal and suppresses linear echo in the input signal.
- the adaptive filter used by the linear echo suppressor 20 has linear filter characteristics.
- the linear echo suppression section 20 mainly includes a filter generation section 21, a filter modification section 22, and an echo removal section 23.
- the filter generation unit 21 is a functional unit that obtains a convergence value of the adaptive filter based on the delayed reference signal generated by the reference signal adjustment unit 10.
- the filter generation unit 21 is configured to be able to execute a learning algorithm using linear processing.
- the learning algorithm based on linear processing is, for example, NLMS or LMS, but is not limited thereto, and any known algorithm can be applied.
- the filter generation unit 21 configures the adaptive filter with an acyclic (FIR, Finite Impulse Response) filter, as shown in Equation (1), for example.
- FIR Finite Impulse Response
- x(k) is the input signal
- y(k) is the output signal
- h(l) is the filter coefficient of the multiplier.
- l is a coefficient index
- N is a filter length.
- the filter generation unit 21 acquires a plurality of delayed reference signals and obtains convergence values of a plurality of adaptive filters based on each delayed reference signal.
- the convergence value of the adaptive filter includes the convergence value of the filter coefficients of each index of the acyclic filter.
- the filter generation unit 21 stores the convergence value of the adaptive filter in an appropriate storage unit.
- the filter generation unit 21 determines whether the adaptive filter has converged, for example, when the dispersion of the convergence value falls within a certain range, when the convergence value falls within a certain range, or when a certain period of time has passed from the start of processing. It can be determined that
- the filter modification unit 22 is a functional unit that modifies the adaptive filter generated by the filter generation unit 21.
- the filter correction unit 22 corrects the adaptive filter converged using the delayed reference signal given a predetermined delay time, based on the adaptive filter converged using the delayed reference signal given another delay time.
- the predetermined delay time is, for example, a delay time expected from the time taken for sound to be output from the speaker 52 and collected by the microphone 51 in the audio communication system 100.
- the filter modification unit 22 will be described in detail later.
- the echo removal unit 23 is a functional unit that removes linear echoes from the input signal picked up by the microphone 51.
- the echo removal section 23 removes the linear echo using the adaptive filter modified by the filter modification section 22. Since the processing of the echo removal unit 23 is already known, the explanation will be omitted.
- the signal output from the echo canceller 23 is input to the nonlinear echo suppressor 30.
- the nonlinear echo suppression unit 30 is a functional unit that executes a learning algorithm using nonlinear processing. Any known algorithm can be applied to the learning algorithm using nonlinear processing.
- the signal output from the nonlinear echo suppressor 30 is output to the signal input terminal 531 on the transmitting side, and is transmitted to the communication device 54 owned by user B via the communication device 53. Note that the nonlinear echo suppressor 30 is not essential.
- FIG. 3 is a flowchart showing the flow of processing performed by the echo suppression device 1.
- the echo suppression device 1 performs a learning process (step S1).
- the learning process may be performed in advance, or may be performed at the time when the echo suppression device 1 or a predetermined function of the echo suppression device 1 is activated. That is, the echo suppression device 1 only needs to perform the learning process (step S1) once before the linear echo removal process (step S7) that removes linear echoes by applying an adaptive filter to the input signal.
- the learning process (step S1) includes steps S2 to S6.
- the reference signal adjustment unit 10 first obtains a reference signal from the signal output terminal 532 on the receiver side (step S2), delays the reference signal by time t1, t2...tn, and A delayed reference signal is generated (step S3).
- the filter generation unit 21 obtains a convergence value of the adaptive filter trained based on each delayed reference signal (step S4).
- steps S3-1 to S3-n that constitute step S3 may be performed simultaneously or sequentially.
- Step S4 consists of steps S4-1 to S4-n, and is performed after steps S3-1 to S3-n, respectively.
- the filter modification unit 22 compares the convergence values of the plurality of adaptive filters generated in step S4 (step S5), and modifies the adaptive filter based on the comparison result (step S6).
- FIG. 4 is a graph showing how the filter modification unit 22 compares the convergence values of the plurality of adaptive filters generated by the filter generation unit 21 with each other.
- the horizontal axis in FIG. 4 is the index of the filter coefficient, and the vertical axis is the magnitude of the convergence value.
- values when the delay time tn (n is a natural number) are 160, 170, 180, 190, and 200 (unit: sample) are shown.
- the sampling frequency at the time of creating the graph shown in FIG. 4 is 16 kHz, and for example, the sampling interval in the case of 160 samples is 10 msec. However, the sampling frequency is not limited to this.
- a + peak appears at index 9
- a - peak appears at index 40.
- the peak P160 is an element that changes according to the change in the delay time tn, and moves in the horizontal direction according to the change in the delay time tn.
- the peak P160 has moved to the peak P170 (index is 30) in the graph L170 of the adaptive filter generated based on the delayed reference signal with a delay time of 170 ms, and the delayed reference signal with a delay time of 180 ms has moved to the peak P170 (index is 30).
- the graph L180 of the adaptive filter generated based on the graph L180 has moved to the peak P180 (index is 20). That is, in the example shown in FIG. 4, the longer the delay time given to the reference signal, the smaller the index of the filter coefficient where the peak appears. In this way, a peak that changes depending on the delay time indicates that an appropriate acoustic path has been learned.
- an appropriate known technique can be applied, such as determining whether or not the peak has moved, for example, by pattern matching.
- the peak occurring at index 9 does not move in the horizontal direction even if the delay time tn is changed, and no change occurs in accordance with the delay time tn. If an incorrect local optimum solution is found, there is a high probability that a peak will occur at the same filter coefficient regardless of the given delay time. Furthermore, even if the reference signal is mixed with a signal other than the audio signal from the signal output terminal 532 on the receiver side, it is transmitted without being affected by delay, so that the same filter can be used regardless of the given delay time. A peak may occur in the coefficient.
- Signal contamination can occur, for example, when a signal or noise generated on the CPU board circulates, when the reference signal has a high autocorrelation, or when a signal that changes significantly immediately after the speaker amplifier 55 circulates through the wiring. It can happen in some cases. Further, signal mixing may also occur due to shaking of the echo suppression device 1 itself.
- the filter modification unit 22 modifies the adaptive filter for the element (index I1) that does not change according to the delay time, and makes the size of the filter coefficient smaller than the convergence value (reduces the learning update width).
- the filter modification unit 22 sets the filter coefficient of index I1 to 0 (stops learning). Thereby, the influence of inappropriate learning can be removed from the adaptive filter used for echo cancellation, and the adaptive filter can be improved to an appropriate adaptive filter.
- the mode of setting the filter coefficient to 0 stopping learning
- the filter correction unit 22 determines whether to extract an element (index) based on a threshold value.
- the filter modification unit 22 extracts the index 9 whose convergence value is equal to or greater than the threshold value as an element that does not change according to the delay time tn, and does not extract the other indexes.
- the filter correction unit 22 may use an arbitrary value as the threshold.
- the threshold value may be set in advance by the user based on design values or experimental values of the microphone 51 and speaker 52 to be employed. According to this configuration, the process of calculating the threshold value is not necessary, so the process can be simplified.
- the filter correction unit 22 may obtain the threshold value based on the magnitude of the convergence value.
- the filter modification unit 22 can determine the magnitude of the convergence value of each index at an arbitrary delay time, and use a value obtained by subtracting a predetermined value or a predetermined percentage from the maximum value of the determined magnitude as the threshold value.
- the filter modification unit 22 calculates one or more elements that change according to the delay time by pattern matching or the like, calculates the maximum value of the convergence value of the index that changes according to the delay time, and calculates the maximum value of the convergence value of the index that changes according to the delay time.
- a value obtained by subtracting a predetermined value or a predetermined percentage from the value can be set as the threshold value. According to this configuration, it is possible to automatically determine an appropriate threshold value depending on the situation of the reference signal.
- the filter modification unit 22 reduces the magnitude of the filter coefficient when the magnitude of the filter coefficient of the index that does not change according to the delay time is greater than or equal to the threshold value determined or set in this way. This makes it possible to reduce the number of index filter coefficients that have a large effect on linear echo removal.
- the filter correction unit 22 takes into account that peaks in the vertical direction opposite to the index I1 appear at the left and right indexes of the index I1, where a peak that does not change depending on the delay time has occurred, and the index
- the filter coefficients of indexes in I1 and a predetermined range before and after I1 may be reduced.
- the echo removal unit 23 picks up the input signal from the microphone 51, and removes the linear echo by applying the adaptive filter modified in step S6 to the input signal (step S7). .
- the signal from which the linear echo has been removed is outputted to the communication device 54 after the nonlinear echo is suppressed by the nonlinear echo suppressor 30 (step S8).
- Steps S7 and S8 are performed continuously while the echo suppression device 1 is operating. That is, the echo suppression device 1 always uses the adaptive filter modified in step S6, which was first performed once by the filter modification unit 22, to remove linear echoes.
- a plurality of adaptive filters learned using a plurality of reference signals given a plurality of different delay times are compared with each other, and filter coefficients of elements (indexes) that do not change depending on the delay time are determined.
- echo cancellation can be performed using an appropriate adaptive filter that has not been incorrectly learned.
- discontinuing learning of an index that does not change depending on the delay time it is possible to reduce the calculation load and the processing load on the arithmetic unit.
- the echo suppression device 1 can be constructed at low cost.
- a method may be considered in which the initial values of the coefficients of the adaptive filter are set to appropriate values.
- a method for setting the initial value of the coefficient of the adaptive filter to an appropriate value for example, there is a method (Method 1) in which learning is started with each filter coefficient as an initial value of 0, and a method that uses physical prior information, that is, a voice communication system.
- a possible method (Method 2) is to estimate the index and the magnitude (peak value) of the filter coefficient at the index according to the configuration of the device constituting the index, and set the coefficients of other indexes to 0.
- the index of the filter coefficients determines the estimated contribution of each of the speaker amplifier 55, the physical configuration between the speaker 52 and the microphone 51, and any appropriate equipment required from the microphone 51 to the echo suppression device 1. It can be determined by summing the total and subtracting the contribution by the reference signal adjustment unit 10. In addition, the peak value can be obtained by multiplying the contributions of the speaker amplifier 55, the speaker 52, the physical configuration between the speaker 52 and the microphone 51, and the appropriate equipment required from the microphone 51 to the echo suppression device 1. Can be done.
- the learning process (steps S1 to S6) is performed in advance or only once when a predetermined function of the echo suppression device 1 is activated, thereby reducing the processing load on the arithmetic unit. It is possible to perform echo cancellation using an adaptive filter that has not undergone erroneous learning.
- the filter correction unit 22 sets the filter coefficient of the element that does not change depending on the delay time (index I1 in FIG. 4) to 0, but setting the filter coefficient to 0 is not essential; What is necessary is to reduce the size of the filter coefficient (reduce the learning update width).
- the filter modification unit 22 may reduce the magnitude of the filter coefficient of index I1 and maintain a value other than 0 (for example, 0.5).
- learning is also performed little by little at index I1, so if the echo path changes due to a change in the environment of the space where the microphone 51 and speaker 52 exist, etc. can also carry out appropriate learning.
- the linear echo removal process (step S7) is performed using the adaptive filter in which the filter coefficient of the index I1 is set to 0 in the learning process (step S5), but the filter coefficient of the index I1 of the adaptive filter is
- the linear echo removal process (step S7) may be performed while gradually decreasing the value.
- the filter correction unit 22 extracts an index (index I1 in FIG. 4) whose convergence value is greater than or equal to a threshold value from among the indices that do not change depending on the delay time, and Although the filter coefficient of the index is reduced, the filter coefficient of the index that does not change depending on the delay time regardless of the threshold value may be reduced. In this case, it is preferable to set the filter coefficient to an appropriate value such as 0.5 instead of setting it to 0. Thereby, even if unnecessary reduction is performed, it is possible to converge to an appropriate adaptive filter.
- the echo suppression device 1A according to the modified example has a plurality of reference signal adjustment sections that generate delayed reference signals, and a plurality of filter generation sections that generate one filter from each delayed reference signal. This is different from the echo suppression device 1 according to the embodiment.
- the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted.
- FIG. 5 is a block diagram showing a schematic configuration of an echo suppression device 1A according to a modification of the first embodiment.
- the echo suppression device 1A mainly includes a reference signal adjustment section 10A, a linear echo suppression section 20A, and a nonlinear echo suppression section 30.
- the reference signal adjustment section 10A includes a plurality of reference signal adjustment sections 10-1...10-n (n is a natural number).
- the reference signal adjustment units 10-1...10-n are functional units that acquire reference signals and generate delayed reference signals based on the reference signals. Different delay times are stored in advance in the reference signal adjustment units 10-1...10-n. Each of the reference signal adjustment units 10-1...10-n generates and outputs a delayed reference signal based on the stored delay time.
- the linear echo suppression unit 20A is a functional unit that generates an adaptive filter using a reference signal and suppresses linear echo in the input signal, and mainly includes a filter generation unit 21A, a filter modification unit 22A, and an echo removal unit 23. , is provided.
- the filter generation unit 21A includes a plurality of filter generation units 21-1...21-n (n is a natural number).
- the number of reference signal adjustment sections 10-1...10-n and the number of filter generation sections 21-1...21-n are the same.
- the filter generation units 21-1...21-n are functional units that generate adaptive filters based on the delayed reference signals output from the reference signal adjustment units 10-1...10-n, respectively.
- the process by which the filter generation units 21-1...21-n generate adaptive filters is the same as that of the filter generation unit 21, so a description thereof will be omitted.
- the filter modification unit 22A modifies any filter generation unit 21 of the filter generation units 21-1...21-n (for example, filter generation This is a functional unit that modifies the adaptive filter generated in the unit 21-1).
- the arbitrary filter generation unit 21 is adapted based on a delayed reference signal given a predetermined delay time (for example, the delay time expected from the time when sound is output from the speaker 52 and picked up by the microphone 51 in the audio communication system 100). Generate a filter.
- the filter modification unit 22A compares the convergence values of the plurality of adaptive filters generated by the filter generation units 21-1...21-n, and modifies the adaptive filter for elements (indexes) that do not change depending on the delay time. , reduce the magnitude of the filter coefficients.
- the process by which the filter modification unit 22A modifies the adaptive filter is the same as that by the filter modification unit 22, so the description thereof will be omitted.
- the echo removal unit 23 is a functional unit that removes echo from the input signal picked up by the microphone 51 using an adaptive filter modified by the filter modification unit 22A.
- the size of each filter coefficient generated by the filter generation units 21-1...21-n is compared, so the amount of memory used can be reduced.
- a functional unit stores each adaptive filter (size of filter coefficient) generated by the filter generation unit 21. is required in the filter modification unit 22, but in the echo suppression device 1A, the filter generation units 21-1...21-n each generate different adaptive filters, so when comparing multiple adaptive filters, multiple adaptive filters are required. There is no need for a functional unit to store the information, and the amount of memory used can be reduced.
- the echo suppression device 1 performs the learning process (step S1) only once (for example, in advance or at the time of starting the echo suppression device 1). Learning processing may be performed continuously.
- the echo suppression device 2 is of a type that continuously performs learning processing (step S1), that is, correction of the adaptive filter.
- the echo suppression device 2 will be described below, focusing on the parts that are different from the first embodiment. In the following description, the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted.
- FIG. 6 is a block diagram showing a schematic configuration of the echo suppression device 2.
- the echo suppression device 2 mainly includes a reference signal adjustment section 10B, a linear echo suppression section 20B, and a nonlinear echo suppression section 30.
- the reference signal adjustment unit 10B is a functional unit that continuously acquires reference signals and continuously generates delayed reference signals based on the reference signals.
- the reference signal adjustment unit 10B continuously generates delayed reference signals while acquiring the reference signal.
- the processing performed by the reference signal adjustment section 10B is similar to that of the reference signal adjustment section 10, except that the processing is performed continuously.
- the linear echo suppression unit 20B is a functional unit that generates an adaptive filter using a reference signal and performs processing to suppress linear echo in the input signal.
- the linear echo suppression unit 20B mainly includes a filter generation unit 21B, a filter modification unit 22B, and an echo removal unit 23A.
- the filter generation unit 21B is a functional unit that continuously obtains the convergence value of the adaptive filter based on the delayed reference signals continuously generated by the reference signal adjustment unit 10B.
- the processing performed by the filter generation section 21B is similar to that of the filter generation section 21, except that the processing is performed continuously.
- the filter modification unit 22B is a functional unit that continuously modifies the adaptive filters successively generated by the filter generation unit 21B.
- the processing performed by the filter modification section 22B is similar to that of the filter modification section 22, except that the processing is performed continuously.
- the echo removal unit 23A is a functional unit that removes echo from the input signal picked up by the microphone 51.
- the adaptive filters modified by the filter modification unit 22B are continuously input to the echo removal unit 23A, and echoes are removed using the continuously input adaptive filters.
- the processing performed by the echo removal unit 23A is different from the processing performed by the echo removal unit 23 in the adaptive filter used, but the rest is the same.
- the signal output from the echo canceller 23A is input to the nonlinear echo suppressor 30.
- FIG. 7 is a flowchart showing the flow of processing performed by the echo suppression device 2. While the echo suppression device 2 is operating and acquiring the reference signal, for example during a call, the learning process (step S1), the echo removal process (step S7), and the signal output process (step S8) are performed continuously. be exposed.
- the learning process that is, the process of modifying the adaptive filter
- the continuously modified adaptive filter is used. Since echo cancellation is performed by using the device, echoes can be appropriately removed even if the echo path changes during use.
- the echo suppression device 3 is of a type that stops modification of the adaptive filter in the case of double talk.
- the echo suppression device 3 will be described below, focusing on the parts that are different from the first and second embodiments.
- the same components as in the first and second embodiments are denoted by the same reference numerals, and the description thereof will be omitted.
- FIG. 8 is a block diagram showing a schematic configuration of the echo suppression device 3.
- the echo suppression device 2 mainly includes a reference signal adjustment section 10C, a linear echo suppression section 20C, a nonlinear echo suppression section 30, and a double talk detection section 40.
- the double talk detection unit 40 is a functional unit that detects whether the audio signal input to the echo suppression device 3 is in a single talk state or a double talk state.
- single talk is a state in which either user A or user B is emitting voice, and the signal is transmitted to either the transmitting side signal path or the receiving side signal path (near end utterances or far-end utterances).
- Double talk is a situation in which both user A and user B are emitting audio, and signals are simultaneously transmitted to the transmitting side signal path and the receiving side signal path (near-end speech and far-end speech). That's true.
- the double talk detection unit 40 sequentially compares the value of the power spectrum of the reference signal and the value of the power spectrum of the input signal for each frequency band, and detects whether or not there is a double talk state based on the comparison result. .
- the double talk detection unit 40 detects the value of the power spectrum of the signal transmitted through the transmitting side signal path during one-sided speech (single talk) on the far end side in which only the sound output from the speaker 52 is input to the microphone 51. It holds a frequency mask from which the maximum value of If the number of frequency bands exceeding the mask value is a certain value or more, it is detected that sound is being input from the microphone 51 and that a signal is being transmitted through the transmitting side signal path (near-end speech is present). .
- the double talk detection unit 40 compares the value of the power spectrum of the reference signal and the value of the frequency mask for each frequency band, and the number of frequency bands in which the value of the reference signal exceeds the value of the frequency mask is a constant value. In the above case, it is detected that a signal is being transmitted through the receiving side signal path (far-end speech is present).
- the double talk detection unit 40 may detect whether the state is a single talk state or a double talk state using various other known methods.
- the detection result by the double talk detection section 40 is input to the reference signal adjustment section 10C.
- the reference signal adjustment unit 10C is a functional unit that continuously acquires reference signals and continuously generates delayed reference signals based on the reference signals when there is no double talk state.
- the process by which the reference signal adjustment unit 10C continuously generates delayed reference signals is the same as that of the reference signal adjustment unit 10B, and therefore the description thereof will be omitted.
- the delayed reference signal generated by the reference signal adjustment section 10C is input to the linear echo suppression section 20C.
- the linear echo suppression unit 20C is a functional unit that generates an adaptive filter using a reference signal and performs processing to suppress linear echo in the input signal.
- the linear echo suppression unit 20B mainly includes a filter generation unit 21C, a filter modification unit 22C, and an echo removal unit 23B.
- the filter generation unit 21C is a functional unit that obtains convergence values of a plurality of adaptive filters based on the delayed reference signal when the reference signal adjustment unit 10C generates the delayed reference signal.
- the process by which the filter generation unit 21C continuously obtains the convergence value of the adaptive filter is the same as that of the filter generation unit 21B, and therefore the description thereof will be omitted.
- the filter modification unit 22C is a functional unit that modifies the adaptive filter generated by the filter generation unit 21B when a plurality of adaptive filters are generated by the filter generation unit 21C.
- the process by which the filter modification unit 22C modifies the adaptive filter is the same as that by the filter modification unit 22B, so the description thereof will be omitted.
- the echo removal unit 23B is a functional unit that removes echo from the input signal picked up by the microphone 51.
- the echo removing unit 23B has a functional unit that stores the adaptive filter modified by the filter modifying unit 22B, and the echo removing unit 23B adapts the adaptive filter stored in the functional unit from the filter modifying unit 22B.
- the filter may be updated every time the filter is input, and the echo may be removed from the input signal using the adaptive filter stored in the functional unit. Since the processing of the echo removal unit 23B is already known, a description thereof will be omitted.
- the signal output from the echo canceller 23B is input to the nonlinear echo suppressor 30.
- FIG. 9 is a flowchart showing the flow of processing performed by the echo suppression device 3. While the echo suppression device 3 is operating and acquiring the reference signal, for example during a call, the double talk detection unit 40 detects whether it is in a single talk state or a double talk state (step S10).
- step S11 a learning process
- step S12 an echo removal process
- step S10 If the double talk detection unit 40 detects a double talk state (Yes in step S10), the learning process (step S11) is not performed, and the process proceeds to the echo removal process (step S12).
- the echo removal process step S12
- echoes are removed using the adaptive filter modified in step S6 that was performed immediately before.
- the process of removing echoes in the echo removal process step S12 is the same as that of step S7, so the description thereof will be omitted.
- step S13 signal output processing
- the double talk detection unit detects double talk, that is, when there are many disturbances and it seems that appropriate correction processing cannot be performed, it is possible to interrupt the correction processing of the adaptive filter. Furthermore, by interrupting the adaptive filter correction process in situations where there are many disturbances, the calculation load can be reduced.
- the detection result by the double talk detection section 40 is input to the reference signal adjustment section 10C, but the detection result by the double talk detection section 40 may also be input to the filter generation section 21C or the filter correction section 22C. good.
- the detection result by the double talk detection section 40 is input to the filter modification section 22C, the convergence values of the plurality of delayed reference signals and the adaptive filter are obtained even in the case of double talk, and the modification of the adaptive filter is stopped.
- Echo suppression devices 10A, 10B, 10C, 10-1, 10-n Reference signal adjustment units 20, 20A, 20B, 20C: Linear echo suppression units 21, 21A, 21B, 21C , 21-1, 21-n: Filter generation sections 22, 22A, 22B, 22C: Filter modification sections 23, 23A, 23B: Echo removal section 30: Nonlinear echo suppression section 40: Double talk detection section 50: Terminal 51: Microphone 52: Speaker 53: Communication device 54: Communication device 55: Speaker amplifier 100: Audio communication system 531: Signal input terminal 532: Signal output terminal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
誤った学習を行っていない適切な適応フィルタを用いてエコー除去を行うことができる。 スピーカとマイクロホンとを有する端末のうちのマイクロホンにより収音された入力信号からエコーを除去するエコー抑圧装置である。スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する参照信号調整部と、複数の遅延参照信号のそれぞれに基づいて複数の適応フィルタの収束値を得るフィルタ生成部と、複数の収束値を比較し、遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を収束値よりも小さくするフィルタ修正部と、入力信号にフィルタ修正部により修正された適応フィルタを適用することにより線形エコーを除去するエコー除去部と、を備える。
Description
本発明は、エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラムに関する。
特許文献1には、受信信号に第1フィルタ係数又は第2フィルタ係数を畳み込むことで第1および第2エコーレプリカ信号を生成し、第1エコーレプリカ信号の通話周波数帯域の信号をエコーキャンセラ信号として出力するエコーキャンセラ装置が開示されている。この装置では、入力音信号中の任意の計測周波数の信号から第2エコーレプリカ信号を差し引いた信号が最小化するよう第2フィルタ係数を補正するとともに、当該第2フィルタ係数と予め組にされている第1フィルタ係数を求めることでフィルタ係数を設定する。
しかしながら、特許文献1に記載の発明では、適応フィルタの係数の学習において誤った解に陥った場合には十分なエコー抑圧量が確保できない場合がある。
本発明はこのような事情を鑑みてなされたもので、誤った学習を行っていない適切な適応フィルタを用いてエコー除去を行うことができるエコー抑圧装置、エコー抑圧方法およびエコー抑圧プログラムを提供することを目的とする。
上記課題を解決するために、本発明に係るエコー抑圧装置は、例えば、スピーカとマイクロホンとを有する端末のうちの前記マイクロホンにより収音された入力信号からエコーを除去するエコー抑圧装置であって、前記スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する参照信号調整部と、複数の前記遅延参照信号のそれぞれに基づいて複数の適応フィルタの収束値を得るフィルタ生成部と、複数の前記収束値を比較し、前記遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を前記収束値よりも小さくするように前記適応フィルタを修正するフィルタ修正部と、前記入力信号に前記フィルタ修正部により修正された適応フィルタを適用することにより線形エコーを除去するエコー除去部と、を備えたことを特徴とする。
本発明の別の態様に係るエコー抑圧方法は、例えば、スピーカとマイクロホンとを有する端末のうちの前記スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する参照信号調整ステップと、複数の前記遅延参照信号のそれぞれに基づいて複数の適応フィルタの収束値を得るフィルタ生成ステップと、複数の前記収束値を比較し、前記遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を前記収束値よりも小さくするように前記適応フィルタを修正するフィルタ修正ステップと、前記マイクロホンにより収音された入力信号に前記フィルタ修正ステップにより修正された適応フィルタを適用することにより線形エコーを除去するエコー除去ステップと、を含むことを特徴とする。
本発明の別の態様に係るエコー抑圧プログラムは、例えば、コンピュータを、スピーカとマイクロホンとを有する端末の前記スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する参照信号調整部、複数の前記遅延参照信号のそれぞれに基づいて複数の適応フィルタの収束値を得るフィルタ生成部、複数の前記収束値を比較し、前記遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を前記収束値よりも小さくするように前記適応フィルタを修正するフィルタ修正部、前記マイクロホンにより収音された入力信号に前記フィルタ修正部により修正された適応フィルタを適用することにより線形エコーを除去するエコー除去部、として機能させることを特徴とする。
本発明の複数の態様によれば、スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて生成した複数の遅延参照信号に基づいて複数の適応フィルタの収束値を得、複数の収束値を比較した結果、遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を収束値よりも小さくし、当該修正された適応フィルタを用いて入力信号から線形エコーを除去するため、誤った学習を行っていない適切な適応フィルタを用いてエコー除去を行うことができる。
前記フィルタ修正部は、前記第1フィルタ係数を0にしてもよい。これにより、計算負荷を少なくし、演算装置の処理負荷を軽減することができる。また、演算装置の処理負荷が軽減できるため、エコー抑圧装置を安価に構成することができる。
前記フィルタ修正部は、前記第1フィルタ係数を、前記収束値から徐々に小さくしてもよい。これにより、適応フィルタの形状を急激に変化させることによるノイズ又は過剰な除去を防止できる。
前記フィルタ修正部は、前記遅延時間の変化に応じて変化しない要素のうち、前記収束値が閾値以上である場合のフィルタ係数を前記第1フィルタ係数としてもよい。これにより、線形エコーの除去に影響が大きい要素のフィルタ係数を軽減することができる。
前記フィルタ修正部は、前記収束値に基づいて前記閾値を求めてもよい。これにより、参照信号の状況に応じた適切な閾値を自動的に決定することができる。
前記参照信号調整部は、前記参照信号を取得している間、連続して複数の前記遅延参照信号を生成し、前記フィルタ生成部は、連続して複数の前記線形フィルタを生成し、前記フィルタ修正部は、連続して前記適応フィルタを修正してもよい。これにより、使用中にエコーパスが変化した場合にもエコーを適切に除去できる。
シングルトーク状態かダブルトーク状態かを検知するダブルトーク検知部を備え、前記フィルタ修正部は、前記ダブルトーク状態であることが検知されなかった場合には、前記第1フィルタ係数を前記収束値よりも小さくしてもよい。これにより、ダブルトークが発生している状況では外乱が多いため、当該処理の効果が小さい可能性があるところ、この構成によれば、効果の小さい処理を停止することで、計算負荷を軽減できる。
前記参照信号調整部は、前記エコー除去部が線形エコーを除去するよりも前に一度だけ前記遅延参照信号を生成してもよい。これにより、少ない計算負荷で実現することができ、ひいてはエコー抑圧装置1を安価に構成することもできる。
本発明によれば、演算装置の処理負荷を軽減しつつ、エコーの除去を効果的に行うことができる。
以下、本発明に係るエコー抑圧装置の実施形態を、図面を参照して詳細に説明する。エコー抑圧装置は、音声通信システムにおいて、通話の際に発生するエコーを抑圧する装置であり、スピーカおよびマイクが組み込まれた製品、例えば電話会議やテレビ会議用のヘッドセット、車載用の通話装置、およびインターホン等に用いられる。
<第1の実施の形態>
図1は、第1の実施の形態に係るエコー抑圧装置1が設けられた音声通信システム100を模式的に示す図である。音声通信システム100は、主として、マイクロホン51及びスピーカ52を有する端末50(例えば、車載装置、会議システム、携帯端末)と、2台の通信装置53、54と、スピーカアンプ55と、エコー抑圧装置1と、を有する。
図1は、第1の実施の形態に係るエコー抑圧装置1が設けられた音声通信システム100を模式的に示す図である。音声通信システム100は、主として、マイクロホン51及びスピーカ52を有する端末50(例えば、車載装置、会議システム、携帯端末)と、2台の通信装置53、54と、スピーカアンプ55と、エコー抑圧装置1と、を有する。
音声通信システム100は、端末50(近端端末)を利用する利用者(近端側にいる利用者A)が、通信装置54(遠端端末)を利用する利用者(遠端側にいる利用者B)と音声通信を行なうシステムである。通信装置54を介して入力された音声信号をスピーカ52によって拡声出力し、かつ、近端側にいる利用者の発する音声をマイクロホン51により集音して通信装置54へ伝送することで、利用者Aは、通信装置53を把持することなく拡声通話(ハンズフリー通話)が可能となる。通信装置53と通信装置54とは、一般的な電話回線により接続されており、相互に通話が可能である。
エコー抑圧装置1は、マイクロホン51から入力された入力信号を、端末50から通信装置53へ伝送する送話側信号経路に設けられ、入力信号からエコーを除去する。
エコー抑圧装置1は、例えば、音声通信システム100内の端末50等に搭載される専用ボードとして構築されてもよい。また、エコー抑圧装置1は、例えば、コンピュータのハードウエア及びソフトウエア(エコー抑圧プログラム)によって構成されてもよい。エコー抑圧プログラムは、コンピュータ等の機器に内蔵されている記憶媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておき、そこからコンピュータにインストールされてもよい。また、エコー抑圧プログラムは、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的あるいは永続的に格納(記憶)しておいてもよい。
図2は、エコー抑圧装置1の概略構成を示すブロック図である。エコー抑圧装置1は、マイクロホン51と通信装置53の送話側の信号入力端531との間に接続されている。図2において、上側の信号経路は、マイクロホン51から入力された入力信号を伝送する送話側信号経路であり、下側の信号経路は、スピーカ52へ信号を伝送する受話側信号経路である。
マイクロホン51で収音される入力信号および通信装置53によって受信された音声信号は、エコー抑圧装置1に入力される。エコー抑圧装置1は、通信装置53に受信され、受話側信号経路を伝達される音声信号である参照信号に基づいて入力信号のエコーを除去し、送話側の信号入力端531へ出力する。
エコー抑圧装置1は、主として、参照信号調整部10と、線形エコー抑圧部20と、非線形エコー抑圧部30と、を有する。なお、エコー抑圧装置1は、ノイズキャンセリングに関する一般的な構成をさらに有していてよい。
参照信号調整部10は、受話側の信号出力端532から入力された参照信号を取得し、当該参照信号に基づいて遅延参照信号を生成する機能部である。参照信号調整部10は、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する。
線形エコー抑圧部20は、参照信号を用いて適応フィルタを生成し、入力信号における線形エコーを抑圧する機能部である。線形エコー抑圧部20が用いる適応フィルタは、フィルタ特性が線形である。線形エコー抑圧部20は、主として、フィルタ生成部21と、フィルタ修正部22と、エコー除去部23と、を備える。
フィルタ生成部21は、参照信号調整部10により生成された遅延参照信号に基づいて適応フィルタの収束値を得る機能部である。フィルタ生成部21は、線形処理を用いた学習アルゴリズムを実行可能に構成されている。線形処理による学習アルゴリズムは、例えばNLMSやLMSであるがこれに限られず、公知のあらゆるアルゴリズムが適用可能である。
また、フィルタ生成部21は、例えば、数式(1)で示すように、適応フィルタを非巡回(FIR、Finite Impulse Response)フィルタで構成する。数式(1)において、x(k)は入力信号であり、y(k)は出力信号であり、h(l)は乗算器のフィルタ係数である。また、lは係数のインデックスであり、Nはフィルタ長である。
フィルタ生成部21は、複数の遅延参照信号を取得し、各遅延参照信号に基づいて複数の適応フィルタの収束値を得る。適応フィルタの収束値は、非巡回フィルタの各インデックスのフィルタ係数の収束値を含む。フィルタ生成部21は、適宜の記憶部に適応フィルタの収束値を格納する。
なお、フィルタ生成部21は、例えば、収束値のばらつきが一定範囲内になった場合、収束値が一定範囲内に収まった場合、処理の開始から一定時間経過した場合に、適応フィルタが収束したと判断することができる。
フィルタ修正部22は、フィルタ生成部21で生成された適応フィルタを修正する機能部である。フィルタ修正部22は、所定の遅延時間が与えられた遅延参照信号により収束した適応フィルタを、他の遅延時間が与えられた遅延参照信号により収束した適応フィルタに基づいて補正する。所定の遅延時間は、例えば音声通信システム100においてスピーカ52から出てマイクロホン51に収音される時間により見込まれる遅延時間である。フィルタ修正部22については、後に詳述する。
エコー除去部23は、マイクロホン51で収音された入力信号から線形エコーを除去する機能部である。エコー除去部23は、フィルタ修正部22により修正が加えられた適応フィルタを用いて線形エコーを除去する。エコー除去部23の処理は既に公知であるため、説明を省略する。エコー除去部23から出力された信号は、非線形エコー抑圧部30に入力される。
非線形エコー抑圧部30は、非線形処理を用いた学習アルゴリズムを実行する機能部である。非線形処理を用いた学習アルゴリズムは、公知の任意のアルゴリズムを適用できる。非線形エコー抑圧部30から出力された信号は、送話側の信号入力端531へ出力され、通信装置53を介して利用者Bが有する通信装置54に伝達される。なお、非線形エコー抑圧部30は必須ではない。
図3は、エコー抑圧装置1が行う処理の流れを示すフローチャートである。まず、エコー抑圧装置1は、学習処理(ステップS1)を行う。学習処理は、事前に行われてもよいし、エコー抑圧装置1又はエコー抑圧装置1のうちの所定の機能を起動させた時点で行われてもよい。つまり、エコー抑圧装置1は、入力信号に適応フィルタを適用することにより線形エコーを除去する線形エコー除去処理(ステップS7)よりも前に一度だけ学習処理(ステップS1)を行えばよい。
学習処理(ステップS1)は、ステップS2~S6を含む。学習処理(ステップS1)においては、まず、参照信号調整部10が、受話側の信号出力端532から参照信号を取得し(ステップS2)、参照信号を時間t1、t2…tnだけ遅延させ、複数の遅延参照信号を生成する(ステップS3)。次いで、フィルタ生成部21が、各遅延参照信号に基づいて学習させた適応フィルタの収束値を得る(ステップS4)。
なお、ステップS3を構成するステップS3-1~S3-nは、同時に行われてもよいし、順次行われてもよい。ステップS4はステップS4-1~S4-nにより構成され、それぞれステップS3-1~S3-nに次いで行われる。
次いで、フィルタ修正部22は、ステップS4により生成された複数の適応フィルタの収束値を比較し(ステップS5)、当該比較した結果に基づいて適応フィルタを修正する(ステップS6)。
図4は、フィルタ修正部22がフィルタ生成部21で生成された複数の適応フィルタの収束値を互いに比較する処理の様子を示すグラフである。図4の横軸はフィルタ係数のインデックスであり、縦軸は収束値の大きさである。図4では、遅延時間tn(nは自然数)として、160、170、180、190、200(単位はサンプル)のときの値を示している。なお、図4に示すグラフ作成時のサンプリング周波数は16kHzであり、例えば160サンプルの場合のサンプリング間隔は10m秒である。ただし、サンプリング周波数はこれに限られない。
遅延時間が160m秒の遅延参照信号に基づいて生成される適応フィルタのグラフL160では、インデックスが9で+のピークが現れており、40で-のピーク(ピークP160)が現れている。ピークP160は、遅延時間tnの変化に応じて変化する要素であり、遅延時間tnの変化に応じて横方向に移動している。例えば、ピークP160は、遅延時間が170m秒の遅延参照信号に基づいて生成される適応フィルタのグラフL170においてはピークP170(インデックスが30)に移動しており、遅延時間が180m秒の遅延参照信号に基づいて生成される適応フィルタのグラフL180においてはピークP180(インデックスが20)に移動している。つまり、図4に示す例では、参照信号に与える遅延時間が大きいほど、ピークが現れるフィルタ係数のインデックスが小さくなる。このように、遅延時間に応じて変化するピークは、適切な音響パスが学習されたことを示す。
なお、ピークの移動有無の判定は、例えばパターンマッチングにより移動有無を判定する等、公知の適宜の技術を適用することができる。
一方、グラフL160において、9のインデックスに生じているピークは、遅延時間tnを変化させても横方向に移動せず、遅延時間tnに応じた変化が発生していない。誤った局所最適解に陥った場合には、与えられた遅延時間によらず同一のフィルタ係数においてピークが生じる蓋然性が高い。また、参照信号に、受話側の信号出力端532からの音声信号以外の信号が混入した場合にも、遅延の影響を受けないで伝達される結果、与えられた遅延時間によらず同一のフィルタ係数においてピークが生じる場合がある。信号の混入は、例えば、CPUの基板上で信号、発生したノイズ等が回り込んでいる場合、参照信号の自己相関が高い場合、スピーカアンプ55の直後に大きく変化する信号が配線を介して回り込む場合に起こり得る。また、信号の混入は、エコー抑圧装置1自体の揺れによっても起こる場合がある。
そこで、フィルタ修正部22は、遅延時間に応じて変化しない要素(インデックスI1)については、適応フィルタを修正し、フィルタ係数の大きさを収束値よりも小さくする(学習更新幅を小さくする)。本実施の形態では、フィルタ修正部22は、インデックスI1のフィルタ係数を0にする(学習をやめる)。これにより、エコー除去に用いる適応フィルタから不適切な学習の影響を除去し、適切な適応フィルタに改善することができる。なお、フィルタ係数を0にする(学習をやめる)形態は、フィルタ係数の大きさを小さくする(学習更新幅を小さくする)形態に含まれる。
なお、フィルタ修正部22は、閾値に基づいて要素(インデックス)を抽出するか否かを判定する。図4に示す例では、フィルタ修正部22は、遅延時間tnに応じて変化しない要素として、収束値が閾値以上の9のインデックスを抽出し、その他のインデックスは抽出しない。
例えば、フィルタ修正部22は、任意の値を閾値としてもよい。例えば、ユーザにより、採用するマイクロホン51およびスピーカ52の設計値又は実験値に基づいて閾値をあらかじめ設定してもよい。この構成によれば、閾値を算出する処理が不要になるため、処理が簡素にできる。
また、例えば、フィルタ修正部22は、収束値の大きさに基づいて閾値を求めてもよい。例えば、フィルタ修正部22は、任意の遅延時間のときの各インデックスの収束値の大きさを求め、求められた大きさの最大値より所定値又は所定割合減じた値を閾値とすることができる。また、例えば、フィルタ修正部22は、パターンマッチング等により遅延時間に応じて変化する要素を1又は複数求め、当該遅延時間に応じて変化するインデックスの収束値の最大値を求め、求められた最大値より所定値又は所定割合減じた値を閾値とすることができる。この構成によれば、参照信号の状況に応じた適切な閾値を自動的に決定することができる。
フィルタ修正部22は、遅延時間に応じて変化しないインデックスのフィルタ係数の大きさが、このようにして求められた又は設定された閾値以上の場合には、フィルタ係数の大きさを低減する。これにより、線形エコーの除去に影響が大きいインデックスのフィルタ係数を軽減することができる。
なお、フィルタ修正部22は、フィルタ係数のグラフにおいて、遅延時間に応じて変化しないピークが発生したインデックスI1の左右のインデックスに、インデックスI1とは上下逆向きのピークが出ることを考慮し、インデックスI1及びその前後所定範囲におけるインデックスのフィルタ係数を低減してもよい。
図3の説明に戻る。学習処理(ステップS1)に次いで、エコー除去部23は、マイクロホン51から入力信号を収音し、入力信号にステップS6で修正された適応フィルタを適用することにより線形エコーを除去する(ステップS7)。線形エコーが除去された信号は、非線形エコー抑圧部30で非線形エコーが抑圧されて通信装置54へ出力される(ステップS8)。
ステップS7及びステップS8は、エコー抑圧装置1が作動している間、連続して行われる。すなわち、エコー抑圧装置1は、フィルタ修正部22により最初に一度行われたステップS6において修正された適応フィルタを常時用いて線形エコーを除去する。
本実施の形態によれば、異なる複数の遅延時間を与えられた複数の参照信号を用いて学習した複数の適応フィルタを互いに比較し、遅延時間に応じて変化しない要素(インデックス)のフィルタ係数の大きさを0にする(学習をやめる)ことで、誤った学習を行っていない適切な適応フィルタを用いてエコー除去を行うことができる。また、遅延時間に応じて変化しないインデックスの学習をやめることで、計算負荷を少なくし、演算装置の処理負荷を軽減することができる。また、演算装置の処理負荷が軽減できるため、エコー抑圧装置1を安価に構成することができる。
例えば、演算装置の処理負荷を軽減するために、適応フィルタの係数の初期値を適切な値としておく方法も考えられる。適応フィルタの係数の初期値を適切な値とする方法として、例えば、各フィルタ係数が0の状態を初期値として学習を開始する方法(方法1)や、物理的な事前情報、すなわち音声通信システムを構成する装置の構成に応じてインデックス及び当該インデックスにおけるフィルタ係数の大きさ(ピーク値)を推定し、その他のインデックスの係数は0とする方法(方法2)が考えられる。方法2において、フィルタ係数のインデックスは、スピーカアンプ55、スピーカ52とマイクロホン51との間の物理的構成、およびマイクロホン51からエコー抑圧装置1までに必要な適宜の機器の各々において推定される寄与を合計し、参照信号調整部10による寄与を減算することで求めることができる。また、ピーク値は、スピーカアンプ55、スピーカ52、スピーカ52とマイクロホン51との間の物理的構成、およびマイクロホン51からエコー抑圧装置1までに必要な適宜の機器の各寄与を乗じることで求めることができる。
しかしながら、方法1では、誤った局所最適解に陥るおそれは排除できない。また、方法2では、装置の物理特性をデジタル値で正確に算出するのが難しく、方法1と同様に生じた誤差により局所最適解に陥るおそれが排除できない。それに対し、エコー抑圧装置1は、誤った学習を行っていない適切な適応フィルタを用いてエコー除去を行うためエコー除去の精度が高いうえ、適切な適応フィルタを軽い処理負荷で求めることができる。
また、本実施の形態によれば、学習処理(ステップS1~S6)を、事前に行う又はエコー抑圧装置1の所定の機能を起動させた時点で一度だけ行うことで、演算装置の処理負荷を軽減しつつ、誤った学習を行っていない適応フィルタを用いてエコー除去を行うことができる。
なお、本実施の形態では、フィルタ修正部22は、遅延時間に応じて変化しない要素(図4のインデックスI1)のフィルタ係数を0にしたが、フィルタ係数を0にすることは必須ではなく、フィルタ係数の大きさを低減(学習更新幅を小さく)すればよい。例えば、フィルタ修正部22は、インデックスI1のフィルタ係数の大きさを小さくし、0以外の値(例えば、0.5)を保持してもよい。インデックスI1のフィルタ係数の大きさを小さくする場合には、インデックスI1においてもわずかずつ学習が行われるので、マイクロホン51とスピーカ52が存在する空間の環境が変わる等の理由によりエコーパスが変化した場合にも適切な学習を行うことができる。
また、本実施の形態では、学習処理(ステップS5)でインデックスI1のフィルタ係数を0にした適応フィルタを用いて線形エコー除去処理(ステップS7)を行ったが、適応フィルタのインデックスI1のフィルタ係数を徐々に小さくしながら線形エコー除去処理(ステップS7)を行ってもよい。例えば、図4に示す例では、インデックスI1のフィルタ係数の大きさが略2と算出されているため、フィルタ修正部22は、インデックスI1のフィルタ係数を最初(t=0)は2とし、任意の時間経過後(t=t1)にフィルタ係数が最終値(例えば、0)となるように、任意の時間経過中(t=0~t1)に適応フィルタを連続して修正してもよい。この場合、最終値は、0であってもよいし、0以外の小さな値(例えば0.5)であってもよい。これにより、適応フィルタを急激に変化させることによるノイズ又は過剰な除去を防止できる。
また、本実施の形態では、フィルタ修正部22は、遅延時間に応じて変化しないインデックスのうち、収束値が閾値以上の大きさを有するインデックス(図4ではインデックスI1)を抽出し、抽出したインデックスのフィルタ係数を軽減したが、閾値にかかわらず遅延時間に応じて変化しないインデックスのフィルタ係数を軽減してもよい。この場合には、フィルタ係数を0にせず、0.5等の適宜の値とすることが望ましい。これにより、一旦不要な低減を行ったとしても、適切な適応フィルタに収束させることが可能である。
<第1の実施の形態の変形例>
変形例にかかるエコー抑圧装置1Aは、遅延参照信号を生成する複数の参照信号調整部を有し、各遅延参照信号から1個のフィルタを生成する複数のフィルタ生成部を有する点において、第1の実施形態にかかるエコー抑圧装置1とは異なる。なお、以降の説明において、第1の実施形態と同様の構成については同一の符号を付し、説明を省略する。
変形例にかかるエコー抑圧装置1Aは、遅延参照信号を生成する複数の参照信号調整部を有し、各遅延参照信号から1個のフィルタを生成する複数のフィルタ生成部を有する点において、第1の実施形態にかかるエコー抑圧装置1とは異なる。なお、以降の説明において、第1の実施形態と同様の構成については同一の符号を付し、説明を省略する。
図5は、第1の実施の形態の変形例に係るエコー抑圧装置1Aの概略構成を示すブロック図である。エコー抑圧装置1Aは、主として、参照信号調整部10Aと、線形エコー抑圧部20Aと、非線形エコー抑圧部30と、を有する。
参照信号調整部10Aは、複数の参照信号調整部10-1…10-n(nは自然数)を有する。参照信号調整部10-1…10-nは、参照信号を取得し、当該参照信号に基づいて遅延参照信号を生成する機能部である。参照信号調整部10-1…10-nには、互いに異なる遅延時間があらかじめ格納されている。参照信号調整部10-1…10-nは、それぞれ、格納された遅延時間に基づいて遅延参照信号を生成して出力する。
線形エコー抑圧部20Aは、参照信号を用いて適応フィルタを生成し、入力信号における線形エコーを抑圧する機能部であり、主として、フィルタ生成部21Aと、フィルタ修正部22Aと、エコー除去部23と、を備える。
フィルタ生成部21Aは、複数のフィルタ生成部21-1…21-n(nは自然数)を有する。参照信号調整部10-1…10-nとフィルタ生成部21-1…21-nの数は同数である。
フィルタ生成部21-1…21-nは、それぞれ、参照信号調整部10-1…10-nから出力された遅延参照信号に基づいて適応フィルタを生成する機能部である。フィルタ生成部21-1…21-nが適応フィルタを生成する処理はフィルタ生成部21と同様であるため、説明を省略する。
フィルタ修正部22Aは、フィルタ生成部21-1…21-nで生成された適応フィルタに基づいて、フィルタ生成部21-1…21-nのうちの任意のフィルタ生成部21(例えば、フィルタ生成部21-1)で生成された適応フィルタを修正する機能部である。
任意のフィルタ生成部21は、所定の遅延時間(例えば、音声通信システム100においてスピーカ52から出てマイクロホン51に収音される時間により見込まれる遅延時間)が与えられた遅延参照信号に基づいて適応フィルタを生成する。
任意のフィルタ生成部21は、所定の遅延時間(例えば、音声通信システム100においてスピーカ52から出てマイクロホン51に収音される時間により見込まれる遅延時間)が与えられた遅延参照信号に基づいて適応フィルタを生成する。
フィルタ修正部22Aは、フィルタ生成部21-1…21-nにより生成された複数の適応フィルタの収束値を比較し、遅延時間に応じて変化しない要素(インデックス)については、適応フィルタを修正し、フィルタ係数の大きさを低減する。フィルタ修正部22Aが適応フィルタを修正する処理はフィルタ修正部22と同様であるため、説明を省略する。
エコー除去部23は、フィルタ修正部22Aにより修正が加えられた適応フィルタを用いて、マイクロホン51で収音された入力信号からエコーを除去する機能部である。
本変形例のエコー抑圧装置1Aによれば、フィルタ生成部21-1…21-nにより生成された各フィルタ係数の大きさを比較するため、使用するメモリを減らすことができる。例えば、エコー抑圧装置1では、フィルタ生成部21が遅延時間が異なる適応フィルタを順番に生成するため、フィルタ生成部21が生成した適応フィルタ(フィルタ係数の大きさ)をそれぞれ記憶しておく機能部がフィルタ修正部22に必要となるが、エコー抑圧装置1Aではフィルタ生成部21-1…21-nがそれぞれ異なる適応フィルタを生成するため、複数の適応フィルタを比較するのにあたり、複数の適応フィルタを記憶しておく機能部が不要となり、使用するメモリを減らすことができる。
<第2の実施の形態>
本発明の第1の実施の形態に係るエコー抑圧装置1は、学習処理(ステップS1)を一度だけ(例えば、事前に、又は、エコー抑圧装置1の起動時に)行ったが、エコー抑圧装置が連続して学習処理を行ってもよい。
本発明の第1の実施の形態に係るエコー抑圧装置1は、学習処理(ステップS1)を一度だけ(例えば、事前に、又は、エコー抑圧装置1の起動時に)行ったが、エコー抑圧装置が連続して学習処理を行ってもよい。
本発明の第2の実施形態に係るエコー抑圧装置2は、学習処理(ステップS1)、すなわち適応フィルタの修正を連続して行う形態である。以下、エコー抑圧装置2について、第1の実施形態と異なる部分を中心に説明する。なお、以降の説明において、第1の実施形態と同様の構成については同一の符号を付し、説明を省略する。
図6は、エコー抑圧装置2の概略構成を示すブロック図である。エコー抑圧装置2は、主として、参照信号調整部10Bと、線形エコー抑圧部20Bと、非線形エコー抑圧部30と、を有する。
参照信号調整部10Bは、参照信号を連続して取得し、当該参照信号に基づいて遅延参照信号を連続して生成する機能部である。参照信号調整部10Bは、参照信号を取得している間、連続して遅延参照信号を生成する。参照信号調整部10Bが行う処理は、参照信号調整部10と同様であるが、処理を連続して行う点が異なる。
線形エコー抑圧部20Bは、参照信号を用いて適応フィルタを生成し、入力信号における線形エコーを抑圧する処理を行う機能部である。線形エコー抑圧部20Bは、主として、フィルタ生成部21Bと、フィルタ修正部22Bと、エコー除去部23Aと、を備える。
フィルタ生成部21Bは、参照信号調整部10Bにより連続して生成された遅延参照信号に基づいて連続して適応フィルタの収束値を得る機能部である。フィルタ生成部21Bが行う処理は、フィルタ生成部21と同様であるが、処理を連続して行う点が異なる。
フィルタ修正部22Bは、フィルタ生成部21Bで連続して生成された適応フィルタを連続して修正する機能部である。フィルタ修正部22Bが行う処理は、フィルタ修正部22と同様であるが、処理を連続して行う点が異なる。
エコー除去部23Aは、マイクロホン51で収音された入力信号からエコーを除去する機能部である。エコー除去部23Aには、フィルタ修正部22Bで修正された適応フィルタが連続して入力され、当該連続して入力された適応フィルタを用いてエコーを除去する。エコー除去部23Aが行う処理は、エコー除去部23が行う処理と用いる適応フィルタが異なるが、その他は同様である。エコー除去部23Aから出力された信号は、非線形エコー抑圧部30に入力される。
図7は、エコー抑圧装置2が行う処理の流れを示すフローチャートである。エコー抑圧装置2が稼働し参照信号を取得している間、例えば通話中に渡って、学習処理(ステップS1)、エコー除去処理(ステップS7)及び信号出力処理(ステップS8)が連続して行われる。
本実施の形態によれば、エコー抑圧装置2が稼働し参照信号を取得している間、学習処理、すなわち適応フィルタを修正する処理を連続的に行い、連続して修正された適応フィルタを用いてエコー除去を行うため、使用中にエコーパスが変化した場合にもエコーを適切に除去することができる。
<第3の実施の形態>
本発明の第2の実施の形態に係るエコー抑圧装置2は、連続して学習処理(適応フィルタの修正)を行ったが、特定の条件下では適応フィルタの修正を止めてもよい。
本発明の第2の実施の形態に係るエコー抑圧装置2は、連続して学習処理(適応フィルタの修正)を行ったが、特定の条件下では適応フィルタの修正を止めてもよい。
本発明の第3の実施形態に係るエコー抑圧装置3は、ダブルトークの場合には適応フィルタの修正を止める形態である。以下、エコー抑圧装置3について、第1、2の実施形態と異なる部分を中心に説明する。なお、以降の説明において、第1、2の実施形態と同様の構成については同一の符号を付し、説明を省略する。
図8は、エコー抑圧装置3の概略構成を示すブロック図である。エコー抑圧装置2は、主として、参照信号調整部10Cと、線形エコー抑圧部20Cと、非線形エコー抑圧部30と、ダブルトーク検知部40とを有する。
ダブルトーク検知部40は、エコー抑圧装置3に入力された音声信号が、シングルトーク状態かダブルトーク状態かを検知する機能部である。ここでシングルトークとは、利用者A及び利用者Bのいずれか一方が音声を発しており、送話側信号経路及び受話側信号経路のいずれか一方に信号が伝送されている状態(近端発話又は遠端発話)のことである。ダブルトークとは、利用者A及び利用者Bが両方とも音声を発しており、送話側信号経路及び受話側信号経路に同時に信号が伝送されている状態(近端発話及び遠端発話)のことである。
ダブルトーク検知部40は、逐次、参照信号のパワースペクトルの値と入力信号のパワースペクトルの値とを周波数帯域毎に比較し、比較した結果に基づいてダブルトーク状態であるか否かを検知する。例えば、ダブルトーク検知部40は、マイクロホン51にスピーカ52から出力された音のみが入力される遠端側の片側発話(シングルトーク)時に送話側信号経路を伝送される信号のパワースペクトルの値のうちの最大値を取得した周波数マスクを保持しており、マイクロホン51で収音された入力信号のパワースペクトルの値と周波数マスクの値とを周波数帯域毎に比較し、入力信号の値が周波数マスクの値を上回る周波数帯域の数が一定値以上の場合には、マイクロホン51から音が入力されており、送話側信号経路を信号が伝送されている(近端発話あり)ことを検知する。また、例えば、ダブルトーク検知部40は、参照信号のパワースペクトルの値と周波数マスクの値とを周波数帯域毎に比較し、参照信号の値が周波数マスクの値を上回る周波数帯域の数が一定値以上の場合には、受話側信号経路を信号が伝送されている(遠端発話あり)ことを検知する。
ただし、ダブルトーク検知部40は、他の公知の様々な方法を用いてシングルトーク状態かダブルトーク状態かを検知してもよい。
ダブルトーク検知部40による検知結果は、参照信号調整部10Cに入力される。参照信号調整部10Cは、ダブルトーク状態でない場合に、参照信号を連続して取得し、当該参照信号に基づいて遅延参照信号を連続して生成する機能部である。参照信号調整部10Cが遅延参照信号を連続して生成する処理は、参照信号調整部10Bと同様であるため、説明を省略する。参照信号調整部10Cが生成した遅延参照信号は、線形エコー抑圧部20Cに入力される。
線形エコー抑圧部20Cは、参照信号を用いて適応フィルタを生成し、入力信号における線形エコーを抑圧する処理を行う機能部である。線形エコー抑圧部20Bは、主として、フィルタ生成部21Cと、フィルタ修正部22Cと、エコー除去部23Bと、を備える。
フィルタ生成部21Cは、参照信号調整部10Cにより遅延参照信号が生成された場合に、遅延参照信号に基づいて複数の適応フィルタの収束値を得る機能部である。フィルタ生成部21Cが連続して適応フィルタの収束値を得る処理は、フィルタ生成部21Bと同様であるため、説明を省略する。
フィルタ修正部22Cは、フィルタ生成部21Cにより複数の適応フィルタが生成された場合に、フィルタ生成部21Bで生成された適応フィルタを修正する機能部である。フィルタ修正部22Cが適応フィルタを修正する処理は、フィルタ修正部22Bと同様であるため、説明を省略する。
エコー除去部23Bは、マイクロホン51で収音された入力信号からエコーを除去する機能部である。エコー除去部23Bには、フィルタ修正部22Bで修正された適応フィルタが入力された場合には当該入力された適応フィルタを用いてエコーを除去し、フィルタ修正部22Bで修正された適応フィルタが入力されなかった場合には、最後(直前)にフィルタ修正部22Bから入力された適応フィルタを用いてエコーを除去する。例えば、エコー除去部23Bがフィルタ修正部22Bで修正された適応フィルタを記憶しておく機能部を有し、エコー除去部23Bは、当該機能部に記憶された適応フィルタをフィルタ修正部22Bから適応フィルタが入力される度に更新し、当該機能部に記憶された適応フィルタを用いて入力信号からエコーを除去すればよい。エコー除去部23Bの処理は既に公知であるため、説明を省略する。エコー除去部23Bから出力された信号は、非線形エコー抑圧部30に入力される。
図9は、エコー抑圧装置3が行う処理の流れを示すフローチャートである。エコー抑圧装置3が稼働し参照信号を取得している間、例えば通話中に渡って、ダブルトーク検知部40がシングルトーク状態かダブルトーク状態かを検知する(ステップS10)。
ダブルトーク検知部40によりダブルトーク状態であることが検知されなかった場合(ステップS10でNo)には、学習処理(ステップS11)、エコー除去処理(ステップS12)を行う。ステップS11の処理はステップS1と同様であるため、説明を省略する。ステップS12では、直前のステップS6で修正された適応フィルタを用いてエコー除去を行う。
ダブルトーク検知部40によりダブルトーク状態であることが検知された場合(ステップS10でYes)には、学習処理(ステップS11)は行われず、処理はエコー除去処理(ステップS12)に進む。エコー除去処理(ステップS12)では、直前に行われたステップS6において修正された適応フィルタを用いてエコーを除去する。エコー除去処理(ステップS12)においてエコーを除去する処理は、ステップS7と同様であるため、説明を省略する。
エコー除去処理(ステップS12)に次いで、信号出力処理(ステップS13)を行う。ステップS13の処理はステップS8と同様であるため、説明を省略する。その後、処理はステップS10に戻り、図9に示す処理が繰り返し行われる。
本実施の形態によれば、ダブルトーク検知部がダブルトークを検知した場合、すなわち外乱が多く、適切な修正処理ができないと思われる場合には、適応フィルタの修正処理を中断することができる。また、外乱が多い状況で適応フィルタの修正処理を中断することで、計算負荷を軽減できる。
なお、本実施の形態では、ダブルトーク検知部40による検知結果を参照信号調整部10Cに入力したが、ダブルトーク検知部40による検知結果をフィルタ生成部21Cやフィルタ修正部22Cに入力してもよい。例えば、ダブルトーク検知部40による検知結果をフィルタ修正部22Cに入力する場合には、ダブルトークの場合にも複数の遅延参照信号及び適応フィルタの収束値を求め、適応フィルタの修正を止める。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1、1A、2、3:エコー抑圧装置
10、10A、10B、10C、10-1、10-n:参照信号調整部
20、20A、20B、20C:線形エコー抑圧部
21、21A、21B、21C、21-1、21-n:フィルタ生成部
22、22A、22B、22C:フィルタ修正部
23、23A、23B:エコー除去部
30 :非線形エコー抑圧部
40 :ダブルトーク検知部
50 :端末
51 :マイクロホン
52 :スピーカ
53 :通信装置
54 :通信装置
55 :スピーカアンプ
100 :音声通信システム
531 :信号入力端
532 :信号出力端
10、10A、10B、10C、10-1、10-n:参照信号調整部
20、20A、20B、20C:線形エコー抑圧部
21、21A、21B、21C、21-1、21-n:フィルタ生成部
22、22A、22B、22C:フィルタ修正部
23、23A、23B:エコー除去部
30 :非線形エコー抑圧部
40 :ダブルトーク検知部
50 :端末
51 :マイクロホン
52 :スピーカ
53 :通信装置
54 :通信装置
55 :スピーカアンプ
100 :音声通信システム
531 :信号入力端
532 :信号出力端
Claims (10)
- スピーカとマイクロホンとを有する端末のうちの前記マイクロホンにより収音された入力信号からエコーを除去するエコー抑圧装置であって、
前記スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する参照信号調整部と、
複数の前記遅延参照信号のそれぞれに基づいて複数の適応フィルタの収束値を得るフィルタ生成部と、
複数の前記収束値を比較し、前記遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を前記収束値よりも小さくするように前記適応フィルタを修正するフィルタ修正部と、
前記入力信号に前記フィルタ修正部により修正された適応フィルタを適用することにより線形エコーを除去するエコー除去部と、
を備えたことを特徴とするエコー抑圧装置。 - 前記フィルタ修正部は、前記第1フィルタ係数を0にする
ことを特徴とする請求項1に記載のエコー抑圧装置。 - 前記フィルタ修正部は、前記第1フィルタ係数を、前記収束値から徐々に小さくする
ことを特徴とする請求項1又は2に記載のエコー抑圧装置。 - 前記フィルタ修正部は、前記遅延時間の変化に応じて変化しない要素のうち、前記収束値が閾値以上である場合のフィルタ係数を前記第1フィルタ係数とする
ことを特徴とする請求項1から3のいずれか一項に記載のエコー抑圧装置。 - 前記フィルタ修正部は、前記収束値に基づいて前記閾値を求める
ことを特徴とする請求項4に記載のエコー抑圧装置。 - 前記参照信号調整部は、前記参照信号を取得している間、連続して複数の前記遅延参照信号を生成し、
前記フィルタ生成部は、連続して複数の前記収束値を得、
前記フィルタ修正部は、連続して前記適応フィルタを修正する
ことを特徴とする請求項1から5のいずれか一項に記載のエコー抑圧装置。 - シングルトーク状態かダブルトーク状態かを検知するダブルトーク検知部を備え、
前記参照信号調整部は、前記ダブルトーク状態であることが検知されなかった場合には、複数の前記遅延参照信号を生成する
ことを特徴とする請求項6に記載のエコー抑圧装置。 - 前記参照信号調整部は、前記エコー除去部が線形エコーを除去するよりも前に一度だけ前記遅延参照信号を生成する
ことを特徴とする請求項1から5のいずれか一項に記載のエコー抑圧装置。 - スピーカとマイクロホンとを有する端末のうちの前記スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する参照信号調整ステップと、
複数の前記遅延参照信号のそれぞれに基づいて複数の適応フィルタの収束値を得るフィルタ生成ステップと、
複数の前記収束値を比較し、前記遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を前記収束値よりも小さくするように前記適応フィルタを修正するフィルタ修正ステップと、
前記マイクロホンにより収音された入力信号に前記フィルタ修正ステップにより修正された適応フィルタを適用することにより線形エコーを除去するエコー除去ステップと、
を含むことを特徴とするエコー抑圧方法。 - コンピュータを、
スピーカとマイクロホンとを有する端末の前記スピーカへ信号を伝送する受話側信号経路を伝達される参照信号に、互いに異なる複数の遅延時間を与えて複数の遅延参照信号を生成する参照信号調整部、
複数の前記遅延参照信号のそれぞれに基づいて複数の適応フィルタの収束値を得るフィルタ生成部、
複数の前記収束値を比較し、前記遅延時間の変化に応じて変化しない要素についてのフィルタ係数である第1フィルタ係数を前記収束値よりも小さくするように前記適応フィルタを修正するフィルタ修正部、
前記マイクロホンにより収音された入力信号に前記フィルタ修正部により修正された適応フィルタを適用することにより線形エコーを除去するエコー除去部、
として機能させることを特徴とするエコー抑圧プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-109997 | 2022-07-07 | ||
JP2022109997A JP2024008271A (ja) | 2022-07-07 | 2022-07-07 | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024009892A1 true WO2024009892A1 (ja) | 2024-01-11 |
Family
ID=89453493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/024233 WO2024009892A1 (ja) | 2022-07-07 | 2023-06-29 | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024008271A (ja) |
WO (1) | WO2024009892A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07273691A (ja) * | 1993-12-02 | 1995-10-20 | Agence Spatiale Europ | 電気通信システムにおけるディジタルエコーキャンセラーの適応制御のための方法 |
JP2000196507A (ja) * | 1998-12-28 | 2000-07-14 | Nec Corp | 多重化回線用エコ―除去の方法及び装置 |
JP2009033549A (ja) * | 2007-07-27 | 2009-02-12 | Toshiba Corp | 音声処理装置およびエコー除去方法 |
JP2011061449A (ja) * | 2009-09-09 | 2011-03-24 | Oki Electric Industry Co Ltd | エコーキャンセラ |
JP2017098861A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社日立製作所 | エコーキャンセラ及びエコーキャンセル方法 |
JP2017199949A (ja) * | 2016-04-25 | 2017-11-02 | 株式会社Jvcケンウッド | エコー除去装置、エコー除去方法およびエコー除去プログラム |
-
2022
- 2022-07-07 JP JP2022109997A patent/JP2024008271A/ja active Pending
-
2023
- 2023-06-29 WO PCT/JP2023/024233 patent/WO2024009892A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07273691A (ja) * | 1993-12-02 | 1995-10-20 | Agence Spatiale Europ | 電気通信システムにおけるディジタルエコーキャンセラーの適応制御のための方法 |
JP2000196507A (ja) * | 1998-12-28 | 2000-07-14 | Nec Corp | 多重化回線用エコ―除去の方法及び装置 |
JP2009033549A (ja) * | 2007-07-27 | 2009-02-12 | Toshiba Corp | 音声処理装置およびエコー除去方法 |
JP2011061449A (ja) * | 2009-09-09 | 2011-03-24 | Oki Electric Industry Co Ltd | エコーキャンセラ |
JP2017098861A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社日立製作所 | エコーキャンセラ及びエコーキャンセル方法 |
JP2017199949A (ja) * | 2016-04-25 | 2017-11-02 | 株式会社Jvcケンウッド | エコー除去装置、エコー除去方法およびエコー除去プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2024008271A (ja) | 2024-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2538176B2 (ja) | エコ―制御装置 | |
US8306215B2 (en) | Echo canceller for eliminating echo without being affected by noise | |
US7035398B2 (en) | Echo cancellation processing system | |
KR101250124B1 (ko) | 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법 | |
US8160239B2 (en) | Echo canceller and speech processing apparatus | |
WO2010035308A1 (ja) | エコー消去装置 | |
CN109716743B (zh) | 全双工语音通信系统和方法 | |
US20210112157A1 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
US20080247536A1 (en) | Spectral domain, non-linear echo cancellation method in a hands-free device | |
US8116448B2 (en) | Acoustic echo canceler | |
CN109273019B (zh) | 用于回声抑制的双重通话检测的方法及回声抑制 | |
WO1999014868A1 (fr) | Procede de suppression d'echo, annuleur d'echo et commutateur vocal | |
CN110956975B (zh) | 回声消除方法及装置 | |
US20150086006A1 (en) | Echo suppressor using past echo path characteristics for updating | |
US10129410B2 (en) | Echo canceller device and echo cancel method | |
JP2002204187A (ja) | エコー抑制システム | |
JP7187183B2 (ja) | エコー抑圧装置、エコー抑圧方法およびエコー抑圧プログラム | |
CN111654585B (zh) | 回声声场状态确定方法及装置、存储介质、终端 | |
WO2024009892A1 (ja) | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム | |
KR100272131B1 (ko) | 계층적 구조의 적응반향 제거장치 | |
JP4396449B2 (ja) | 残響除去方法及びその装置 | |
JPH0614101A (ja) | ハンズフリー電話機 | |
US11990149B2 (en) | Echo suppression device, echo suppression method, and echo suppression program | |
CN111312268A (zh) | 声学回声消除装置和声学回声消除方法以及记录介质 | |
JP2006148375A (ja) | エコー除去方法、エコーキャンセラ及び電話中継装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23835424 Country of ref document: EP Kind code of ref document: A1 |