CN107483761A - 一种回波抑制方法及装置 - Google Patents
一种回波抑制方法及装置 Download PDFInfo
- Publication number
- CN107483761A CN107483761A CN201610399409.4A CN201610399409A CN107483761A CN 107483761 A CN107483761 A CN 107483761A CN 201610399409 A CN201610399409 A CN 201610399409A CN 107483761 A CN107483761 A CN 107483761A
- Authority
- CN
- China
- Prior art keywords
- echo
- signal
- linear
- component
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005236 sound signal Effects 0.000 claims abstract description 158
- 230000001629 suppression Effects 0.000 claims description 211
- 230000003044 adaptive effect Effects 0.000 claims description 127
- 239000013598 vector Substances 0.000 claims description 83
- 238000001914 filtration Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 16
- 238000002592 echocardiography Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000007493 shaping process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Abstract
本发明公开了一种回波抑制方法及装置。本发明方法包括：对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号；根据第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号；其中，第一音频信号和第二音频信号是音频接收器阵列中的音频接收器采集得到的；对第二回波抑制信号中的线性回波分量和残留非线性回波分量分别进行抑制。本发明能够有效地抑制线性和非线性声学回波。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种回波抑制方法及装置。
背景技术
对手机以及平板电脑等具有通信功能的设备而言，免提通话一般是必需的应用特性之一。对于免提通话模式，声学回波抑制技术是用于提高通话质量的一项重要技术，而由于声学回波实时变化的特性又给声学回波抑制技术带来了较大的技术挑战性。现有技术中，鉴于自适应滤波器具有在未知环境中快速跟踪实时变化信号的功能，因此通常在回波抑制技术中被用于估值回波。
由于手机和平板电脑上的扬声器尺度较小并与麦克风相距较近，而从扬声器发出的声音在免提通话模式下通常又较大，以致麦克风处拾取的回波信号时常比近端语音信号还强；此外，小尺度扬声器在发出响亮声音情况下以及回波路径上部件震动都引发了非线性声学回波。这使得现有的基于线性自适应滤波器来实现的单声道声学回波抑制器，无法有效地消除和抑制此类通信设备在免提通话模式下的声学回波。
对于诸如手机等通信设备在免提通话模式下的声学回波非线性特性，在现有的一些技术中相应地采用了非线性回波抑制器，但这些技术方案在非线性残留回波分量较大时，在抑制非线性残留回波时将会不可避免地会抑制进而损伤近端语音信号，特别是在非线性回波的幅值与近端语音信号幅度相当时，采用非线性回波抑制器的技术方案中近端语言信号将会受到较大损伤，在目标接收端，其所接收到的语音信号甚至可能完全失真。
因此，如何实现一种能够有效地抑制线性和非线性声学回波的回波抑制技术，是业界亟待研究和探索的问题。
发明内容
本发明实施例提供一种回波抑制方法及装置，用以实现一种能够有效地抑制线性和非线性声学回波的回波抑制技术。
本发明的一些实施例提供的回波抑制方法，包括：
对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号；
根据所述第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号；其中，所述第一音频信号和所述第二音频信号是音频接收器阵列中的音频接收器采集得到的；
对所述第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制。
本发明的一些可选实施例中，对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号，包括：
使用第一自适应滤波器对远端音频信号进行滤波得到第一线性回波分量；
根据所述第一线性回波分量，对所述第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号。
本发明的一些可选实施例中，还包括：若判断当前处于单讲状态，则对所述第一自适应滤波器的系数矢量进行更新。
本发明的一些可选实施例中，根据所述第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号，包括：
使用第二自适应滤波器对所述第一回波抑制信号进行滤波得到第一非线性回波分量；
根据所述第一非线性回波分量，对所述第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号。
本发明的一些可选实施例中，还包括：若判断当前处于单讲状态且所述第一回波抑制信号的平均功率大于第一预设门限值，或者判断当前处于单讲状态且第一线性回波分量的平均功率大于第二预设门限值，则对所述第二自适应滤波器的系数矢量进行更新，所述第一线性回波分量为使用第一自适应滤波器对远端音频信号进行滤波得到的。
本发明的一些可选实施例中，对所述第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制，包括：
使用第三自适应滤波器对远端音频信号进行滤波得到第二线性回波分量；
根据所述第二线性回波分量，对所述第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号；
根据所述第二回波抑制信号和所述第三回波抑制信号，使用非线性回波抑制器对所述第三回波抑制信号中的残留非线性回波分量进行抑制。
本发明的一些可选实施例中，还包括：若判断当前处于单讲状态，则对所述第三自适应滤波器的系数矢量进行更新。
本发明的一些可选实施例中，采用以下方式判断当前是否处于单讲状态：
根据所述第一音频信号和第一线性回波分量，分别抽取所述第一音频信号和所述第一线性回波分量的声纹特征矢量；
计算所述第一音频信号的声纹特征矢量和所述第一线性回波分量的声纹特征矢量之间的相似度；
若计算得到的相似度大于预设的门限值，则判断当前处于双讲状态，否则，判断当前处于单讲状态。
本发明的一些可选实施例中，所述音频接收器阵列中的音频接收器按照端射阵列方式排列放置。
本发明的一些实施例提供的回波抑制装置，包括：
第一回波抑制单元，用于对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号；
第二回波抑制单元，用于根据所述第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号；其中，所述第一音频信号和所述第二音频信号是音频接收器阵列中的音频接收器采集得到的；
第三回波抑制单元，用于对所述第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制。
本发明的一些可选实施例中，第一回波抑制单元，包括：
第一自适应滤波器，用于对远端音频信号进行滤波得到第一线性回波分量；
第一回波抑制模块，用于根据所述第一线性回波分量，对所述第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号。
本发明的一些可选实施例中，所述第一自适应滤波器，还用于：在当前处于单讲状态时，对系数矢量进行更新。
本发明的一些可选实施例中，所述第二回波抑制单元，包括：
第二自适应滤波器，用于对所述第一回波抑制信号进行滤波得到第一非线性回波分量；
第二回波抑制模块，用于根据所述第一非线性回波分量，对所述第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号。
本发明的一些可选实施例中，所述第二自适应滤波器，还用于：在当前处于单讲状态且所述第一回波抑制信号的平均功率大于第一预设门限值时，或者在当前处于单讲状态且第一线性回波分量的平均功率大于第二预设门限值时，对系数矢量进行更新，所述第一线性回波分量为使用第一自适应滤波器对远端音频信号进行滤波得到的。
本发明的一些可选实施例中，所述第三回波抑制单元，包括：
第三自适应滤波器，用于对远端音频信号进行滤波得到第二线性回波分量；
第三回波抑制模块，用于根据所述第二线性回波分量，对所述第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号；
非线性回波抑制器，用于根据所述第二回波抑制信号和所述第三回波抑制信号，对所述第三回波抑制信号中的残留非线性回波分量进行抑制。
本发明的一些可选实施例中，所述第三自适应滤波器，还用于：在当前处于单讲状态时，对系数矢量进行更新。
本发明的一些可选实施例中，还包括：判断单元，用于根据所述第一音频信号和第一线性回波分量，分别抽取所述第一音频信号和所述第一线性回波分量的声纹特征矢量；用于计算所述第一音频信号的声纹特征矢量和所述第一线性回波分量的声纹特征矢量之间的相似度；以及，若计算得到的相似度大于预设的门限值，则判断当前处于双讲状态，否则，判断当前处于单讲状态。
本发明上述实施例中，对于音频接收器阵列中的音频接收器采集得到的第一音频信号和第二音频信号，通过对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号，再根据第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号，最后对第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制，实现了对音频信号中线性和非线性声学回波的抑制，因此通过本发明实施例所提供的回波抑制的技术方案能够有效地抑制线性和非线性声学回波。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种单麦克风非线性声学回波抵消器的结构示意图；
图2为本发明一个实施例所提供的回波抑制技术方案的示例结构示意图；
图3为本发明的一个实施例提供的回波抑制方法的流程示意图；
图4为本发明的一个实施例提供的采用控制器的回波抑制技术方案的示例结构示意图；
图5为本发明的一个实施例提供的回波抑制装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了解决现有技术中基于线性自适应滤波器来实现的单声道回波抑制器，无法有效处理诸如手机和平板电脑等具有通信功能的设备在免提通话模式下的声学回波非线性特性的问题，在现有的一些技术中尽管提出了诸如人工神经网络等非线性自适应滤波器来实现单声道声学回波抑制，然而，这些非线性自适应滤波器的算法复杂，计算量很大，因此在目前商用数字信号处理器(Digital Signal Processing，DSP)芯片上通常并不能够很好的实现。
图1示出了现有技术中一种单麦克风非线性声学回波抵消器(Non-LinearAcoustic Echo Cancellation，NLAEC)的结构示意图。
单麦克风NLAEC又被称为后滤波的非线性声学回波抑制器，如图1所示，NLAEC中包括有限长单位冲激响应(Finite Impulse Response，FIR)线性自适应滤波器101和非线性回波抑制器(Non-Linear Echo Suppressor，NLES)102。如图1所示，在声学系统中扬声器104在接收到远端音频信号后并播放相应的声音时，其所播放的声音将经过外部环境在麦克风103处产生线性以及非线性的声学回波，受到声学回波的影响，麦克风103将会拾取到响应与扬声器104播放声音的声学回波信号。在NLAEC中，对于麦克风103拾取到的声学回波信号，首先应用FIR线性自适应滤波器101来估计声学回波信号中的线性分量，然后将其从麦克风103接收到的信号中减去；再应用NLES 102抑制声学回波信号中残留的非线性分量，从而达到消除和抑制声学回波的目的。
然而在非线性残留回波分量较大时，如图1所示的单麦克风NLAEC中非线性回波抑制器(NLES 102)在抑制该非线性残留回波时将会不可避免地抑制以及损伤近端语音信号，特别是在非线性回波的幅值与近端语音信号幅度相当时，非线性回波抑制器NLES对近端语音信号的损失很大。
通过上述分析可以看到，现有技术中的运用后滤波处理的单麦克风NLAEC并不是一种理想的回波抑制的技术方案，而诸如人工神经网络等非线性自适应滤波器又由于计算的复杂高而不易于工程实现，目前还没有一种较佳地能够实现有效地抑制线性和非线性声学回波的回波抑制技术。
为了克服上述现有回波抑制技术方案的缺陷，提供一种能够有效地抑制线性和非线性声学回波的回波抑制技术方案，本发明提出一种回波抑制的技术方案。在本发明实施例中，由音频接收器阵列中的音频接收器接收多路音频信号，通过对其中一路的音频信号进行线性回波分量的抑制，根据抑制结果对另一路音频信号进行非线性回波分量的抑制，并进一步地抑制线性回波分量和非线性回波分量，从而实现对线性和非线性声学回波的有效抑制。
举例来说，以音频接收器阵列中包括两个音频接收器(假设为两个麦克风A和B)为例，本发明实施例所提供的回波抑制技术中，在麦克风A的支路上引入一个FIR自适应滤波器来构造一个线性声学回波抵消器(Linear Acoustic Echo Cancellation，LAEC)，其输出则为回波信号中的非线性回波分量；把该非线性回波分量馈送入第二个FIR自适应滤波器，使得基于第二个FIR自适应滤波器和麦克风B构成的自适应零空域指向赋型器(AdaptiveNotch Filter，ANF)聚集于抑制非线性回波分量；而剩余下的线性回波分量和少量残留非线性回波分量分别由麦克风B的支路上的后续传统的非线性声学回波抵消器NLAEC中的FIR自适应滤波器和非线性回波抑制器(NLES)来处理。可以看到，本发明实施例所提供的回波抑制技术中NLAEC的输入回波信号中非线性分量较弱，因而使得进行后续处理的NLES对近端语音信号的衰减大大减少，因此本发明实施例所提供的回波抑制技术不仅能够有效地抑制线性和非线性声学回波，同时还能够减小NLAEC对近端语音信号造成的损失。
图2示例性地示出本发明一个实施例所提供的回波抑制技术方案的示例结构的示意图。如图2所示出，本发明一个实施例所提供的回波抑制的示例结构中包括有线性声学回波抵消器(LAEC)201、自适应零空域指向赋型器(ANF)202、非线性声学回波抵消器(NLAEC)203。其中，线性声学回波抵消器(LAEC)201中包括一个FIR自适应滤波器(记为AF3)，自适应零空域指向赋型器(ANF)202中包括一个延时模块(记为D)和一个FIR自适应滤波器(记为AF2)，非线性声学回波抵消器(NLAEC)203中包括一个FIR自适应滤波器(记为AF1)和一个非线性回波抑制器(NLES)。
应当指出的是，FIR自适应滤波器通常是指采用FIR结构的自适应滤波器，自适应滤波器通常是以输入和输出信号的统计特性的估计为依据，采取算法自动地调整滤波器系数，使其达到最佳滤波特性的滤波器，具体可以通过软件方式、硬件方式或软硬件结合的方式来实现。本申请并不限定FIR自适应滤波器的具体实现方式。
如图2所示，扬声器204基于接收到的远端音频信号播放声音时产生回波信号，LAEC 201位于麦克风205所在支路上，麦克风205所接收到的回波信号通过LAEC 201中的AF3处理后，输出回波信号中的非线性回波分量到位于麦克风206所在支路上的基于AF2构成的ANF 202，以聚集于抑制非线性回波分量；其中，由于ANF 202用于根据LAEC 201对麦克风205所接收到的回波信号的回波抑制结果来对麦克风206所接收到的回波信号进行回波抑制，因此采用了延时模块D来对麦克风206所接收到的回波信号进行延时处理，以满足时间上的因果性；ANF 202的输出信号中剩余下的所有线性回波分量和少量残留非线性回波分量则分别经由位于麦克风206支路上的后续的传统NLAEC 203中的来处理，从而实现对线性以及非线性回波分量的抑制。
如图2所示出的本发明一个实施例所提供的回波抑制技术方案的示例结构，也可以称为双麦克风非线性声学回波抵消器(Dual Microphone Non-Linear Acoustic EchoCancellation，DMNLAEC)。
下面结合附图对本发明实施例进行详细描述。
图3示出了本发明实施例提供的回波抑制方法的流程示意图。可选地，该流程可应用在如图2所示的示例结构中或在如图2所示的示例结构中实现。
如图3所示，本发明实施例提供的回波抑制方法的流程包括如下步骤：
步骤301：对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号；
步骤302：根据第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号；
其中，第一音频信号和第二音频信号是音频接收器阵列中的音频接收器采集得到的；
步骤303：对第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制。
在本发明的一些具体实施例中，音频接收器阵列中的音频接收器可以是两个或者多个。可选地，音频接收器阵列中的第一音频接收器接收第一音频信号，音频接收器阵列中的第二音频接收器接收第二音频信号。
可选地，音频接收器阵列具体可以按照端射阵列方式排列放置。
比如在本发明的一些实施例应用在移动通信设备中时，由于移动通信设备受限于空间的缘故，往往只能间距较短地放置2个音频接收器(比如麦克风)，其间距通常在5到20毫米之间，可选地，具有短间距的这2个麦克风按照端射方式放置在设备中。
在本发明的一些具体实施例中，步骤301中对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号的过程，可以是通过使用第一自适应滤波器(比如图2所示的AF3)对远端音频信号进行滤波得到第一线性回波分量；再根据第一线性回波分量，对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号。
在本发明的一些具体实施例中，若判断当前处于单讲状态，则还可进一步地对第一自适应滤波器的系数矢量进行更新。
其中，单讲状态可以是表示在包括音频接收器以及音频播放器的通信设备中，仅有音频播放器基于远端音频信号播放声音的状态，相应地，双讲状态是表示在音频播放器基于远端音频信号播放声音的同时，音频接收器接收到近端用户发声得到的近端音频信号的状态。
在本发明的一些具体实施例中，步骤302中根据第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号，可以是通过使用第二自适应滤波器(比如图2所示的AF2)对第一回波抑制信号进行滤波得到第一非线性回波分量；再根据第一非线性回波分量，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号。
其中，由于步骤302中对第二音频信号进行回波抑制基于步骤301所得到的第一回波抑制信号，因此，为了满足时序上的因果性，在步骤302中进行回波抑制的第二音频信号是将由音频接收器接收到的第二音频信号进行延时处理得到的，延时处理并不损失第二音频信号。比如一种示意性的表达可以是：假设延时参数为D，音频接收器接收到的第二音频信号为d1(n)，那么在步骤302中进行回波抑制的第二音频信号可以表示为d1(n-D)。
在本发明的一些具体实施例中，若判断当前处于单讲状态且第一回波抑制信号的平均功率大于第一预设门限值，或者判断当前处于单讲状态且第一线性回波分量的平均功率大于第二预设门限值，则还可进一步地对第二自适应滤波器的系数矢量进行更新，所述第一线性回波分量为使用第一自适应滤波器对远端音频信号进行滤波得到的。
在本发明的一些具体实施例中，步骤303中对第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制，可以是通过使用第三自适应滤波器(比如图2所示的AF1)对远端音频信号进行滤波得到第二线性回波分量；再根据第二线性回波分量，对第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号；再根据第二回波抑制信号和第三回波抑制信号，使用非线性回波抑制器对第三回波抑制信号中的残留非线性回波分量进行抑制。
在本发明的一些具体实施例中，若判断当前处于单讲状态，则还可进一步地对第三自适应滤波器的系数矢量进行更新。
为了更清楚地描述如图3所示的本发明实施例所提供的回波抑制方法，下面将结合如图2所示的本发明的一个实施例提供的双麦克风非线性声学回波抵消器DMNLAEC的示例结构来进行具体描述本发明实施例所提供的回波抑制的技术方案。
基于如图2所示的示例结构，在本发明的一些具体实施例中，音频接收器阵列可以是麦克风阵列，麦克风205和麦克风206具体可以是该麦克风阵列中的两个位于不同位置的音频接收器。
其中，以麦克风205接收到的音频信号为第一音频信号，用d2(n)表示；以麦克风206接收到的音频信号为第二音频信号，用d1(n)表示；远端音频信号为扬声器204所接收到的来自远端用户的音频信号，用表示；在扬声器204播放所接收到的远端音频信号时，第一音频信号d2(n)中将包括有麦克风205接收到的由扬声器204播放远端音频信号产生的回波信号，第二音频信号中将包括有麦克风206接收到的由扬声器204播放远端音频信号产生的回波信号；其中，n表示n时刻，n为正整数。
在本发明的一些具体实施例中，首先由线性声学回波抵消器(LAEC)201获取麦克风205接收到的第一音频信号d2(n)，其中，第一音频信号d2(n)即可以理解为步骤301中的第一音频信号。
进一步地，线性声学回波抵消器(LAEC)201可以用于执行步骤301中所描述的，对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号的过程，该过程也可以理解为通过线性声学回波抵消器(LAEC)201从第一音频信号d2(n)中的回波信号中抽取非线性回波分量，所得到的结果即为第一回波抑制信号。具体地，线性声学回波抵消器(LAEC)201可以通过FIR自适应滤波器(AF3)来执行步骤301。
其中，FIR自适应滤波器(AF3)可以基于来自远端音频信号首先按照以下公式对远端音频信号进行滤波，来估计第一线性回波分量：
其中，y3(n)表示第一线性回波分量，为FIR自适应滤波器(AF3)在n时刻的系数矢量，L3表示FIR自适应滤波器(AF3)系数矢量所具有的维数，n、L3为正整数；为远端音频信号n时刻的矢量，T为向量运算中的转置算子。
基于所得到的第一线性回波分量y3(n)，在线性声学回波抵消器(LAEC)201中，可以进一步地对第一音频信号d2(n)通过公式e3(n)＝d2(n)-y3(n)，对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号，e3(n)表示第一回波抑制信号。
应当指出的是，通过上述过程得到的第一回波抑制信号e3(n)，在第一音频信号d2(n)中不包含近端语音信号(或又称为单讲状态)的条件下将仅包含回波信号中的非线性回波分量，而在第一音频信号d2(n)中包含有近端语音(或又称为双讲状态)的条件下则将包含有回波信号中的非线性回波分量以及该近端语音信号。
进一步地，在当前处于单讲状态时，可以对FIR自适应滤波器(AF3)的系数矢量进行更新。具体地，FIR自适应滤波器(AF3)的系数矢量的更新(或也可以称为学习)可采用诸如归一化最小均方算法(Normalized Least Mean Square algorithm，NLMS)或仿射投影算法(Affine Projection Algorithm，APA)或递归最小二乘算法(Recursive Least Square，RLS)等自适应学习算法来进行，其中，在单讲状态的情况下，AF3的系数学习更新可以是持续进行，而在双讲的情况下，AF3的系数学习更新将可以停止。
作为一个示例，在本发明的一些具体实施例中，基于第一回波抑制信号e3(n)和远端音频信号通过NLMS算法，AF3系数矢量可按照以下公式进行更新：
其中，表示FIR自适应滤波器(AF3)在n时刻的系数矢量，为FIR自适应滤波器(AF3)在n+1时刻的系数矢量；0<μ3<1为更新补偿参数，δ3>0为正则化因子参数；其中的(i)式为判断当前处于单讲状态时FIR自适应滤波器(AF3)的系数矢量进行更新所使用的公式；(ii)式表示在判断当前处于双讲状态时FIR自适应滤波器(AF3)的系数矢量不更新。
进一步地，基于图2所示的本发明的一个实施例的示例结构，在本发明的一些具体实施例中，上述FIR自适应滤波器(AF3)所得到的第一回波抑制信号e3(n)，可进一步地馈送至自适应零空域指向赋型器(ANF)202中进行处理。
由于麦克风205接收到的第一音频信号d2(n)中的非线性回波分量与麦克风206接收到的第二音频信号d1(n)中的非线性回波分量之间存在着高度相关性，为使FIR自适应滤波器(AF2)与麦克风206构成的自适应零空域指向赋型器(ANF)的零空域指向聚集于第二音频信号d1(n)中的非线性回波分量，一种可选的处理方式就是把在步骤302中得到的包含有第一音频信号d2(n)中的非线性回波分量的第一回波抑制信号e3(n)馈送至FIR自适应滤波器(AF2)中作为输入，而FIR自适应滤波器(AF2)的系数矢量的更新则在当前处于单讲状态并且非线性回波分量较大的条件成立时进行，其中，非线性回波分量较大可以是指非线性回波分量所具有的能量高于预设的门限值。
应当指出的是，在本发明的一些实施例中，麦克风205与麦克风206之间的距离较短，短间距的双麦克风阵列在放置时既可采用边射方式(broad-side)，也可采用端射方式(end-fire)，而在存在近端目标音频信号时，FIR自适应滤波器(AF2)与麦克风206构成的自适应零空域指向赋型器(ANF)的零空域指向也会影响来自该零空域指向的近端语音信号。
考虑到双麦克风的位置安放方式将影响到自适应零空域指向赋型器(ANF)的特性，鉴于边射放置的双麦克风自适应零空域指向赋型器要比端射放置的双麦克风自适应零空域指向赋型器(ANF)具有相对较宽的零空域指向，由此更易于对近端语音信号造成衰减，因此一种可选地放置方式是，双麦克风(如图2所示的麦克风205与麦克风206)采用端射方式放置，以尽可能地避免或减少对近端音频信号造成的衰减。其中，麦克风205位于离音频播放器(比如图2示出的扬声器(Speaker)204)较近的位置，在其支路上设置线性声学回波抵消器(LAEC)201，而麦克风206位于离扬声器204较远的位置，在其支路上设置自适应零空域指向赋型器(ANF)和非线性声学回波抵消器(NLAEC)。
具体地，自适应零空域指向赋型器(ANF)一方面可以获取麦克风206接收到的第二音频信号d1(n)，第二音频信号d1(n)即可以理解为步骤301中的第二音频信号；另一方面，还可基于接收到的第一回波抑制信号e3(n)，执行步骤302中所描述的根据第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号。
进一步地，自适应零空域指向赋型器(ANF)202可以通过其中包含的FIR自适应滤波器(AF2)来执行步骤302的过程。具体地，FIR自适应滤波器(AF2)可以是根据接收到的第一回波抑制信号首先按照以下公式对第一回波抑制信号进行滤波，来估计第一非线性回波分量：
其中，y2(n)表示第一非线性回波分量，为FIR自适应滤波器(AF2)在n时刻的系数矢量，L2为FIR自适应滤波器(AF2)系数矢量的维数，n、L2为正整数；为n时刻第一回波抑制信号；
基于所得到的第一非线性回波分量y2(n)，在自适应零空域指向赋型器(ANF)202中，可以进一步地对延时处理后的第二音频信号d1(n-D)通过公式e2(n)＝d1(n-D)-y2(n)，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号，用e2(n)表示。
其中，d1(n-D)表示第二音频信号d1(n)按照延时参数D延时处理后的信号，由于自适应零空域指向赋型器(ANF)在n时刻获取到的第二音频信号d1(n)，并不立即参与回波抑制的过程，因此自适应零空域指向赋型器(ANF)将对第二音频信号d1(n)进行延时处理(比如图2所示的D延时部分)以便满足因果性，从而得到延时后的第二音频信号，用d1(n-D)表示，通常地，D的取值可以是按照D＝round(L2/2)计算得到。
具体地，FIR自适应滤波器(AF2)的系数矢量在当前处于单讲状态并且非线性回波分量所具有的能量高于预设的门限值时进行更新，其中，鉴于声学回波中的线性分量的功率比例于其相应的非线性分量的功率，非线性回波分量所具有的能量高于预设的门限值具体可以表现为第一线性回波分量的平均功率大于第二预设门限值，或者第一回波抑制信号的平均功率大于第一预设门限值等。进一步地，若判断当前处于单讲状态且所述第一回波抑制信号的平均功率大于第一预设门限值，或者判断当前处于单讲状态且第一线性回波分量的平均功率大于第二预设门限值，则可以对FIR自适应滤波器(AF2)的系数矢量进行更新。
应当指出的是，判定非线性回波分量较大这一条件的方式包括但不限于本发明实施例所提供的上述方式，比如还可以是基于任何能够反映非线性回波能量或功率大小的物理量和其组合等。
具体地，与前述FIR自适应滤波器(AF3)的系数矢量的更新类似地，可采用诸如NLMS或APA等自适应学习算法来对FIR自适应滤波器(AF2)的系数矢量进行更新。
作为一个示例，在本发明的一些具体实施例中，基于第一回波抑制信号e3(n)和第二回波抑制信号e2(n)，通过NLMS算法，AF2系数矢量可按照以下公式进行更新：
其中，为FIR自适应滤波器(AF2)在n时刻的系数矢量，为FIR自适应滤波器(AF2)在n+1时刻的系数矢量；0<μ2<1为更新补偿参数，δ2>0为正则化因子参数；(i)式为判断当前处于单讲状态且进一步判断非线性回波分量较大(比如具体为第一线性回波分量的平均功率大于第二预设门限值，或者第一回波抑制信号的平均功率大于第一预设门限值等)时FIR自适应滤波器(AF2)的系数矢量进行更新的公式；(ii)式表示在不满足(i)式条件时FIR自适应滤波器(AF2)的系数矢量不更新。
应当指出的是，麦克风206接收到的第二音频信号d1(n)经过上述自适应零空域指向赋型器(ANF)处理后，其输出的第二回波抑制信号e2(n)中包含占主导地位的线性回波分量和少量残留非线性回波，因此对e2(n)信号可以直接应用传统的非线性声学回波抵消器NLAEC来进行处理，便可得到令人满意的结果。
其中，NLAEC实际上可以是LAEC与非线性回波抑制器(NLES)级联构成，使用具有L1维系数矢量的FIR自适应滤波器(AF1)来估计e2(n)中的线性回波分量，并将其从e2(n)中减去，从而达到抑制占主导地位的线性回波分量，再使用后置的非线性回波抑制器(NLES)抑制残留的非线性回波分量。
基于图2所示的本发明的一个实施例的示例结构，在本发明的一些具体实施例中，上述FIR自适应滤波器(AF2)所得到的第二回波抑制信号e2(n)，可馈送至非线性声学回波抵消器(NLAEC)203中参与后续处理。
具体地，非线性声学回波抵消器(NLAEC)203可用于执行步骤303中对第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制的过程。其中，非线性声学回波抵消器(NLAEC)203可通过其中包含的FIR自适应滤波器(AF1)对远端音频信号进行滤波得到第二线性回波分量，根据第二线性回波分量，对所述第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号；再根据所述第二回波抑制信号和所述第三回波抑制信号，通过其中包含的非线性回波抑制器(NLES)对第三回波抑制信号中的残留非线性回波分量进行抑制。
具体地，非线性声学回波抵消器(NLAEC)203中的FIR自适应滤波器(AF1)可以是根据接收到的远端音频信号首先按照以下公式对远端音频信号进行滤波，来估计第二线性回波分量：
其中，y1(n)表示第二线性回波分量，为FIR自适应滤波器(AF1)在n时刻的系数矢量，L1表示FIR自适应滤波器(AF1)系数矢量具有的维数，n、L1为正整数；表示n时刻的远端音频信号矢量，
基于得到的第二线性回波分量y1(n)，在非线性声学回波抵消器(NLAEC)203中，可以进一步地从第二回波抑制信号e2(n)中通过公式e1(n)＝e2(n)-y1(n)，对第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号，用e1(n)表示。
具体地，与前述FIR自适应滤波器(AF3)以及FIR自适应滤波器(AF2)的系数矢量的更新类似地，FIR自适应滤波器(AF1)的系数矢量也可在判断当前处于单讲状态时进行更新，比如采用诸如NLMS或APA或RLS等自适应学习算法来进行更新等。
作为一个示例，在本发明的一些具体实施例中，基于第三回波抑制信号e1(n)和远端音频信号通过NLMS算法，AF1系数矢量可按照以下公式进行更新：
其中，为FIR自适应滤波器(AF1)在n时刻的系数矢量，为FIR自适应滤波器(AF1)在n+1时刻的系数矢量；0<μ2<1为更新补偿参数，δ2>0为正则化因子参数；(i)式为判断当前处于单讲状态时FIR自适应滤波器(AF1)的系数矢量进行更新的公式；(ii)式表示在判断当前处于双讲状态时FIR自适应滤波器(AF1)的系数矢量不更新。
进一步地，第三回波抑制信号e1(n)中的残留非线性回波分量可通过非线性声学回波抵消器(NLAEC)203中的非线性回波抑制器(NLES)进一步处理。由于此时残留的非线性回波分量较弱，则NLES的抑制增益值通常较大(不大于1但接近于1)，因此如果在第三回波抑制信号e1(n)中包含有近端目标音频信号，则NLES对其将不造成衰减或者衰减较少。具体地，NLES可以是根据其输入信号第二回波抑制信号e2(n)和第三回波抑制信号e1(n)，先在频域里生成一个频谱修正增益，用该增益来修正第三回波抑制信号e1(n)的频谱，从而达到抑制第三回波抑制信号e1(n)中残留非线性回波的目的。
可选地，非线性声学回波抵消器(NLAEC)203中的非线性回波抑制器(NLES)可以根据最小均方误差准则，根据输入的第二回波抑制信号e2(n)和第三回波抑制信号e1(n)，首先按照以下公式在频域里生成频谱修正抑制增益：
其中，G(m,k)表示NLES所生成的频谱修正抑制增益，表示e1(n)和e2(n)间的互功率谱，表示信号e1(n)的自功率谱，分别通过以下公式计算得到：
其中，E2(m,k)为第二回波抑制信号e2(n)的第m个数据块的短时傅里叶变换，E1(m,k)为第三回波抑制信号e1(n)的第m个数据块的短时傅里叶变换，k为频点索引，conj{}为复共轭算子，λ为平滑因子常数，0<λ<1，通常λ可以取值在0.925到0.999范围内。
进而，可以基于所生成的频谱修正抑制增益G(m,k)，按照以下公式修正第三回波抑制信号e1(n)的E1(m,k)；Y(m,k)＝E1(m,k)·G(m,k)，对所得到的Y(m,k)再进行短时傅里叶逆变换即可得到非线性回波抑制器(NLES)的输出信号y(n)，可以看到，在所接收到的第二音频信号中包含回波信号和近端音频信号时，该输出即为抑制了线性与非线性回波分量的用于输出到远端用户的近端目标音频信号。
进一步地，在本发明的一些具体实施例中，针对于上述过程中，线性声学回波抵消器(LAEC)201中的FIR自适应滤波器(AF1)、自适应零空域指向赋型器(ANF)202中的FIR自适应滤波器(AF2)、以及非线性声学回波抵消器(NLAEC)203中的FIR自适应滤波器(AF1)的系数矢量的更新都可以通过控制器来实现控制。
具体地，在本发明的一些具体实施例中，控制器可以通过判断当前是处于双讲状态还是处于单讲状态，来实现对FIR自适应滤波器(AF3)、FIR自适应滤波器(AF2)、以及FIR自适应滤波器(AF1)的系数矢量更新的控制。
可选地，在本发明的一些具体实施例中，控制器可以采用以下方式判断当前是否处于单讲状态：
根据第一音频信号和第一线性回波分量，分别抽取第一音频信号和第一线性回波分量的声纹特征矢量；计算第一音频信号的声纹特征矢量和第一线性回波分量的声纹特征矢量之间的相似度；若计算得到的相似度大于预设的门限值，则判断当前处于双讲状态，否则，判断当前处于单讲状态。其中，可以采用多种算法进行相似度计算，比如，可计算第一音频信号的声纹特征矢量和第一线性回波分量的声纹特征矢量之间的欧氏距离，用欧氏距离表征两者之间的相似度。
基于图2所示出的示例结构，图4示出了本发明的一些实施例提供的回波抑制技术方案中采用控制器控制FIR自适应滤波器系数矢量更新的示意图。其中，图4在图2所示出的结构中进一步包含了控制器401，该控制器401用于控制LAEC 201中的AF3、ANF 202中的AF2、以及NLAEC 203中的AF1的系数矢量的更新。
如图4所示的包含有控制器401的示例结构，控制器401可以获取第一音频信号d2(n)和第一线性回波分量y3(n)；控制器401再通过分别抽取第一音频信号d2(n)和第一线性回波分量y3(n)的声纹特征矢量，进一步地计算第一音频信号d2(n)的声纹特征矢量和和第一线性回波分量y3(n)第的声纹特征矢量之间的相似度；若计算得到的相似度大于预设的门限值，则控制器401判断当前处于双讲状态，否则，控制器401判断当前处于单讲状态。
进一步地，控制器401在判断出当前处于双讲状态或者判断出当前处于单讲状态后，可以将判断结果馈送到LAEC 201中的AF3、ANF 202中的AF2、以及NLAEC 203中的AF1中，如图4中控制器401指向外部的箭头所示。
进而对于LAEC 201中的AF3、以及NLAEC 203中的AF1，可以根据控制器401馈送的当前状态，在当前处于单讲状态时进行系数矢量的更新，在当前处于双讲状态时停止系数矢量的更新，具体更新过程可参见前文所述。
而对于ANF 202中的AF2，由于其仅在当前处于单讲状态并且非线性回波分量较大的条件情况下，才进行系数矢量的更新，因此，针对ANF 202中的AF2，控制器401还用于判定非线性回波分量是否较大并向ANF 202反馈判定结果。其中，如前文所述，非线性回波分量较大可以理解为非线性回波分量的能量高于预设的门限值。具体地，在本发明实施例所提供的回波抑制技术方案中，非线性回波分量的能量高于预设的门限值可以表现为第一回波抑制信号e3(n)的平均功率大于第一预设门限值，或者可以为第一线性回波分量y3(n)的平均功率大于第二预设门限值。
进而，控制器401可以根据第一线性回波分量y3(n)的平均功率来判定非线性回波是否较大，比如示例性的用非线性回波大小状态表示判定结果，按照以下所示的示例来判定：
其中，Py3(n)为第一线性回波分量y3(n)的平均功率，可按照以下公式计算得到：Py3(n)＝α·Py3(n-1)+(1-α)·{y3(n)}2；α为平滑因子常数，0<α<1，通常取值在0.925到0.999范围内；ThresholdLE表示第二预设门限值。
或者，控制器401也可以根据第一回波抑制信号e3(n)的平均功率来判定非线性回波是否较大，比如示例性的用非线性回波大小状态表示判定结果，按照以下所示的示例来判定：
其中，PNLE(n)为第一回波抑制信号e3(n)的平均功率，可按照以下公式计算得到：其中α为平滑因子常数，0<α<1，通常取值在0.925到0.999范围内；ThresholdNLE表示第一预设门限值；(i)式为在判断当前处于单讲状态时第一回波抑制信号e3(n)的平均功率的计算公式，(ii)式为在判断当前处于双讲状态时第一回波抑制信号e3(n)的平均功率的计算公式。
进而，控制器401在进行判定后可以向ANF 202反馈判定结果，ANF 202中的AF2根据控制器401馈送的当前状态以及判定的非线性回波的大小状态，在当前处于单讲状态且非线性回波较大时进行系数矢量的更新，在不满足上述条件时停止系数矢量的更新，具体更新过程可参见前文所述。
综上所述，在本发明实施例中提供的回波抑制方法中，对于音频接收器阵列中的音频接收器接收到的第一音频信号和第二音频信号，通过对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号，再根据第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号，最后对第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制，实现了对音频信号中线性和非线性声学回波的抑制，因此通过本发明实施例所提供的回波抑制的技术方案能够有效地抑制线性和非线性声学回波。
此外，相对现有技术而言，本发明实施例所提供的回波抑制的技术方案在有效抑制线性和非线性声学回波的同时，对近端语音信号造成的损伤很小或者在一些理想情况下能够达到不损伤的效果。
举例来说，对于将本发明的一些实施例提供的回波抑制方法应用到短间距的双麦克风阵列中进行回波抑制的过程中，通过线性声学回波抵消器(LAEC)从其中的一个麦克风支路提取非线性回波，该提取的非线性回波分量则输送给另一麦克风支路中的自适应零空域指向赋型器(ANF)作为参考信号，使得ANF的零空域指向聚集于抑制非线性回波；ANF的输出再经过传统的非线性声学回波抵消器(NLAEC)处理，消除其线性回波分量，同时进一步地抑制残留的较弱非线性回波分量。这种将本发明的一些实施例所提供的回波抑制方法应用到基于短间距双麦克风阵列来进行回波抑制的方案，不仅可以有效地抑制麦克风接收到的信号中的声学回波(包括线性和非线性回波)同时还能够降低对近端语音的损伤。
应当指出的时，在本申请中，主要是从时域角度来对本发明实施例所提供的回波抑制的技术方案进行具体描述，本发明实施例所提供的回波抑制的技术方案具体实现包括但不限于本申请所展示的时域实现形式，比如还可以是频域、子带域以及小波变换域等实现形式。
基于相同的技术构思，本发明实施例还提供一种回波抑制装置，该装置可通过软件方式、硬件方式或软硬件结合方式实现，该装置可执行本发明上述实施例提供的回波抑制方法实施例。
可选地，该装置可应用在如图2所示出的本发明的一些实施例提供的示例结构中，或可应用在如图4所示出的本发明的又一些实施例提供的示例结构中；或者，该装置可通过如图2所示出的本发明的一些实施例提供的示例结构实现，或可通过如图4所示出的本发明的又一些实施例提供的示例结构实现。
图5示出了本发明的一些实施例提供的回波抑制装置的结构示意图，如图5所示，该装置包括：
第一回波抑制单元501，用于对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号；
第二回波抑制单元502，用于根据所述第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号；其中，所述第一音频信号和所述第二音频信号是音频接收器阵列中的音频接收器采集得到的；
第三回波抑制单元503，用于对所述第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制。
可选地，第一回波抑制单元501，具体可以包括：
第一自适应滤波器5011，用于对远端音频信号进行滤波得到第一线性回波分量；
第一回波抑制模块5012，用于根据所述第一线性回波分量，对所述第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号。
进一步地，第一自适应滤波器5011，还可以用于在当前处于单讲状态时，对系数矢量进行更新。
结合图2所示出的本发明的一些实施例提供的示例结构，第一回波抑制单元501，具体可以是图2所示出的线性声学回波抵消器(LAEC)201；或者结合图4所示出的本发明的又一些实施例提供的示例结构，第一回波抑制单元501，具体可以是图4所示出的线性声学回波抵消器(LAEC)201；因此，第一回波抑制单元501的具体特性以及功能可参见前述实施例中对线性声学回波抵消器(LAEC)201的描述，在此将不再赘述。
可选地，第二回波抑制单元502，具体可以包括：
第二自适应滤波器5021，用于对所述第一回波抑制信号进行滤波得到第一非线性回波分量；
第二回波抑制模块5022，用于根据所述第一非线性回波分量，对所述第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号。
进一步地，第二自适应滤波器5021，还可以用于在当前处于单讲状态且所述第一回波抑制信号的平均功率大于第一预设门限值时，或者在当前处于单讲状态且第一线性回波分量的平均功率大于第二预设门限值时，对系数矢量进行更新，其中，第一线性回波分量为使用第一自适应滤波器对远端音频信号进行滤波得到的。
结合图2所示出的本发明的一些实施例提供的示例结构，第二回波抑制单元502，具体可以是图2所示出的自适应零空域指向赋型器(ANF)202中的组成部分；或者结合图4所示出的本发明的又一些实施例提供的示例结构，第二回波抑制单元502，具体可以是图4所示出的自适应零空域指向赋型器(ANF)202中的组成部分；因此，第二回波抑制单元502的具体特性以及功能可参见前述实施例中对自适应零空域指向赋型器(ANF)202的描述，在此将不再赘述。
可选地，第三回波抑制单元503，具体可以包括：
第三自适应滤波器5031，用于对远端音频信号进行滤波得到第二线性回波分量；
第三回波抑制模块5032，用于根据所述第二线性回波分量，对所述第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号；
非线性回波抑制器5033，用于根据所述第二回波抑制信号和所述第三回波抑制信号，对所述第三回波抑制信号中的残留非线性回波分量进行抑制。
进一步地，第三自适应滤波器5031，还可以用于在当前处于单讲状态时，对系数矢量进行更新。
结合图2所示出的本发明的一些实施例提供的示例结构，第三回波抑制单元503，具体可以是图2所示出的非线性声学回波抵消器(NLAEC)203中的组成部分；或者结合图4所示出的本发明的又一些实施例提供的示例结构，第三回波抑制单元503，具体可以是图4所示出的非线性声学回波抵消器(NLAEC)203中的组成部分；因此，第三回波抑制单元503的具体特性以及功能可参见前述实施例中对非线性声学回波抵消器(NLAEC)203的描述，在此将不再赘述。
进一步地，在本发明的一些实施例所提供的回波抑制装置中还可以包括：
判断单元504，用于根据所述第一音频信号和第一线性回波分量，分别抽取所述第一音频信号和所述第一线性回波分量的声纹特征矢量；以及，
用于计算所述第一音频信号的声纹特征矢量和所述第一线性回波分量的声纹特征矢量之间的相似度；以及，
用于若计算得到的相似度大于预设的门限值，则判断当前处于双讲状态，否则，判断当前处于单讲状态。
相应地，结合图4所示出的本发明的一些实施例提供的示例结构，判断单元504，具体可以是图4所示出的控制器401中的组成部分；因此，判断单元504的具体特性以及功能可参见前述实施例中对控制器401的描述，在此也将不再赘述。
可选地，音频接收器阵列中的音频接收器按照端射阵列方式排列放置。
对于软件实施，这些技术可以用实现这里描述的功能的模块(例如程序、功能等等)实现。软件代码可以储存在存储器单元中，并且由处理器执行。存储器单元可以在处理器内或者在处理器外实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (17)
1.一种回波抑制方法，其特征在于，该方法包括：
对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号；
根据所述第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号；其中，所述第一音频信号和所述第二音频信号是音频接收器阵列中的音频接收器采集得到的；
对所述第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制。
2.如权利要求1所述的方法，其特征在于，对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号，包括：
使用第一自适应滤波器对远端音频信号进行滤波得到第一线性回波分量；
根据所述第一线性回波分量，对所述第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号。
3.如权利要求2所述的方法，其特征在于，还包括：若判断当前处于单讲状态，则对所述第一自适应滤波器的系数矢量进行更新。
4.如权利要求1所述的方法，其特征在于，根据所述第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号，包括：
使用第二自适应滤波器对所述第一回波抑制信号进行滤波得到第一非线性回波分量；
根据所述第一非线性回波分量，对所述第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号。
5.如权利要求4所述的方法，其特征在于，还包括：若判断当前处于单讲状态且所述第一回波抑制信号的平均功率大于第一预设门限值，或者判断当前处于单讲状态且第一线性回波分量的平均功率大于第二预设门限值，则对所述第二自适应滤波器的系数矢量进行更新，所述第一线性回波分量为使用第一自适应滤波器对远端音频信号进行滤波得到的。
6.如权利要求1所述的方法，其特征在于，对所述第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制，包括：
使用第三自适应滤波器对远端音频信号进行滤波得到第二线性回波分量；
根据所述第二线性回波分量，对所述第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号；
根据所述第二回波抑制信号和所述第三回波抑制信号，使用非线性回波抑制器对所述第三回波抑制信号中的残留非线性回波分量进行抑制。
7.如权利要求6所述的方法，其特征在于，还包括：若判断当前处于单讲状态，则对所述第三自适应滤波器的系数矢量进行更新。
8.如权利要求3、5或7所述的方法，其特征在于，采用以下方式判断当前是否处于单讲状态：
根据所述第一音频信号和第一线性回波分量，分别抽取所述第一音频信号和所述第一线性回波分量的声纹特征矢量；
计算所述第一音频信号的声纹特征矢量和所述第一线性回波分量的声纹特征矢量之间的相似度；
若计算得到的相似度大于预设的门限值，则判断当前处于双讲状态，否则，判断当前处于单讲状态。
9.如权利要求1至7中任一项所述的方法，其特征在于，所述音频接收器阵列中的音频接收器按照端射阵列方式排列放置。
10.一种回波抑制装置，其特征在于，该装置包括：
第一回波抑制单元，用于对第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号；
第二回波抑制单元，用于根据所述第一回波抑制信号，对第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号；其中，所述第一音频信号和所述第二音频信号是音频接收器阵列中的音频接收器采集得到的；
第三回波抑制单元，用于对所述第二回波抑制信号中的线性回波分量和残留非线性回波分量进行抑制。
11.如权利要求10所述的装置，其特征在于，所述第一回波抑制单元，包括：
第一自适应滤波器，用于对远端音频信号进行滤波得到第一线性回波分量；
第一回波抑制模块，用于根据所述第一线性回波分量，对所述第一音频信号中的线性回波分量进行抑制，得到第一回波抑制信号。
12.如权利要求11所述的装置，其特征在于，所述第一自适应滤波器，还用于：在当前处于单讲状态时，对系数矢量进行更新。
13.如权利要求10所述的装置，其特征在于，所述第二回波抑制单元，包括：
第二自适应滤波器，用于对所述第一回波抑制信号进行滤波得到第一非线性回波分量；
第二回波抑制模块，用于根据所述第一非线性回波分量，对所述第二音频信号中的非线性回波分量进行抑制，得到第二回波抑制信号。
14.如权利要求13所述的装置，其特征在于，所述第二自适应滤波器，还用于：在当前处于单讲状态且所述第一回波抑制信号的平均功率大于第一预设门限值时，或者在当前处于单讲状态且第一线性回波分量的平均功率大于第二预设门限值时，对系数矢量进行更新，所述第一线性回波分量为使用第一自适应滤波器对远端音频信号进行滤波得到的。
15.如权利要求10所述的装置，其特征在于，所述第三回波抑制单元，包括：
第三自适应滤波器，用于对远端音频信号进行滤波得到第二线性回波分量；
第三回波抑制模块，用于根据所述第二线性回波分量，对所述第二回波抑制信号中的线性回波分量进行抑制，得到第三回波抑制信号；
非线性回波抑制器，用于根据所述第二回波抑制信号和所述第三回波抑制信号，对所述第三回波抑制信号中的残留非线性回波分量进行抑制。
16.如权利要求15所述的装置，其特征在于，所述第三自适应滤波器，还用于：在当前处于单讲状态时，对系数矢量进行更新。
17.如权利要求12、14或16所述的装置，其特征在于，还包括：
判断单元，用于根据所述第一音频信号和第一线性回波分量，分别抽取所述第一音频信号和所述第一线性回波分量的声纹特征矢量；用于计算所述第一音频信号的声纹特征矢量和所述第一线性回波分量的声纹特征矢量之间的相似度；以及，若计算得到的相似度大于预设的门限值，则判断当前处于双讲状态，否则，判断当前处于单讲状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610399409.4A CN107483761B (zh) | 2016-06-07 | 2016-06-07 | 一种回波抑制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610399409.4A CN107483761B (zh) | 2016-06-07 | 2016-06-07 | 一种回波抑制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107483761A true CN107483761A (zh) | 2017-12-15 |
| CN107483761B CN107483761B (zh) | 2019-09-17 |
Family
ID=60594193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610399409.4A Active CN107483761B (zh) | 2016-06-07 | 2016-06-07 | 一种回波抑制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107483761B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040498A (zh) * | 2018-08-12 | 2018-12-18 | 瑞声科技（南京）有限公司 | 一种提升回声抵消效果的方法及其系统 |
| WO2019047710A1 (zh) * | 2017-09-07 | 2019-03-14 | 电信科学技术研究院有限公司 | 有限冲激响应滤波器系数矢量的可持续更新方法及装置 |
| CN111261179A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 回声消除方法及装置和智能设备 |
| CN111292760A (zh) * | 2019-05-10 | 2020-06-16 | 展讯通信（上海）有限公司 | 发声状态检测方法及用户设备 |
| CN112017679A (zh) * | 2020-08-05 | 2020-12-01 | 海尔优家智能科技（北京）有限公司 | 用于自适应滤波器系数更新的方法及装置、设备 |
| CN112217948A (zh) * | 2020-10-10 | 2021-01-12 | 北京嘀嘀无限科技发展有限公司 | 语音通话的回声处理方法、装置、设备及存储介质 |
| CN112491449A (zh) * | 2020-11-04 | 2021-03-12 | 北京百度网讯科技有限公司 | 声回波消除方法、装置、电子设备和存储介质 |
| CN112534800A (zh) * | 2018-07-18 | 2021-03-19 | 谷歌有限责任公司 | 回波检测 |
| CN113362843A (zh) * | 2021-06-30 | 2021-09-07 | 北京小米移动软件有限公司 | 音频信号处理方法及装置 |
| CN113470675A (zh) * | 2021-06-30 | 2021-10-01 | 北京小米移动软件有限公司 | 音频信号处理方法及装置 |
| CN113489855A (zh) * | 2021-06-30 | 2021-10-08 | 北京小米移动软件有限公司 | 声音处理方法、装置、电子设备和存储介质 |
| CN113707167A (zh) * | 2021-08-31 | 2021-11-26 | 北京地平线信息技术有限公司 | 残留回声抑制模型的训练方法和训练装置 |
| US20220301577A1 (en) * | 2019-12-06 | 2022-09-22 | Spreadtrum Communications (Shanghai) Co., Ltd. | Echo cancellation method and apparatus |
| US20230282197A1 (en) * | 2022-03-07 | 2023-09-07 | Mediatek Singapore Pte. Ltd. | Heterogeneous Computing for Hybrid Acoustic Echo Cancellation |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809105A (zh) * | 2006-01-13 | 2006-07-26 | 北京中星微电子有限公司 | 适用于小型移动通信设备的双麦克语音增强方法及系统 |
| US20090089054A1 (en) * | 2007-09-28 | 2009-04-02 | Qualcomm Incorporated | Apparatus and method of noise and echo reduction in multiple microphone audio systems |
| US20120250882A1 (en) * | 2011-04-04 | 2012-10-04 | Qualcomm Incorporated | Integrated echo cancellation and noise suppression |
| CN103428385A (zh) * | 2012-05-11 | 2013-12-04 | 英特尔移动通信有限责任公司 | 用于处理音频信号的方法及用于处理音频信号的电路布置 |
| WO2015043150A1 (zh) * | 2013-09-27 | 2015-04-02 | 华为技术有限公司 | 一种消除回声的方法及装置 |
-
2016
- 2016-06-07 CN CN201610399409.4A patent/CN107483761B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809105A (zh) * | 2006-01-13 | 2006-07-26 | 北京中星微电子有限公司 | 适用于小型移动通信设备的双麦克语音增强方法及系统 |
| US20090089054A1 (en) * | 2007-09-28 | 2009-04-02 | Qualcomm Incorporated | Apparatus and method of noise and echo reduction in multiple microphone audio systems |
| US20120250882A1 (en) * | 2011-04-04 | 2012-10-04 | Qualcomm Incorporated | Integrated echo cancellation and noise suppression |
| CN103428385A (zh) * | 2012-05-11 | 2013-12-04 | 英特尔移动通信有限责任公司 | 用于处理音频信号的方法及用于处理音频信号的电路布置 |
| WO2015043150A1 (zh) * | 2013-09-27 | 2015-04-02 | 华为技术有限公司 | 一种消除回声的方法及装置 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019047710A1 (zh) * | 2017-09-07 | 2019-03-14 | 电信科学技术研究院有限公司 | 有限冲激响应滤波器系数矢量的可持续更新方法及装置 |
| US11295752B2 (en) | 2017-09-07 | 2022-04-05 | China Academy Of Telecommunications Technology | Method and device of sustainably updating coefficient vector of finite impulse response filter |
| CN112534800A (zh) * | 2018-07-18 | 2021-03-19 | 谷歌有限责任公司 | 回波检测 |
| CN109040498B (zh) * | 2018-08-12 | 2022-01-07 | 瑞声科技（南京）有限公司 | 一种提升回声抵消效果的方法及其系统 |
| CN109040498A (zh) * | 2018-08-12 | 2018-12-18 | 瑞声科技（南京）有限公司 | 一种提升回声抵消效果的方法及其系统 |
| CN111261179A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 回声消除方法及装置和智能设备 |
| CN111292760A (zh) * | 2019-05-10 | 2020-06-16 | 展讯通信（上海）有限公司 | 发声状态检测方法及用户设备 |
| CN111292760B (zh) * | 2019-05-10 | 2022-11-15 | 展讯通信（上海）有限公司 | 发声状态检测方法及用户设备 |
| EP4071757A4 (en) * | 2019-12-06 | 2023-06-21 | Spreadtrum Communications (Shanghai) Co., Ltd. | ECHO SUPPRESSION METHOD AND APPARATUS |
| US20220301577A1 (en) * | 2019-12-06 | 2022-09-22 | Spreadtrum Communications (Shanghai) Co., Ltd. | Echo cancellation method and apparatus |
| CN112017679B (zh) * | 2020-08-05 | 2024-01-26 | 海尔优家智能科技（北京）有限公司 | 用于自适应滤波器系数更新的方法及装置、设备 |
| CN112017679A (zh) * | 2020-08-05 | 2020-12-01 | 海尔优家智能科技（北京）有限公司 | 用于自适应滤波器系数更新的方法及装置、设备 |
| CN112217948A (zh) * | 2020-10-10 | 2021-01-12 | 北京嘀嘀无限科技发展有限公司 | 语音通话的回声处理方法、装置、设备及存储介质 |
| CN112217948B (zh) * | 2020-10-10 | 2022-01-18 | 北京嘀嘀无限科技发展有限公司 | 语音通话的回声处理方法、装置、设备及存储介质 |
| CN112491449B (zh) * | 2020-11-04 | 2024-04-16 | 北京百度网讯科技有限公司 | 声回波消除方法、装置、电子设备和存储介质 |
| CN112491449A (zh) * | 2020-11-04 | 2021-03-12 | 北京百度网讯科技有限公司 | 声回波消除方法、装置、电子设备和存储介质 |
| CN113362843B (zh) * | 2021-06-30 | 2023-02-17 | 北京小米移动软件有限公司 | 音频信号处理方法及装置 |
| CN113470675A (zh) * | 2021-06-30 | 2021-10-01 | 北京小米移动软件有限公司 | 音频信号处理方法及装置 |
| CN113362843A (zh) * | 2021-06-30 | 2021-09-07 | 北京小米移动软件有限公司 | 音频信号处理方法及装置 |
| CN113489855B (zh) * | 2021-06-30 | 2024-03-19 | 北京小米移动软件有限公司 | 声音处理方法、装置、电子设备和存储介质 |
| CN113489855A (zh) * | 2021-06-30 | 2021-10-08 | 北京小米移动软件有限公司 | 声音处理方法、装置、电子设备和存储介质 |
| CN113470675B (zh) * | 2021-06-30 | 2024-06-25 | 北京小米移动软件有限公司 | 音频信号处理方法及装置 |
| CN113707167A (zh) * | 2021-08-31 | 2021-11-26 | 北京地平线信息技术有限公司 | 残留回声抑制模型的训练方法和训练装置 |
| US20230282197A1 (en) * | 2022-03-07 | 2023-09-07 | Mediatek Singapore Pte. Ltd. | Heterogeneous Computing for Hybrid Acoustic Echo Cancellation |
| US11984110B2 (en) * | 2022-03-07 | 2024-05-14 | Mediatek Singapore Pte. Ltd. | Heterogeneous computing for hybrid acoustic echo cancellation |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107483761B (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107483761B (zh) | 一种回波抑制方法及装置 | |
| CN109686381B (zh) | 用于信号增强的信号处理器和相关方法 | |
| CN105144674B (zh) | 多通道回声消除与噪声抑制 | |
| CN108141502B (zh) | 降低声学系统中的声学反馈的方法及音频信号处理设备 | |
| US10827263B2 (en) | Adaptive beamforming | |
| CN111768796B (zh) | 一种声学回波消除与去混响方法及装置 | |
| US7773743B2 (en) | Integration of a microphone array with acoustic echo cancellation and residual echo suppression | |
| US10115412B2 (en) | Signal processor with side-tone noise reduction for a headset | |
| US9313573B2 (en) | Method and device for microphone selection | |
| CN108766456B (zh) | 一种语音处理方法及装置 | |
| WO2009117084A2 (en) | System and method for envelope-based acoustic echo cancellation | |
| EP2438766A1 (en) | Acoustic multi-channel cancellation | |
| US20220301577A1 (en) | Echo cancellation method and apparatus | |
| US9185506B1 (en) | Comfort noise generation based on noise estimation | |
| US11380312B1 (en) | Residual echo suppression for keyword detection | |
| US9020144B1 (en) | Cross-domain processing for noise and echo suppression | |
| CN111742541A (zh) | 声学回波抵消方法和装置 | |
| CN112863532A (zh) | 回音抑制装置、回音抑制方法以及存储介质 | |
| CN112929506B (zh) | 音频信号的处理方法及装置，计算机存储介质及电子设备 | |
| TWI465121B (zh) | 利用全方向麥克風改善通話的系統及方法 | |
| CN109326297B (zh) | 自适应后滤波 | |
| CN110199528B (zh) | 远场声音捕获 | |
| US9392365B1 (en) | Psychoacoustic hearing and masking thresholds-based noise compensator system | |
| CN115620737A (zh) | 语音信号处理装置、方法、电子设备和扩音系统 | |
| JP5025753B2 (ja) | エコーキャンセル装置、方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |