CN111383648B - 一种回波消除方法和装置 - Google Patents

Abstract

本申请实施例公开了一种回波消除方法及相关装置，在获取待回波消除的初始多通道音频信号时，可以先通过自适应滤波模块对初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号，暂时先不触发后滤波模块，而是先对处理后多通道音频信号进行波束形成处理得到高质量的第一单通道音频信号，然后再触发后滤波模块对第一单通道音频信号进行后滤波处理以消除通过自适应滤波后的残余回波以实现对初始多通道音频信号的回波消除。由此可见，通过改变后滤波处理的时机，不仅避免出现非线性失真，而且后滤波模块的处理对象是第一单通道音频信号，减少了后滤波处理的计算量，进一步提高了滤波效果。

Description

一种回波消除方法和装置

技术领域

本申请涉及音频处理领域，特别是涉及一种回波消除方法和装置。

背景技术

很多涉及音频处理的场景例如电视会议系统、免提电话、移动通信、智能音箱中，音频处理设备需要对获取的音频信号进行回波消除。回波消除是一个在语音通话中消除回波以提高通话质量的过程。由于语音压缩技术和包处理延迟会产生回波，通常需要回波消除。

传统的回波消除中，采用自适应滤波、后滤波和双讲判断这三个模块一起使用进行回波消除，然而这种回波消除方式的适用范围不大，尤其是当待处理音频信号为多通道音频信号时，回波消除效果并不理想，影响了用户体验。

发明内容

为了解决上述技术问题，本申请提供了一种回波消除方法和装置，使得整个回波消除系统达到更佳的增强效果。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种回波消除方法，所述方法包括：

获取待回波消除的初始多通道音频信号；

通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号；

对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

通过后滤波模块对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号。

可选的，所述方法还包括：

对所述第二单通道音频信号进行单通道语音增强处理，得到第三单通道音频信号；

通过双讲判断模块对所述第三单通道音频信号进行双讲判断，得到第一判断结果；所述第一判断结果用于标识所述第三单通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第一判断结果对所述第三单通道音频信号进行对应的语音处理。

可选的，在进行所述后滤波处理的过程中，所述通过后滤波模块对所述第一单通道音频信号进行后滤波处理，包括：

根据所述第一判断结果调整所述后滤波模块的滤波系数；

根据调整后的滤波系数，通过后滤波模块对所述第一单通道音频信号进行后滤波处理。

可选的，所述通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理，包括：

获取第二判断结果，所述第二判断结果用于标识所述初始多通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第二判断结果确定对应的滤波策略；

根据所述滤波策略，通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理。

可选的，所述初始多通道音频信号是通过麦克风阵列采集的。

第二方面，本申请实施例提供一种回波消除装置，所述装置包括获取模块、自适应滤波模块、波束形成模块和后滤波模块：

所述获取模块，用于获取待回波消除的初始多通道音频信号；

所述自适应滤波模块，用于对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号；

所述波束形成模块，用于对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

所述后滤波模块，用于对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号。

可选的，所述装置还包括单通道语音增强模块、双讲判断模块和处理模块：

所述单通道语音增强模块，用于对所述第二单通道音频信号进行单通道语音增强处理，得到第三单通道音频信号；

所述双讲判断模块，用于对所述第三单通道音频信号进行双讲判断，得到第一判断结果；所述第一判断结果用于标识所述第三单通道音频信号属于单端讲话模式或双端讲话模式；

所述处理模块，用于根据所述第一判断结果对所述第三单通道音频信号进行对应的语音处理。

可选的，在进行所述后滤波处理的过程中，所述后滤波模块具体用于：

根据所述第一判断结果调整所述后滤波模块的滤波系数；

根据调整后的滤波系数，通过后滤波模块对所述第一单通道音频信号进行后滤波处理。

可选的，所述自适应滤波模块具体用于：

获取第二判断结果，所述第二判断结果用于标识所述初始多通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第二判断结果确定对应的滤波策略；

根据所述滤波策略，通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理。

可选的，所述初始多通道音频信号是通过麦克风阵列采集的。

第三方面，本申请实施例提供一种用于回波消除的设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取待回波消除的初始多通道音频信号；

通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号；

对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

通过后滤波模块对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号。

第四方面，本申请实施例提供一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如第一方面中一个或多个所述的回波消除方法。

由上述技术方案可以看出，由于波束形成处理是针对多通道音频信号进行后续音频处理的重要步骤，可以将多通道信号转换为单通道信号，但是，由于波束形成处理的处理逻辑限制，所处理的多通道信号不能执行过非线性处理操作，否则会影响转换结果的质量，导致非线性失真。而回波消除中的自适应滤波处理不属于非线性处理，后滤波处理属于非线性处理，故为了避免影响波束形成处理的质量，有别于传统方式，改变了后滤波模块在回波消除中的处理时机。在获取待回波消除的初始多通道音频信号时，可以先通过自适应滤波模块对初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号，暂时先不触发后滤波模块，而是先对处理后多通道音频信号进行波束形成处理得到高质量的第一单通道音频信号，然后再触发后滤波模块对第一单通道音频信号进行后滤波处理以消除通过自适应滤波后的残余回波以实现对初始多通道音频信号的回波消除。由此可见，通过改变后滤波处理的时机，不仅避免出现非线性失真，而且后滤波模块的处理对象是第一单通道音频信号，减少了后滤波处理的计算量，进一步提高了滤波效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种音频处理设备进行回波消除的处理流程图；

图2为本申请实施例提供的一种回波消除方法的流程图；

图3为本申请实施例提供的一种音频处理设备进行回波消除的处理流程图；

图4为本申请实施例提供的一种音频处理设备进行回波消除的处理流程图；

图5为本申请实施例提供的一种回波消除装置的结构图；

图6为本申请实施例提供的一种用于回波消除的设备的结构图；

图7为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

传统的回波消除中，采用自适应滤波、后滤波和双讲判断这三个模块一起使用进行回波消除。具体的，首先利用双讲判断模块对待回波消除的音频信号进行双讲判断，判断该音频信号属于近端讲话、远端讲话和双端讲话三种模式中的哪一种；然后根据确定出的模式选取合适的滤波策略，根据选取的滤波策略，通过自适应滤波模块对该音频信号进行自适应滤波处理；之后通过后滤波模块对自适应滤波后的音频信号进行后滤波处理，以进行进一步抑制自适应滤波后的残余回波，实现回波消除。

回波消除所针对的音频信号可能是多通道音频信号。多通道音频信号可以是通过音频处理设备上的音频采集装置采集得到的，音频采集装置可以包括多个音频采集单元，每个音频采集单元可以采集到一路音频信号，这样，多个音频采集单元便采集到多路音频信号，该多路音频信号即多通道音频信号。然而，在针对多通道音频信号进行处理的过程中，在完成回波消除后，还需要对回波消除后的音频信号进行波束形成处理，从而将多通道音频信号转变成单通道音频信号，单通道音频信号相对于多通道音频信号明显增强，便于后续清晰的识别音频信号。

由于波束形成处理的处理逻辑限制，其处理的多通道信号不能执行过非线性处理操作，否则会影响转换结果的质量，导致非线性失真。因此，在针对多通道音频信号进行处理的过程中，如果采用传统的回波消除方法，波束形成处理在后滤波模块执行后滤波处理之后，并且由于后滤波处理属于非线性处理，此时，波束形成处理的多通道信号执行过非线性处理操作，从而影响波束形成处理的转换结果的质量，导致非线性失真。

为此，本申请实施例提供一种回波消除方法，该方法可以应用到如图1所示的音频处理设备中，音频处理设备至少包括自适应滤波模块101、波束形成模块102和后滤波模块103。音频处理设备根据音频处理的场景确定，例如，在智能音箱的场景中，音频采集设备为智能音箱。

该方法有别于传统的回波消除方法，改变了后滤波模块103在回波消除中的处理时机，当需要对某个多通道音频信号例如初始多通道音频信号进行回波消除时，依次对初始多通道音频信号执行自适应滤波处理、波束形成处理和后滤波处理，即通过自适应滤波模块101对初始多通道音频信号执行自适应滤波处理后，暂时先不触发后滤波模块103，而是先通过波束形成模块102对自适应滤波处理后多通道音频信号进行波束形成处理，然后再触发后滤波模块103对波束形成处理后的多通道音频信号进行后滤波处理，从而避免波束形成处理所处理的初始多通道音频信号执行过非线性处理，避免回波消除后的初始多通道音频信号出现非线性失真。

在本实施例中，自适应滤波后的初始多通道音频信号可以称为处理后多通道音频信号；经过自适应滤波处理和波束形成处理后的多通道音频信号可以称为第一单通道音频信号；后滤波处理后的第一单通道音频信号可以称为第二单通道音频信号。

需要说明的是，本实施例所提供的回波消除方法可以应用在电视会议系统、免提电话、移动通信、智能音箱等音频处理的场景中。例如，在智能音箱的场景中，若智能音箱正在播放音乐，智能音箱的麦克风阵列可以采集到其自身播放的音乐，若用户并没有发出语音来控制智能音箱，智能音箱也可能会响应于麦克风阵列采集到的音乐而对自身进行控制。此时，初始多通道音频信号为麦克风阵列采集到其自身播放的音乐，回波为麦克风阵列采集到其自身播放的音乐。

为了避免出现通过麦克风阵列采集到的音乐对智能音箱进行误控制的情况，需要对初始多通道音频信号进行回波消除。

若在智能音箱播放音乐的同时，用户发出语音以控制智能音箱切换音乐，那么，智能音箱的麦克风阵列可以采集到其自身播放的音乐和用户发出的语音，麦克风阵列采集到的音乐可能会干扰用户发出的语音，使得智能音箱难以识别出用户发出的语音，用户难以实现对智能音箱的控制。此时，初始多通道音频信号为麦克风阵列采集到其自身播放的音乐和用户发出的语音，回波为麦克风阵列采集到其自身播放的音乐。

为了避免智能音箱难以识别出用户发出的语音而导致用户难以实现对智能音箱的控制，需要对初始多通道音频信号进行回波消除，抑制初始多通道音频信号中的音乐，而尽量保留用户发出的语音。

接下来，将结合附图对本申请实施例提供的回波消除方法进行介绍。

参见图2，所述方法包括：

S201、获取待回波消除的初始多通道音频信号。

初始多通道音频信号中至少包括回波，回波可以是第一声源(例如音频处理设备的扬声器)所发出声音对应的原始音频信号再次被传回第一声源产生的。当然，在一些情况下，初始多通道音频信号中还可以包括第二声源(例如除了音频处理设备以外的其他声源)所发出声音对应的音频信号。

需要说明的是，初始多通道音频信号可以是音频处理设备中的音频采集装置获取的，音频采集装置可以通过自身配置的多个音频采集单元采集声源发出的声音，通过采集该声音，每个音频采集单元都可以采集到一路音频信号，故音频采集装置可以通过所配置的音频采集单元获取多路音频信号，作为初始多通道音频信号。

在音频采集装置中，多个音频采集单元可以按照一定的规则排布。在一些情况下，单个音频采集单元可以是麦克风，相应的，音频采集装置为麦克风阵列。

S202、通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号。

本实施例采用的自适应滤波处理是一种线性处理，可以过滤掉初始多通道音频信号中的一部分回波，从而抑制初始多通道音频信号中的回波。

由于回波是由原始音频信号引起的，在自适应滤波处理时，引起回波的原始音频信号可以作为参考信号，根据参考信号可以识别出初始多通道音频信号中是否存在回波，尽可能保证自适应滤波处理消除的是回波，减少语音失真。

参见图3所示，音频处理设备还可以获取来自扬声器的参考信号，然后由自适应滤波模块101根据参考信号对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号。

自适应滤波处理不是非线性处理，在执行完自适应滤波处理后可以执行波束形成处理。由于自适应滤波处理可以消除一部分回波，从而可以提高波束形成处理的质量。

S203、对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号。

波束形成处理是针对多通道音频信号进行后续音频处理的重要步骤，可以将多通道音频信号转换为单通道音频信号。由于多通道音频信号中每个通道的音频信号可能比较弱，通过波束形成处理可以将比较弱的多通道音频信号转换成一个增强的单通道音频信号。

S204、通过后滤波模块对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号。

在通过自适应滤波处理以及波束形成处理后，第一单通道音频信号可能还残余回波，因此，可以对第一单通道音频信号进行后滤波处理以消除通过自适应滤波后的残余回波，实现对初始多通道音频信号的回波消除。

由上述技术方案可以看出，由于波束形成处理是针对多通道音频信号进行后续音频处理的重要步骤，可以将多通道信号转换为单通道信号，但是，由于波束形成处理的处理逻辑限制，所处理的多通道信号不能执行过非线性处理操作，否则会影响转换结果的质量，导致非线性失真。而回波消除中的自适应滤波处理不属于非线性处理，后滤波处理属于非线性处理，故为了避免影响波束形成处理的质量，有别于传统方式，改变了后滤波模块在回波消除中的处理时机。在获取待回波消除的初始多通道音频信号时，可以先通过自适应滤波模块对初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号，暂时先不触发后滤波模块，而是先对处理后多通道音频信号进行波束形成处理得到高质量的第一单通道音频信号，然后再触发后滤波模块对第一单通道音频信号进行后滤波处理以消除通过自适应滤波后的残余回波以实现对初始多通道音频信号的回波消除。由此可见，通过改变后滤波处理的时机，不仅避免出现非线性失真，而且后滤波模块的处理对象是第一单通道音频信号，减少了后滤波处理的计算量，进一步提高了滤波效果。

需要说明的是，在执行S204后，还可以对第二单通道音频信号进行后续音频处理，得到高质量的音频信号。

为此，音频处理设备还可以包括单通道语音增强模块104和双讲判断模块105，参见图4所示，利用单通道语音增强模块104和双讲判断模块105执行后续音频处理。接下来，将对执行S204后，对第二单通道音频信号所进行的后续音频处理进行介绍。

后续音频处理可以包括利用单通道语音增强模块104对所述第二单通道音频信号进行单通道语音增强处理，得到第三单通道音频信号。单通道语音增强处理可以增强音频信号，进一步提高第二单通道音频信号的质量。

其中，单通道语音增强处理可以包括解混响处理、降噪处理、增益控制等中的一种或多种。

另外，初始多通道音频信号可以包括在不同讲话模式下生成的音频信号，讲话模式例如包括单端讲话模式、双端讲话模式。在本实施中，单端讲话模式为仅有音频处理设备的扬声器发出声音；双端讲话模式为在较短时间内音频处理设备的扬声器发出声音，音频处理设备以外的其他声源也发出声音，音频处理设备的扬声器与其他声源可以同时发出声音，也可以交替发出声音。

讲话模式不同，对音频信号进行的后续语音处理可能有所不同。为此，后续音频处理还可以包括通过双讲判断模块105对所述第三单通道音频信号进行双讲判断，得到第一判断结果，根据所述第一判断结果对所述第三单通道音频信号进行对应的语音处理。其中，第一判断结果用于标识所述第三单通道音频信号属于单端讲话模式或双端讲话模式。

可以理解的是，由于双讲判断是在执行完单通道语音增强处理后执行的，执行完单通道语音增强处理后得到的第三单通道音频信号质量较高，故，对质量较高的第三单通道音频信号进行双讲判断可以得到准确的第一判断结果。

在一些可能的实现方式中，若第一判断结果标识所述第三单通道音频信号属于单端讲话模式，则从第三单通道音频信号中由第一判断结果所标识的部分音频信号里切割掉在单端讲话模式下生成的音频信号；若第一判断结果标识所述第三单通道音频信号属于双端讲话模式，则确定第三单通道音频信号中由第一判断结果所标识的部分音频信号为双端讲话模式下生成的音频信号，予以保留。或者，若第一判断结果标识所述第三单通道音频信号属于单端讲话模式，可以在第三单通道音频信号中由第一判断结果所标识的部分音频信号里为在单端讲话模式下生成的音频信号设置标签，所述标签用于标识所述第三单通道音频信号为在单端讲话模式下生成的，无需对其进行后续处理；若第一判断结果标识所述第三单通道音频信号属于双端讲话模式，确定第三单通道音频信号中由第一判断结果所标识的部分音频信号为双端讲话模式下生成的音频信号，需要对其进行后续处理。

例如，在智能音箱的场景中，单端讲话模式可以是仅有智能音箱在播放音乐，双端讲话模式为智能音箱在播放音乐的同时，用户发出语音以控制智能音箱切换音乐，其中，第一声源为智能音箱，第二声源为用户。若第一判断结果标识所述第三单通道音频信号属于单端讲话模式，则从第三单通道音频信号中由第一判断结果所标识的部分音频信号里切割掉在单端讲话模式下生成的音频信号，避免对智能音箱误控制。若第一判断结果标识所述第三单通道音频信号属于双端讲话模式，则确定第三单通道音频信号中由第一判断结果所标识的部分音频信号为双端讲话模式下生成的音频信号，予以保留，以便智能音箱可以响应于第三单通道音频信号，实现用户对智能音箱的控制。

需要说明的是，第三单通道音频信号表示的是经过自适应滤波处理、波束形成处理、后滤波处理和单通道语音增强处理后的初始多通道音频信号。

需要说明的是，在执行S204时，需要选择合适的后滤波模块的滤波系数，滤波系数越强，后滤波处理对第一单通道音频信号中的回波消除效果越好。然而，在通过后滤波处理消除回波时，若初始多通道音频信号还包括第二声源发出的音频信号，后滤波处理可能还会对第二声源发出的音频信号造成影响，滤波系数越强，后滤波处理对第二声源发出的音频信号影响越大，甚至可能会使得第二声源发出的音频信号失真。

因此，在选择后滤波模块的滤波系数时，若第一单通道音频信号中仅包括回波，可以选择强滤波系数，该强滤波系数的选取方式可以如下所示：

从多个滤波系数中确定回波消除效果最强的前N个滤波系数，从该N个滤波系数中选择任意一个作为后滤波模块的滤波系数，N可以是预先设置的，也可以是根据回波消除效果阈值或比例系数等确定的；

若第一单通道音频信号中包括回波和第二声源发出的音频信号时，可以选择弱滤波系数，以保证第二声源发出的音频信号的质量。该弱滤波系数的选取方式可以如下所示：

从多个滤波系数中确定回波消除效果最弱的前M个滤波系数，从该M个滤波系数中选择任意一个作为后滤波模块的滤波系数，M可以是预先设置的，也可以是根据回波消除效果阈值或比例系数等确定的。

由于第一判断结果可以反映出第一单通道音频信号中是否包括第二声源发出的音频信号，故，在执行S204时可以将双讲判断模块105得到的第一判断结果反馈至后滤波模块103，以便根据所述第一判断结果调整后滤波模块103的滤波系数，根据调整后的滤波系数，通过后滤波模块103对所述第一单通道音频数据进行后滤波处理。

其中，若第一判断结果标识所述第三单通道音频信号属于单端讲话模式，初始多通道音频信号中包括回波，此时，只需考虑滤波系数对回波消除效果的影响，因此，可以将后滤波模块103的滤波系数调整至前述的强滤波系数；若第一判断结果标识所述第三单通道音频信号属于双端讲话模式，此时，初始多通道音频信号中包括回波和第二声源发出的音频信号，为了减小后滤波处理对第二声源发出的音频信号质量的影响，可以将后滤波模块103的滤波系数调整至前述的弱滤波系数。

根据第一判断结果对滤波系数进行调整，可以不断地对滤波系数进行修正，从而提高第二单通道音频信号的质量。而随着音频信号处理的不断进行，得到的第一判断结果越来越好，反过来还会进一步提高第二单通道音频信号的质量。

需要说明的是，在执行S202时，由于自适应滤波处理在双端讲话模式下也会影响第二声源发出的音频信号质量，因此，在对初始多通道音频信号进行自适应滤波处理之前，也可以利用双讲判断模块105对初始多通道音频信号进行双讲判断，得到第二判断结果，所述第二判断结果用于标识所述初始多通道音频信号属于单端讲话模式或双端讲话模式，以便根据第二判断结果执行S202。

相应的，S202的一种可能的实现方式为：获取第二判断结果；根据所述第二判断结果确定对应的滤波策略；根据所述滤波策略，通过自适应滤波模块对所述待处理音频信号进行自适应滤波处理。

若第二判断结果标识初始多通道音频信号属于单端讲话模式，则确定出的滤波策略可以以保证回波消除效果为主；若第二判断结果标识初始多通道音频信号属双端讲话模式，则确定出的滤波策略可以以保证第二声源发出的音频信号质量为主。

由此可见，不同于传统的回波消除方法，即通常仅在滤波中通过双讲判断调整滤波参数，本方案中对单通道语音增强后的第三单通道音频信号进行单独的双讲判断，由于经过前面的多步处理，此处音频信号中的回声残余较少，可以得到比传统方法更为准确的判断结果，同时，得到的第一判断结果会反馈给后滤波模块，指导其修正滤波系数，可以加速滤波器的收敛和得到更好的滤波效果。

基于图2所对应实施例提供的回波消除方法，本实施例提供一种回波消除装置，参见图5，所述装置包括获取模块501、自适应滤波模块502、波束形成模块503和后滤波模块504：

所述获取模块501，用于获取待回波消除的初始多通道音频信号；

所述自适应滤波模块502，用于对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号；

所述波束形成模块503，用于对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

所述后滤波模块504，用于对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号。

可选的，所述装置还包括单通道语音增强模块、双讲判断模块和处理模块：

所述单通道语音增强模块，用于对所述第二单通道音频信号进行单通道语音增强处理，得到第三单通道音频信号；

所述双讲判断模块，用于对所述第三单通道音频信号进行双讲判断，得到第一判断结果；所述第一判断结果用于标识所述第三单通道音频信号属于单端讲话模式或双端讲话模式；

所述处理模块，用于根据所述第一判断结果对所述第三单通道音频信号进行对应的语音处理。

可选的，在进行所述后滤波处理的过程中，所述后滤波模块具体用于：

根据所述第一判断结果调整所述后滤波模块的滤波系数；

根据调整后的滤波系数，通过后滤波模块对所述第一单通道音频信号进行后滤波处理。

可选的，所述自适应滤波模块具体用于：

获取第二判断结果，所述第二判断结果用于标识所述初始多通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第二判断结果确定对应的滤波策略；

根据所述滤波策略，通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理。

可选的，所述初始多通道音频信号是通过麦克风阵列采集的。

由上述技术方案可以看出，由于波束形成处理是针对多通道音频信号进行后续音频处理的重要步骤，可以将多通道信号转换为单通道信号，但是，由于波束形成处理的处理逻辑限制，所处理的多通道信号不能执行过非线性处理操作，否则会影响转换结果的质量，导致非线性失真。而回波消除中的自适应滤波处理不属于非线性处理，后滤波处理属于非线性处理，故为了避免影响波束形成处理的质量，有别于传统方式，改变了后滤波模块在回波消除中的处理时机。在获取待回波消除的初始多通道音频信号时，可以先通过自适应滤波模块对初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号，暂时先不触发后滤波模块，而是先对处理后多通道音频信号进行波束形成处理得到高质量的第一单通道音频信号，然后再触发后滤波模块对第一单通道音频信号进行后滤波处理以消除通过自适应滤波后的残余回波以实现对初始多通道音频信号的回波消除。由此可见，通过改变后滤波处理的时机，不仅避免出现非线性失真，而且后滤波模块的处理对象是第一单通道音频信号，减少了后滤波处理的计算量，进一步提高了滤波效果。

本实施例还提供一种用于回波消除的设备，图6是根据一示例性实施例示出的一种设备600的框图。例如，设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行一种回波消除的方法，所述方法包括：

获取待回波消除的初始多通道音频信号；

通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号；

对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

通过后滤波模块对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号。

本实施例提供一种服务器，图7是本发明实施例中服务器的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器700上执行存储介质730中的一系列指令操作。

服务器700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，一个或一个以上键盘756，和/或，一个或一个以上操作系统741，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种回波消除方法，其特征在于，所述方法包括：

获取待回波消除的初始多通道音频信号；

获取第二判断结果，所述第二判断结果用于标识所述初始多通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第二判断结果确定对应的滤波策略；若所述第二判断结果标识所述初始多通道音频信号属于单端讲话模式，则所述滤波策略用于指示以保证回波消除效果为主，若所述第二判断结果标识所述初始多通道音频信号属于双端讲话模式，则所述滤波策略用于指示以保证第二声源发出的音频信号质量为主；所述第二声源为除了音频处理设备以外的其他声源；

根据所述滤波策略，通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理；

对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

通过后滤波模块对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号；

对所述第二单通道音频信号进行单通道语音增强处理，得到第三单通道音频信号；

通过双讲判断模块对所述第三单通道音频信号进行双讲判断，得到第一判断结果；所述第一判断结果用于标识所述第三单通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第一判断结果对所述第三单通道音频信号进行对应的语音处理。

2.根据权利要求1所述的方法，其特征在于，在进行所述后滤波处理的过程中，所述通过后滤波模块对所述第一单通道音频信号进行后滤波处理，包括：

根据所述第一判断结果调整所述后滤波模块的滤波系数；

根据调整后的滤波系数，通过后滤波模块对所述第一单通道音频信号进行后滤波处理。

3.根据权利要求1-2任意一项所述的方法，其特征在于，所述初始多通道音频信号是通过麦克风阵列采集的。

4.一种回波消除装置，其特征在于，所述装置包括获取模块、自适应滤波模块、波束形成模块、后滤波模块、单通道语音增强模块、双讲判断模块和处理模块：

所述获取模块，用于获取待回波消除的初始多通道音频信号；

所述自适应滤波模块，用于对所述初始多通道音频信号进行自适应滤波处理，得到处理后多通道音频信号；

所述波束形成模块，用于对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

所述后滤波模块，用于对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号；

所述单通道语音增强模块，用于对所述第二单通道音频信号进行单通道语音增强处理，得到第三单通道音频信号；

所述双讲判断模块，用于对所述第三单通道音频信号进行双讲判断，得到第一判断结果；所述第一判断结果用于标识所述第三单通道音频信号属于单端讲话模式或双端讲话模式；

所述处理模块，用于根据所述第一判断结果对所述第三单通道音频信号进行对应的语音处理；

所述自适应滤波模块具体用于：

获取第二判断结果，所述第二判断结果用于标识所述初始多通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第二判断结果确定对应的滤波策略；

根据所述滤波策略，通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理。

5.根据权利要求4所述的装置，其特征在于，在进行所述后滤波处理的过程中，所述后滤波模块具体用于：

根据所述第一判断结果调整所述后滤波模块的滤波系数；

根据调整后的滤波系数，通过后滤波模块对所述第一单通道音频信号进行后滤波处理。

6.根据权利要求4-5任意一项所述的装置，其特征在于，所述初始多通道音频信号是通过麦克风阵列采集的。

7.一种用于回波消除的设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取待回波消除的初始多通道音频信号；

获取第二判断结果，所述第二判断结果用于标识所述初始多通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第二判断结果确定对应的滤波策略；若所述第二判断结果标识所述初始多通道音频信号属于单端讲话模式，则所述滤波策略用于指示以保证回波消除效果为主，若所述第二判断结果标识所述初始多通道音频信号属于双端讲话模式，则所述滤波策略用于指示以保证第二声源发出的音频信号质量为主；所述第二声源为除了音频处理设备以外的其他声源；

根据所述滤波策略，通过自适应滤波模块对所述初始多通道音频信号进行自适应滤波处理；

对所述处理后多通道音频信号进行波束形成处理，得到第一单通道音频信号；

通过后滤波模块对所述第一单通道音频信号进行后滤波处理，得到第二单通道音频信号；

对所述第二单通道音频信号进行单通道语音增强处理，得到第三单通道音频信号；

通过双讲判断模块对所述第三单通道音频信号进行双讲判断，得到第一判断结果；所述第一判断结果用于标识所述第三单通道音频信号属于单端讲话模式或双端讲话模式；

根据所述第一判断结果对所述第三单通道音频信号进行对应的语音处理。

8.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至3中一个或多个所述的回波消除方法。