CN110689900A - 信号增强方法和装置、计算机可读存储介质、电子设备 - Google Patents
信号增强方法和装置、计算机可读存储介质、电子设备 Download PDFInfo
- Publication number
- CN110689900A CN110689900A CN201910933099.3A CN201910933099A CN110689900A CN 110689900 A CN110689900 A CN 110689900A CN 201910933099 A CN201910933099 A CN 201910933099A CN 110689900 A CN110689900 A CN 110689900A
- Authority
- CN
- China
- Prior art keywords
- signal
- transfer function
- matrix
- determining
- positions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims abstract description 118
- 238000012546 transfer Methods 0.000 claims abstract description 98
- 230000000903 blocking effect Effects 0.000 claims abstract description 64
- 230000005236 sound signal Effects 0.000 claims abstract description 50
- 230000003044 adaptive effect Effects 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 230000001629 suppression Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0324—Details of processing therefor
- G10L21/0332—Details of processing therefor involving modification of waveforms
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本公开实施例公开了一种信号增强方法和装置、计算机可读存储介质、电子设备，其中，方法包括：确定设定空间中的至少两个位置各自对应的传递函数矩阵；基于所述传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；基于所述传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；通过所述波束滤波器和阻塞矩阵对所述原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号，本实施例基于传递函数矩阵确定的波束滤波器和阻塞矩阵更适合对设定空间中的声源信号进行信号增强，提升了波束滤波器对声源的增强效果，提升了阻塞矩阵对声源的抑制效果。
Description
技术领域
本公开涉及声音信号处理技术，尤其是一种信号增强方法和装置、计算机可读存储介质、电子设备。
背景技术
为了方便对于设定空间内多个位置的语音分别进行识别等处理，需要分别对多个位置分别进行增强，以提高处理效果，例如，在车内空间多用户对车辆进行控制，需要分别增强每个座位的语音信息。但设定空间除了需处理的语音信号，还会存在其他声音信号(如，噪声等)，例如，车内空间中存在：声音反射、散射强度较大，车辆行驶中，受到胎噪、风噪、发动机噪声、车内空调噪声、车内音乐以及车内说话人干扰等影响，传统语音增强方法性能受限。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种信号增强方法和装置、计算机可读存储介质、电子设备。
根据本公开实施例的一个方面，提供了一种信号增强方法，包括：
确定设定空间中的至少两个位置各自对应的传递函数矩阵；
基于所述传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；
基于传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；
通过所述波束滤波器和阻塞矩阵对所述原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号。
根据本公开实施例的另一方面，提供了一种信号增强装置，包括：
矩阵确定模块，用于确定设定空间中的至少两个位置各自对应的传递函数矩阵；
滤波确定模块，用于基于所述矩阵确定模块确定的传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；
信号采集模块，用于基于传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；
信号增强模块，用于通过所述滤波确定模块确定的波束滤波器和阻塞矩阵对所述信号采集模块采集的原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号。
根据本公开实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述实施例所述的信号增强方法。
根据本公开实施例的还一方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述实施例所述的信号增强方法。
基于本公开上述实施例提供的一种信号增强方法和装置、计算机可读存储介质、电子设备，确定设定空间中的至少两个位置各自对应的传递函数矩阵；基于所述传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；基于传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；通过所述波束滤波器和阻塞矩阵对所述原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号，本实施例基于传递函数矩阵确定的波束滤波器和阻塞矩阵更适合对设定空间中的声源信号进行信号增强，提升了波束滤波器对声源的增强效果，提升了阻塞矩阵对声源的抑制效果。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的信号增强方法的流程示意图。
图2是图1提供的信号增强方法对应的系统框图。
图3是本公开另一示例性实施例提供的信号增强方法的流程示意图。
图4是本公开图3所示的实施例中步骤302的一个流程示意图。
图5是本公开图3所示的实施例中步骤304的一个流程示意图。
图6是本公开图3所示的实施例中步骤301的一个流程示意图。
图7是本公开图6所示的实施例中步骤3013的一个流程示意图。
图8是本公开一示例性实施例提供的信号增强装置的结构示意图。
图9是本公开另一示例性实施例提供的信号增强装置的结构示意图。
图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
申请概述
在实现本公开的过程中，发明人发现，现有的信号增强方法通常采用在设定空间内安装线性阵列，基于自由场模型增强设定空间内的语音信息；但该方法至少存在以下问题：通常只能增强特定位置的语音信息，无法实现所有位置拾音；由于设定空间内存在反射与散射作用，自由场模型与实际模型差别较大，语音增强性能受限。
示例性系统
图1是本公开一示例性实施例提供的信号增强方法的流程示意图。图2是图1提供的信号增强方法对应的系统框图，以下结合图1和图2对该信号增强方法进行解释：
步骤101，获取声源相对于传声器阵列的传递函数矩阵；该传递函数矩阵的获取可以是从数据库中直接获取的，或者，基于针对设定空间内的多个位置各自对应的设定发声范围离线建模获得的绝对传递函数获得；其中，数据库中的传递函数矩阵可以是基于任意方法(例如，基于离线建模获得的绝对传递函数处理获得)获得之后存储的，在之后需要获取时，直接从数据库调用即可。本实施例中使用的是绝对传递函数；相对传递函数是两个传声器之间的传递函数，更适用于两单元传声器阵列；绝对传递函数是传声器与声源之间的传递函数，更适用于多单元传声器阵列。
可选地，离线建模获得绝对传递函数的过程包括：
使用声音信号(如，白噪声)对每个位置的声音可能出现的发声范围进行离线建模，获得每个位置所在方向的绝对传递函数。具体可包括：选取设定空间内的一个位置q，在位置q上声音可能出现的小范围区域，选取P个发声范围，使用人工嘴在上述位置播放已知声音信号(如，白噪声)，同步采集人工嘴播放的已知声音信号以及传声器阵列接收到的信号x=[x1，x2，...，xM]，其中M为传声器数目，第q个位置的声源与第m个传声器之间的绝对传递函数可以表示为：
其中，分别表示声源在第p个位置时，第m个传声器接收到的时域信号，N表示时域建模数据的长度，“*”表示卷积。
对于设定空间内的Q个位置，M个传声器单元，离线建模可以获得绝对传递函数h，如下公式(2)所示：
基于上述绝对传递函数获得传递函数矩阵包括：
将离线建模获得的绝对传递函数归一化，可以表示为公式(3)所示：
其中，
为公式(2)的第q列，
表示
的l-范数，l＝1时表示按照幅度归一化，l＝2表示按照能量归一化，本公开可采用能量归一化，保证能量一致，保证了每个声源相对传声器接收到的能量一致。将归一化后的传递函数变换到频域，获得声源相对于传声器阵列的传递函数矩阵，第ω频率处的传递函数矩阵H(ω)可以表示为：
步骤102，根据获得的传递函数矩阵确定自适应滤波的波束滤波器。每个波束滤波器对应一个位置，确定一个位置的波束滤波器的方法可以采用不同方法确定，如：最小方差无失真(MVDR)波束、延时求和波束、超指向性波束等，以最小方差无失真(MVDR)波束为例，第q个位置的波束滤波器可以表示为以下公式(5)所示：
其中，hq(ω)为第q个位置频率为ω的导向向量，可以表示为公式(6)所示：
hq(ω)＝[H1q(ω) H2q(ω) … HMq(ω)]T 公式(6)
R(ω)表示观测信号的协方差矩阵，可以表示为以下公式(7)所示：
其中，xt(ω)为第t时刻传声器阵列接收到的频域信号，该频域信号通过传声器阵列采集的原始声音信号(时域)，经过傅立叶变换后获得，()H表示共轭转置，()T表示转置，除了MVDR波束外，上述方法也可以适用于延时求和波束、超指向性波束等。
适用波束方法增强后的第q个位置的信号Yq(ω)可以表示为公式(8)所示：
Yq(ω)＝wq(ω)Hx(ω) 公式(8)
步骤103，根据传递函数矩阵确定阻塞矩阵。确定阻塞矩阵的目的在于抑制声源方向的信号，该抑制过程可以公式(9)表示：
Bq(ω)Hhq(ω)＝0 公式(9)
其中，Bq(ω)为阻塞矩阵，以第q个座位声源为例，已知导向向量hq(ω)的情况下，可以通过多种方法确定阻塞矩阵，作为一个可选示例，本实施例的固定式阻塞矩阵Bq(ω)可以表示为以下公式(10)：
由上述公式(10)可知，上述阻塞矩阵Bq(ω)可有效抑制声源方向的信号。阻塞矩阵输出信号uq(ω)可表示为：
uq(ω)＝Bq(ω)Hx(ω) 公式(11)
对于公式(10)共设计了M组阻塞矩阵，均用来抑制第q个位置方向的信号，因此uq(ω)可表示为：
uq(ω)＝[U1q(ω) U2q(ω) … UMq(ω)]T 公式(12)
需要说明的是，除了上述固定式阻塞矩阵，本实施例还可适用其他阻塞矩阵，例如，自适应阻塞矩阵等。
步骤104，通过自适应方法进一步抑制期望信号中的残留干扰，获得增强后的期望信号。波束输出用于增强期望位置的声音信号，阻塞矩阵用于抑制期望位置信号的输出，获得波束输出和阻塞矩阵输出后，以波束输出作为增强后的声音信号，阻塞矩阵输出作为干扰参考信号，可以使用自适应方法进一步抑制增强后的声音信号中的残留干扰信号获得期望信号，此时，期望信号Eq(ω)可以表示为：
Eq(ω)＝Yq(ω)-ga(ω)Huq(ω) 公式(13)
其中，gq(ω)为多通道自适应干扰消除器，可以表示为：
gq(ω)＝[G1q(ω) G2q(ω) … GMq(ω)]T 公式(14)
上述自适应干扰消除器可以通过最小化期望信号Eq(ω)进行自适应调整。
示例性方法
图3是本公开另一示例性实施例提供的信号增强方法的流程示意图。本实施例可应用在电子设备上，如图3所示，包括如下步骤：
步骤301，确定设定空间中的至少两个位置各自对应的传递函数矩阵。
本实施例中的设定空间可以为车内等空间，每个位置可对应至少一个设定发声范围，例如，对应上述图1所示的实施例中步骤101中选取设定空间内的一个位置q，在位置q上声音可能出现的小范围区域，选取P个发声范围，其中的P个发声范围为该位置q对应的多个设定发声范围。本实施例中的传递函数矩阵可以为如图1提供的实施例中的公式(4)所示。
步骤302，基于传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵。
可选地，波束滤波器用于增强期望位置的声音信号，而阻塞矩阵用于抑制期望位置的信号；本实施例中，可通过上述图1提供的实施例中步骤102所示的方法获得波束滤波器，可通过上述图1提供的实施例中步骤103所示的方法获得阻塞矩阵。
步骤303，基于传声器阵列分别对至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号。
本实施例中，传声器阵列可以为分布式传声器阵列，基于分布式传声器阵列接收到的信号对每个位置的声源有一定的区分度，靠近声源位置的传声单元接收到的能量最大，实现了语音增强。
步骤304，通过波束滤波器和阻塞矩阵对原始声音信号进行处理，得到至少两个位置中每个位置对应的期望信号。
本实施例基于相对传递矩阵确定的波束滤波器和阻塞矩阵更适合对设定空间中的声源信号进行信号增强，其中，通过波束滤波器和阻塞矩阵对原始声音信号进行处理的过程可参照图1提供的实施例中步骤104所示的方法进行理解。
本公开上述实施例提供的一种信号增强方法，通过传声器阵列对设定空间中的至少两个位置进行离线建模，获得所述至少两个位置对应的传递函数矩阵；基于所述传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；基于所述传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；通过所述波束滤波器和阻塞矩阵对所述原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号，本实施例基于传递函数矩阵确定的波束滤波器和阻塞矩阵更适合对设定空间中的声源信号进行信号增强，提升了波束滤波器对声源的增强效果，提升了阻塞矩阵对声源的抑制效果。
如图4所示，在上述图3所示实施例的基础上，步骤302可包括如下步骤：
步骤3021，基于传递函数矩阵分别为至少两个位置中的每个位置确定波束滤波器。
可选地，可参照图1提供的实施例中公式(5)确定每个位置波束滤波器。
步骤3022，对至少两个位置中的每个位置，基于传递函数矩阵，分别采用至少一种阻塞矩阵的生成方法确定一个阻塞矩阵。
可选地，阻塞矩阵可以通过一种或多种方法生成，例如，如图1提供的实施例中公式(12)所示，通过M种方法，获得M组阻塞矩阵，其输出分别表示为U1q(ω)、U2q(ω)、…、UMq(ω)，并参照图2所示，结合所有阻塞矩阵的输出对第q个位置的噪声信号进行抑制。
本实施例中，实现基于传递函数矩阵确定自适应滤波(如，GSC)算法中的波束滤波器和阻塞矩阵，通过离线建模获得的传递函数矩阵替换了自适应滤波中的自由场模型，使得到的波束滤波器和阻塞矩阵更适用于设定空间中的多个位置的声音信号的增强。
如图5所示，在上述图3所示实施例的基础上，步骤304可包括如下步骤：
步骤3041，确定原始声音信号的频域信号。
可选地，传声器阵列采集的原始声音信号为时域信号，可以通过对原始声音信号进行傅里叶变换，获得频域信号。
步骤3042，对于至少两个位置中的每个位置，基于自适应滤波器中对应位置的波束滤波器对频域信号进行信号增强，得到频域增强信号。
可选地，可参照图1提供的实施例中公式(8)实现频域增强信号的获得，即，通过每个位置对应的波束滤波器与该位置对应的频域信号进行矩阵乘法获得该位置对应的频域增强信号。
步骤3043，基于自适应滤波器中对应位置的至少一个阻塞矩阵对频域信号进行处理，得到位置对应的至少一个干扰信号。
可选地，可参照图1提供的实施例中公式(11)实现干扰信号的获得，即，通过每个位置对应的阻塞矩阵与该位置对应的频域信号进行矩阵乘法获得该位置对应的干扰信号。
步骤3044，基于频域增强信号和至少一个干扰信号确定位置对应的期望信号。
可选地，利用自适应干扰消除器从增强频域信号中消除至少一个干扰信号，得到位置对应的期望信号。
其中，自适应干扰消除器中的元素取值由期望信号确定。可选地，可参照图1提供的实施例中公式(14)确定自适应干扰消除器；可参照图1提供的实施例中公式(13)获得期望信号。
本实施例通过基于传递函数矩阵获得的自适应滤波器实现对频域信号进行增强，提升了波束的增强效果，基于传递函数矩阵获得的阻塞矩阵实现对频域信号中的期望信号的消除，提升了自适应滤波对干扰信号的抑制效果，使获得的期望信号更具有接近对应位置发出的声音信号。
如图6所示，在上述图3所示实施例的基础上，步骤301可包括如下步骤：
步骤3011，基于设定空间内至少两个位置确定至少两个设定发声范围。
其中，每个位置对应一个设定发声范围。
本实施例中的设定空间可以为车内等空间，每个位置可对应至少一个设定发声范围，例如，对应上述图1所示的实施例中步骤101中选取设定空间内的一个位置q，在位置q上声音可能出现的小范围区域，选取P个发声范围，其中的P个发声范围为该位置q对应的多个设定发声范围。
可选地，可以先确定每个位置作为中心相对于阵列的夹角θ，设定发声范围可以为以每个位置作为中心相对于阵列的夹角θ±10°范围(即，设定发声范围位于[θ-10°，θ+10°])，在该范围内应用本实施方法进行信号排序更准确。
步骤3012，分别在至少两个设定发声范围中的每个设定发声范围内播放已知声音信号。
其中，每个设定发声范围包括多个预设声源位置；
可选地，分别在至少两个设定发声范围中的每个设定发声范围内的多个预设声源位置分别播放已知声音信号。
可选地，本实施例播放的已知声音信号可以为白噪声，例如，如图1所示实施例中步骤101中分别在P个发声范围播放白噪声。
步骤3013，基于传声器阵列采集每个已知声音信号，确定传声器阵列中的每个传声器单元相对于声源的绝对传递函数。
步骤3014，基于传声器阵列中的至少两个传声器单元对应的至少两组绝对传递函数确定传递函数矩阵。
本实施例通过对声源可能出现的位置进行多点建模，降低了建模分离滤波器对建模位置的敏感性，提升了建模结果的鲁棒性。
如图7所示，在上述图6所示实施例的基础上，步骤3013可包括如下步骤：
步骤701，分别对至少两组绝对传递函数中的每组绝对传递函数执行归一化操作，得到至少两组归一化传递函数。
本实施例中的归一化操作可参照图1提供的实施例中公式(3)实现，例如，实现幅度归一化。
步骤702，分别将至少两组归一化传递函数中的每组归一化传递函数转换为频域表达的频域传递函数。
步骤703，将至少两组频域传递函数按照对应的位置排列，获得传递函数矩阵。
可选地，可参照上述图1提供的实施例中的公式(4)实现对归一化传递函数的频域转换，获得频域传递函数，其中，传递函数矩阵H(ω)中的每列与一个归一化传递函数存在对应关系；本实施例采用能量归一化，保证能量一致，从而确保每个声源相对传声器接收到的能量一致，进而消除了与传声器阵列距离不同距离的声源之间的能量差异。
本公开实施例提供的任一种信号增强方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种信号增强方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种信号增强方法。下文不再赘述。
示例性装置
图8是本公开一示例性实施例提供的信号增强装置的结构示意图。如图8所示，本实施例提供的装置包括：
矩阵确定模块81，用于确定设定空间中的至少两个位置各自对应的传递函数矩阵。
滤波确定模块82，用于基于矩阵确定模块81确定的传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵。
信号采集模块83，用于基于传声器阵列分别对至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号。
信号增强模块84，用于通过滤波确定模块82确定的波束滤波器和阻塞矩阵对信号采集模块83采集的原始声音信号进行处理，得到至少两个位置中每个位置对应的期望信号。
本公开上述实施例提供的一种信号增强装置，通过传声器阵列对设定空间中的至少两个位置进行离线建模，获得所述至少两个位置对应的传递函数矩阵；基于所述传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；基于所述传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；通过所述波束滤波器和阻塞矩阵对所述原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号，本实施例基于传递函数矩阵确定的波束滤波器和阻塞矩阵更适合对设定空间中的声源信号进行信号增强，提升了波束滤波器对声源的增强效果，提升了阻塞矩阵对声源的抑制效果。
图9是本公开另一示例性实施例提供的信号增强装置的结构示意图。如图9所示，本实施例提供的装置包括：
矩阵确定模块81包括：
信号播放单元811，用于分别在至少两个设定发声范围中的每个设定发声范围内播放已知声音信号。
其中，每个设定发声范围包括多个预设声源位置；可选地，信号播放单元811，具体用于分别在至少两个设定发声范围中的每个设定发声范围内的多个预设声源位置播放已知声音信号。
绝对函数确定单元812，基于传声器阵列采集信号播放单元811播放的每个已知声音信号，确定传声器阵列中的每个传声器单元相对于声源的绝对传递函数。
函数确定单元813，基于传声器阵列中的至少两个传声器单元对应的绝对函数确定单元812确定的至少两组绝对传递函数确定传递函数矩阵。
函数确定单元813，具体用于分别对至少两组绝对传递函数中的每个绝对传递函数执行归一化操作，得到至少两组归一化传递函数；分别将至少两组归一化传递函数中的每个归一化传递函数转换为频域表达的频域传递函数；将至少两组频域传递函数按照对应的位置排列，获得传递函数矩阵。
滤波确定模块82包括：
波束确定单元821，用于基于传递函数矩阵分别为至少两个位置中的每个位置确定波束滤波器。
阻塞矩阵确定单元822，用于对至少两个位置中的每个位置，分别采用至少一种阻塞矩阵的生成方法基于传递函数矩阵，确定一个阻塞矩阵。
信号增强模块84包括：
信号获取单元841，用于确定原始声音信号的频域信号。
信号增强单元842，用于对于至少两个位置中的每个位置，基于自适应滤波器中对应位置的波束滤波器对频域信号进行信号增强，得到频域增强信号。
干扰信号确定单元843，用于基于自适应滤波器中对应位置的一个阻塞矩阵对频域信号进行处理，得到位置对应的至少一个干扰信号。
期望信号确定单元844，用于基于频域增强信号和至少一个干扰信号确定位置对应的期望信号。
可选地，期望信号确定单元844，具体用于利用自适应干扰消除器从增强频域信号中消除至少一个干扰信号，得到位置对应的期望信号；其中，自适应干扰消除器中的元素取值由期望信号确定。
示例性电子设备
下面，参考图10来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图10图示了根据本公开实施例的电子设备的框图。
如图10所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的信号增强方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
此外，该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图10中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信号增强方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的信号增强方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种信号增强方法，包括：
确定设定空间中的至少两个位置各自对应的传递函数矩阵；
基于所述传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；
基于传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；
通过所述波束滤波器和阻塞矩阵对所述原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号。
2.根据权利要求1所述的方法，所述基于所述传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵，包括：
基于所述传递函数矩阵分别为所述至少两个位置中的每个位置确定波束滤波器；
对所述至少两个位置中的每个位置，基于所述传递函数矩阵，分别采用至少一种阻塞矩阵的生成方法确定一个阻塞矩阵。
3.根据权利要求2所述的方法，所述通过所述波束滤波器和阻塞矩阵对所述原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号，包括：
确定所述原始声音信号的频域信号；
对于所述至少两个位置中的每个位置，基于所述自适应滤波器中对应所述位置的波束滤波器对所述频域信号进行信号增强，得到频域增强信号；
基于所述自适应滤波器中对应所述位置的一个阻塞矩阵对所述频域信号进行处理，得到所述位置对应的至少一个干扰信号；
基于所述频域增强信号和所述至少一个干扰信号确定所述位置对应的期望信号。
4.根据权利要求3所述的方法，所述基于所述频域增强信号和所述至少一个干扰信号确定所述位置对应的期望信号，包括：
利用自适应干扰消除器从所述增强频域信号中消除所述至少一个干扰信号，得到所述位置对应的期望信号；其中，所述自适应干扰消除器中的元素取值由所述期望信号确定。
5.根据权利要求1-4任一所述的方法，所述确定设定空间中的至少两个位置各自对应的传递函数矩阵，包括：
基于设定空间内至少两个位置确定至少两个设定发声范围，其中，每个所述位置对应一个所述设定发声范围；
分别在所述至少两个设定发声范围中的每个设定发声范围内播放已知声音信号；
基于所述传声器阵列采集每个所述已知声音信号，确定每个所述位置相对于所述传声器阵列的绝对传递函数；
基于所述至少两个位置对应的至少两组绝对传递函数确定所述传递函数矩阵。
6.根据权利要求5所述的方法，其中，每个所述设定发声范围包括多个预设声源位置；
所述分别在所述至少两个设定发声范围中的每个设定发声范围内播放已知声音信号，包括：
分别在所述至少两个设定发声范围中的每个设定发声范围内的多个预设声源位置分别播放已知声音信号。
7.根据权利要求5所述的方法，其中，所述基于所述至少两个位置对应的至少两组绝对传递函数确定所述传递函数矩阵，包括：
分别对所述至少两组绝对传递函数中的每组绝对传递函数执行归一化操作，得到至少两组归一化传递函数；
分别将所述至少两组归一化传递函数中的每组归一化传递函数转换为频域表达的频域传递函数；
将所述至少两组频域传递函数按照对应的位置排列，获得所述传递函数矩阵。
8.一种信号增强装置，包括：
矩阵确定模块，用于确定设定空间中的至少两个位置各自对应的传递函数矩阵；
滤波确定模块，用于基于所述矩阵确定模块确定的传递函数矩阵确定用于自适应滤波的波束滤波器和阻塞矩阵；
信号采集模块，用于基于传声器阵列分别对所述至少两个位置中每个位置发出的期望信号进行采集，得到原始声音信号；
信号增强模块，用于通过所述滤波确定模块确定的波束滤波器和阻塞矩阵对所述信号采集模块采集的原始声音信号进行处理，得到所述至少两个位置中每个位置对应的期望信号。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的信号增强方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的信号增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910933099.3A CN110689900B (zh) | 2019-09-29 | 2019-09-29 | 信号增强方法和装置、计算机可读存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910933099.3A CN110689900B (zh) | 2019-09-29 | 2019-09-29 | 信号增强方法和装置、计算机可读存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110689900A true CN110689900A (zh) | 2020-01-14 |
| CN110689900B CN110689900B (zh) | 2022-05-13 |
Family
ID=69110912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910933099.3A Active CN110689900B (zh) | 2019-09-29 | 2019-09-29 | 信号增强方法和装置、计算机可读存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689900B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669871A (zh) * | 2020-12-30 | 2021-04-16 | 西安讯飞超脑信息科技有限公司 | 信号处理方法及电子设备、存储装置 |
| WO2023165565A1 (zh) * | 2022-03-02 | 2023-09-07 | 上海又为智能科技有限公司 | 音频增强方法和装置、计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976565A (zh) * | 2010-07-09 | 2011-02-16 | 瑞声声学科技(深圳)有限公司 | 基于双麦克风语音增强装置及方法 |
| CN102938254A (zh) * | 2012-10-24 | 2013-02-20 | 中国科学技术大学 | 一种语音信号增强系统和方法 |
| CN103282961A (zh) * | 2010-12-21 | 2013-09-04 | 日本电信电话株式会社 | 语音增强方法、装置、程序和记录介质 |
| CN108198570A (zh) * | 2018-02-02 | 2018-06-22 | 北京云知声信息技术有限公司 | 审讯时语音分离的方法及装置 |
| CN109389991A (zh) * | 2018-10-24 | 2019-02-26 | 中国科学院上海微系统与信息技术研究所 | 一种基于麦克风阵列的信号增强方法 |
-
2019
- 2019-09-29 CN CN201910933099.3A patent/CN110689900B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976565A (zh) * | 2010-07-09 | 2011-02-16 | 瑞声声学科技(深圳)有限公司 | 基于双麦克风语音增强装置及方法 |
| CN103282961A (zh) * | 2010-12-21 | 2013-09-04 | 日本电信电话株式会社 | 语音增强方法、装置、程序和记录介质 |
| CN102938254A (zh) * | 2012-10-24 | 2013-02-20 | 中国科学技术大学 | 一种语音信号增强系统和方法 |
| CN108198570A (zh) * | 2018-02-02 | 2018-06-22 | 北京云知声信息技术有限公司 | 审讯时语音分离的方法及装置 |
| CN109389991A (zh) * | 2018-10-24 | 2019-02-26 | 中国科学院上海微系统与信息技术研究所 | 一种基于麦克风阵列的信号增强方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669871A (zh) * | 2020-12-30 | 2021-04-16 | 西安讯飞超脑信息科技有限公司 | 信号处理方法及电子设备、存储装置 |
| WO2023165565A1 (zh) * | 2022-03-02 | 2023-09-07 | 上海又为智能科技有限公司 | 音频增强方法和装置、计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110689900B (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10123113B2 (en) | Selective audio source enhancement | |
| CN110148422B (zh) | 基于传声器阵列确定声源信息的方法、装置及电子设备 | |
| Hoshen et al. | Speech acoustic modeling from raw multichannel waveforms | |
| CN110673096B (zh) | 语音定位方法和装置、计算机可读存储介质、电子设备 | |
| CN111435598B (zh) | 语音信号处理方法、装置、计算机可读介质及电子设备 | |
| US20200066260A1 (en) | Signal generation device, signal generation system, signal generation method, and computer program product | |
| WO2019080553A1 (zh) | 基于麦克风阵列的目标语音获取方法及装置 | |
| CN111261138B (zh) | 降噪系统确定方法及装置、噪声处理方法及装置 | |
| CN112349292B (zh) | 信号分离方法和装置、计算机可读存储介质、电子设备 | |
| CN110675892B (zh) | 多位置语音分离方法和装置、存储介质、电子设备 | |
| WO2006085537A1 (ja) | 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体 | |
| US10262678B2 (en) | Signal processing system, signal processing method and storage medium | |
| WO2017002525A1 (ja) | 信号処理装置、信号処理方法、および信号処理プログラム | |
| JP7326627B2 (ja) | オーディオ信号処理方法、装置、機器及びコンピュータプログラム | |
| CN110689900B (zh) | 信号增强方法和装置、计算机可读存储介质、电子设备 | |
| WO2015129760A1 (ja) | 信号処理装置、方法及びプログラム | |
| CN112055284B (zh) | 回声消除方法及神经网络的训练方法、装置、介质、设备 | |
| CN107843871B (zh) | 声源定向方法、装置和电子设备 | |
| CN112346012A (zh) | 声源位置确定方法和装置、可读存储介质、电子设备 | |
| CN111801951A (zh) | 啸叫抑制装置、其方法以及程序 | |
| CN111696573A (zh) | 声源信号处理方法及装置、电子设备和存储介质 | |
| CN110675890B (zh) | 声音信号处理装置以及声音信号处理方法 | |
| CN112151061B (zh) | 信号排序方法和装置、计算机可读存储介质、电子设备 | |
| JP2010152107A (ja) | 目的音抽出装置及び目的音抽出プログラム | |
| JP6956929B2 (ja) | 情報処理装置、制御方法、及び制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |