[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113539291B - 音频信号的降噪方法、装置、电子设备及存储介质 - Google Patents

音频信号的降噪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113539291B
CN113539291B CN202110777962.8A CN202110777962A CN113539291B CN 113539291 B CN113539291 B CN 113539291B CN 202110777962 A CN202110777962 A CN 202110777962A CN 113539291 B CN113539291 B CN 113539291B
Authority
CN
China
Prior art keywords
audio signal
signal
noise
target
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110777962.8A
Other languages
English (en)
Other versions
CN113539291A (zh
Inventor
李良斌
陈孝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SoundAI Technology Co Ltd
Original Assignee
Beijing SoundAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SoundAI Technology Co Ltd filed Critical Beijing SoundAI Technology Co Ltd
Priority to CN202110777962.8A priority Critical patent/CN113539291B/zh
Publication of CN113539291A publication Critical patent/CN113539291A/zh
Application granted granted Critical
Publication of CN113539291B publication Critical patent/CN113539291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请提供了一种音频信号的降噪方法、装置、电子设备及存储介质，属于音频处理技术领域。该方法包括：基于第一音频信号和第二音频信号，对所述第一音频信号进行降噪处理，得到第三音频信号，所述第一音频信号和所述第二音频信号为具有相干性的音频信号；基于所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号得到目标噪声参考信号；基于所述目标噪声参考信号，将所述第三音频信号进行降噪处理，得到目标语音信号。该方法提高了降噪后的目标语音信号的纯度。

Description

音频信号的降噪方法、装置、电子设备及存储介质
技术领域
本申请涉及音频处理技术领域，特别涉及一种音频信号的降噪方法、装置、电子设备及存储介质。
背景技术
电子设备普遍采用双麦克风降噪技术来对收录的音频信号进行降噪。采用双麦克风降噪技术的电子设备上一般设有主麦克风和副麦克风，主麦克风和副麦克风同时收录的音频信号具有相干性；并且，主麦克风收录的音频信号中语音信号较多，噪声信号较少，而副麦克风收录的音频信号中噪声信号较多，语音信号较少。因此，可以利用两个麦克风的音频信号之间的差异，来对主麦克风收录的音频信号进行降噪。
相关技术中，基于主麦克风收录的音频信号，确定副麦克风收录的语音信号，将副麦克风收录的音频信号中去除该语音信号，得到副麦克风收录的音频信号中的噪声信号，将主麦克风收录的音频信号中去除该噪声信号，得到降噪后的语音信号。
相关技术中，由于主麦克风收录的音频信号中会存在副麦克风未收录到的噪声信号，则基于上述方法无法将主麦克风收录的音频信号中的噪声信号去除干净，进而使得到的降噪后的语音信号中存在噪声信号，从而导致上述方法降噪后的语音信号的纯度较低。
发明内容
本申请实施例提供了一种音频信号的降噪方法、装置、电子设备及存储介质，该方法基于第一音频信号和第三音频信号中的一个和第二音频信号确定的目标噪声参考信号既包括了第二音频信号中的噪声信号，也包括了第二音频信号未收录的第一音频信号中的噪声信号，这样基于目标噪声参考信号对第三音频信号进行降噪处理，能够有效去除第三音频信号中的噪声信号，从而能够提高降噪后的语音信号的纯度。
一方面，提供了一种音频信号的降噪方法，所述方法包括：基于第一音频信号和第二音频信号，对所述第一音频信号进行降噪处理，得到第三音频信号，所述第一音频信号和所述第二音频信号为具有相干性的音频信号；基于所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号得到目标噪声参考信号；基于所述目标噪声参考信号，将所述第三音频信号进行降噪处理，得到目标语音信号。
在一些实施例中，第一音频信号和第二音频信号分别两个音频采集部件收录的具有相干性的音频信号。
在一些实施例中，第一音频信号的噪音信号少于第二音频信号的噪音信号。
在一种可能的实现方式中，所述基于所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号得到目标噪声参考信号，包括：将所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号。
在一种可能的实现方式中，所述将所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号，包括：基于所述第一音频信号、所述第二音频信号和所述第三音频信号，确定目标融合系数；基于所述目标融合系数，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号。
在一种可能的实现方式中，所述基于所述第一音频信号、所述第二音频信号和所述第三音频信号，确定目标融合系数，包括：分别确定所述第一音频信号的第一频谱图和所述第二音频信号的第二频谱图，所述第一频谱图和所述第二频谱图的横坐标为频率，纵坐标为分贝；确定所述第一频谱图中的相干频段，所述相干频段为所述第一频谱图中与所述第二频谱图的分贝差小于预设分贝值的频段；基于所述相干频段、所述第一音频信号和所述第三音频信号，确定所述目标融合系数。
在一种可能的实现方式中，所述基于所述相干频段、所述第一音频信号和所述第三音频信号，确定所述目标融合系数，包括：确定所述相干频段的最小频率不低于预设频率；所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和；确定所述第二能量与所述第一能量之商为所述目标融合系数。
在一种可能的实现方式中，所述基于所述相干频段、所述第一音频信号和所述第三音频信号，确定所述目标融合系数，包括：确定所述相干频段的最小频率低于预设频率；分别确定第一能量、第二能量和第三能量，其中，所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和，所述第三能量为所述第一音频信号在全频段的能量和，所述全频段为所述第一频谱图包括的频段；确定所述第二能量与所述第一能量之商为第一融合系数；确定所述第一能量与所述第三能量之商为第二融合系数；确定所述第一融合系数与所述第二融合系数的平均值为所述目标融合系数。
在一种可能的实现方式中，所述基于所述目标融合系数，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号，包括：基于所述目标融合系数，生成第一关系数据，所述第一关系数据为参数为所述目标融合系数、自变量为所述第一音频信号和所述第三音频信号中的一个音频信号和所述第二音频信号、因变量为所述目标噪声参考信号的关系数据；通过所述第一关系数据，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号。
在一种可能的实现方式中，所述基于所述目标噪声参考信号，将所述第三音频信号进行降噪处理，得到目标语音信号，包括：确定所述第三音频信号中的第一语音信号；去除所述目标噪声参考信号中的所述第一语音信号，得到第一噪声信号；去除所述第三音频信号中的所述第一噪声信号，得到所述目标语音信号。
在一种可能的实现方式中，所述确定所述第三音频信号中的第一语音信号，包括：从所述第三音频信号中确定第四音频信号，所述第四音频信号为所述第三音频信号中包含噪声信号的信号；将所述第四音频信号中的语音信号作为所述第一语音信号。
在一种可能的实现方式中，所述基于第一音频信号和第二音频信号，对所述第一音频信号进行降噪处理，得到第三音频信号，包括：确定所述第一音频信号中的第二语音信号；去除所述第二音频信号中的所述第二语音信号，得到第二噪声信号；去除所述第一音频信号中的所述第二噪声信号，得到所述第三音频信号。
在一种可能的实现方式中，所述方法还包括：发送所述目标语音信号，使通信对端执行所述目标语音信号对应的命令；或者，播放所述目标语音信号；或者，基于所述目标语音信号，生成音频文件。
另一方面，提供了一种音频信号的降噪装置，所述装置包括：
第一处理模块，用于基于第一音频信号和第二音频信号，对所述第一音频信号进行降噪处理，得到第三音频信号，所述第一音频信号和所述第二音频信号为具有相干性的音频信号；确定模块，用于基于所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号得到目标噪声参考信号；第二处理模块，用于基于所述目标噪声参考信号，将所述第三音频信号进行降噪处理，得到目标语音信号。
在一些可能的实施方式中，第一音频信号和第二音频信号分别为两个音频采集部件收录的具有相干性的音频信号。
在一些可能的实施方式中，第一音频信号的噪音信号少于第二音频信号的噪音信号。
在一种可能的实现方式中，所述确定模块，包括：融合单元，用于将所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号。
在一种可能的实现方式中，所述融合单元，包括：确定子单元，用于基于所述第一音频信号、所述第二音频信号和所述第三音频信号，确定目标融合系数；融合子单元，用于基于所述目标融合系数，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号。
在一种可能的实现方式中，所述确定子单元，用于：分别确定所述第一音频信号的第一频谱图和所述第二音频信号的第二频谱图，所述第一频谱图和所述第二频谱图的横坐标为频率，纵坐标为分贝；确定所述第一频谱图中的相干频段，所述相干频段为所述第一频谱图中与所述第二频谱图的分贝差小于预设分贝值的频段；基于所述相干频段、所述第一音频信号和所述第三音频信号，确定所述目标融合系数。
在一种可能的实现方式中，所述确定子单元，用于：确定所述相干频段的最小频率不低于预设频率；分别确定第一能量和第二能量，所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和；确定所述第二能量与所述第一能量之商为所述目标融合系数。
在一种可能的实现方式中，所述确定子单元，用于：确定所述相干频段的最小频率低于预设频率；分别确定第一能量、第二能量和第三能量，所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和，所述第三能量为所述第一音频信号在全频段的能量和，所述全频段为所述第一频谱图包括的频段；确定所述第二能量与所述第一能量之商为第一融合系数；确定所述第一能量与所述第三能量之商为第二融合系数；确定所述第一融合系数与所述第二融合系数的平均值为所述目标融合系数。
在一种可能的实现方式中，所述融合子单元，用于：基于所述目标融合系数，生成第一关系数据，所述第一关系数据为参数为所述目标融合系数、自变量为所述第一音频信号和所述第三音频信号中的一个音频信号和所述第二音频信号、因变量为所述目标噪声参考信号的关系数据；通过所述第一关系数据，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号。
在一种可能的实现方式中，所述第二处理模块，包括：确定单元，用于确定所述第三音频信号中的第一语音信号；第一去除单元，用于去除所述目标噪声参考信号中的所述第一语音信号，得到第一噪声信号；第二去除单元，用于去除所述第三音频信号中的所述第一噪声信号，得到所述目标语音信号。
在一种可能的实现方式中，所述确定单元，用于：从所述第三音频信号中确定第四音频信号，所述第四音频信号为所述第三音频信号中包含噪声信号的信号；将所述第四音频信号中的语音信号作为所述第一语音信号。
在一种可能的实现方式中，所述第一处理模块，用于：确定所述第一音频信号中的第二语音信号；去除所述第二音频信号中的所述第二语音信号，得到第二噪声信号；去除所述第一音频信号中的所述第二噪声信号，得到所述第三音频信号。
在一种可能的实现方式中，所述装置还包括：发送模块，用于发送所述目标语音信号，使通信对端执行所述目标语音信号对应的命令；播放模块，用于播放所述目标语音信号；生成模块，用于基于所述目标语音信号，生成音频文件。
另一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如上述所述的音频信号的降噪方法所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如上述所述的音频信号的降噪方法所执行的操作。
另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取所述计算机程序代码，处理器执行所述计算机程序代码，使得所述电子设备执行上述的音频信号的降噪方法所执行的操作。
本申请实施例提供的技术方案的有益效果至少包括：
在本申请实施例中，由于目标噪声参考信号是基于第一音频信号和第三音频信号中的一个和第二音频信号得到的，这样，目标噪声参考信号既包括了第二音频信号中的噪声信号，也包括了第二音频信号未收录的第一音频信号中的噪声信号，进而再基于目标噪声参考信号对第三音频信号进行降噪处理，能够有效去除第三音频信号中的噪声信号，从而提高了降噪后的目标语音信号的纯度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种音频信号的降噪方法的实施环境的示意图；
图2是本申请实施例提供的一种音频信号的降噪方法的流程示意图；
图3是本申请实施例提供的一种音频信号的频谱图；
图4是本申请实施例提供的一种音频信号的频谱图；
图5是本申请实施例提供的一种降噪处理的流程图；
图6是本申请实施例提供的一种降噪处理的流程图；
图7是本申请实施例提供的一种音频信号的降噪装置的示意图；
图8是本申请实施例提供的一种电子设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任意变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本申请实施例提供了的一种音频信号的降噪方法可以应用电子设备中，该电子设备可以采集第一音频信号和第二音频信号，其中第一音频信号和所述第二音频信号为具有相干性的音频信号，第一音频信号的噪音信号少于第二音频信号的噪音信号。
在一些实施例中，电子设备可以包括两个音频采集部件，通过两个音频采集部件分别收录第一音频信号和第二音频信号，然后通过本申请实施例提供的方法，基于第一音频信号和第二音频信号，对第一音频信号进行降噪处理，得到目标语音信号。其中，音频采集部件可以为麦克风；则电子设备可以包括两个麦克风，分别为主麦克风和副麦克风。
以下举例介绍该音频信号的降噪方法的几种场景。
第一：该音频信号的降噪方法可以应用在语音控制的场景中，则该电子设备为语音控制终端，例如手机、座机、对讲机等；相应的，参见图1，该音频信号的降噪方法的实施环境包括电子设备10和通信对端20。电子设备10在对通信对端20进行语音控制的过程中，按照本申请实施例提供的方法进行降噪，得到目标语音信号，向通信对端20发送该目标语音信号，使通信对端执行目标语音信号对应的命令，从而提高电子设备10对通信对端20进行语音控制的质量。
第二：该音频信号的降噪方法可以应用在播放音频的场景中，该电子设备为播放终端，例如话筒、耳机等；电子设备在播放音频的过程中，按照本申请实施例提供的方法进行降噪，得到目标语音信号，对目标语音信号进行播放，从而提高了播放终端输出音频的质量。
第三：该音频信号的降噪方法可以应用在录制音频的场景中，该电子设备为录音终端，例如录音机、录音笔、摄像机等；电子设备在录制音频的过程中，按照本申请实施例提供的方法进行降噪，得到目标语音信号，基于该目标语音信号，生成音频文件，从而提高了录音终端录制音频的质量。
本申请实施例提供了一种音频信号的降噪方法，该方法步骤可以由电子设备执行，参见图2，方法包括：
步骤201：获取第一音频信号和第二音频信号。
其中，第一音频信号和第二音频信号分别为两个音频采集部件收录的具有相干性的音频信号。两个音频采集部件为同一电子设备的两个音频采集部件；例如，两个音频采集部件可以分别为主麦克风和副麦克风。
需要说明的是，第一音频信号和第二音频信号中均包括语音信号和噪声信号；第一音频信号中的语音信号的能量大于第二音频信号中的语音信号的能量，即第一音频信号中的语音信号多于第二音频信号中的语音信号。第二音频信号中的噪声信号的能量大于第一音频信号中的噪声信号的能量，即第二音频信号中的噪声信号多于第一音频信号中的噪声信号。
步骤202：基于第一音频信号和第二音频信号，对第一音频信号进行降噪处理，得到第三音频信号。
该步骤可以通过以下步骤(1)-(3)实现：
(1)确定第一音频信号中的第二语音信号。
其中，第一音频信号中包括语音信号和噪声信号；对第一音频信号进行滤波处理，将第一音频信号中的噪声信号消除，得到第二语音信号。需要说明的是，通过第一自适应滤波器对第一音频信号进行滤波处理。
(2)去除第二音频信号中的第二语音信号，得到第二噪声信号。
其中，第二音频信号中包括语音信号和噪声信号；在本申请实施例中，将第二音频信号中包括的第一音频信号中的第二语音信号去除后，得到了不包括语音信号的纯净的第二噪声信号。
(3)去除第一音频信号中的第二噪声信号，得到第三音频信号。
其中，第一音频信号中包括语音信号、第二噪声信号和第二噪声之外的其它噪声信号。对第二噪声信号进行滤波处理，得到滤波处理后的第二噪声信号；将第一音频信号去除滤波处理后的第二噪声信号，得到第三音频信号。需要说明的是，通过第二自适应滤波器对第二噪声信号进行滤波处理。
需要说明的是，由于第一音频信号中包括语音信号、第二噪声信号和其它噪声信号，这样，将第一音频信号中的第二噪声信号去除后，得到的第三音频信号中包括语音信号和其它噪声信号。
参见图3，图3的上半部分为某一第一音频信号的部分频谱图，图3的下半部分为某一第二音频信号的部分频谱图。图中的框线部分为第一音频信号中包括的且第二音频信号中不包括的其它噪声信号，可知，第一音频信号中还包括第二音频信号中未收录到的其它噪声信号，即第二音频信号中并未包括第一音频信号中的全部噪声信号。
参见图4，图4的上半部分为某一第三音频信号的部分频谱图，中间部分为某一第一音频信号的部分频谱图，下半部分为某一第二音频信号的部分频谱图。图中的框线部分为第一音频信号中包括的且第二音频信号不包括的其它噪声信号，即将第一音频信号中的第二噪声信号去除后，得到的第三音频信号中还包括其它噪声信号。
参见图5，图5为基于第一音频信号和第二音频信号，对第一音频信号进行降噪处理，得到第三音频信号的流程图。通过第一自适应滤波器对第一音频信号进行滤波处理，将第一音频信号中的噪声信号消除，得到第二语音信号。将第二音频信号去除第二语音信号，得到较纯净的第二噪声信号。对第二噪声信号进行滤波处理，得到滤波处理后的第二噪声信号；将第一音频信号去除滤波处理后的第二噪声信号，得到第三音频信号。
在本申请实施例中，基于第一音频信号和第二音频信号对第一音频信号进行降噪处理，实现了将第一音频信号中的第二噪声信号的去除，减少了第一音频信号中的噪声信号，进而便于后续对去除第二噪声信号的第三噪声信号的降噪处理。
步骤203：基于第一音频信号和第三音频信号中的一个和第二音频信号得到目标噪声参考信号。
该步骤可以通过以下方式实现：
将第一音频信号和第三音频信号中的一个和第二音频信号进行融合，得到目标噪声参考信号；这样，目标噪声参考信号中既包括第一音频信号中的语音信号和噪声信号，也包括第二音频信号中的语音信号和噪声信号。
在一种可能的实现方式中，将第三音频信号和第二音频信号进行融合，得到目标噪声参考信号。在本申请实施例中，第三音频信号和第二音频信号均为包括语音信号和噪声信号的音频信号，由于第三音频信号为去除部分噪声信号的音频信号，这样，将第三音频信号和第二音频信号进行融合，得到目标噪声参考信号，便于后续快速高效处理第三音频信号。
在另一种可能的实现方式中，将第一音频信号和第二音频信号进行融合，得到目标噪声参考信号。在本申请实施例中，第一音频信号和第二音频信号均为包括语音信号和噪声信号的音频信号，将第一音频信号和第二音频信号直接进行融合，得到目标噪声参考信号，便捷省事。
其中，融合第一音频信号和第三音频信号中的一个和第二音频信号可以通过以下步骤(1)-(2)实现：
(1)基于第一音频信号、第二音频信号和第三音频信号，确定目标融合系数。
该步骤可以通过以下步骤A1-A3实现：
A1：分别确定第一音频信号的第一频谱图和第二音频信号的第二频谱图，第一频谱图和第二频谱图的横坐标为频率，纵坐标为分贝。
其中，对第一音频信号进行傅里叶变换生成第一频谱图，对第二音频信号进行傅里叶变换，生成第二频谱图。
在本申请实施例中，通过第一频谱图和第二频谱图，可以简单直观的确定第一音频信号和第二音频信号之间的相干性。
A2：确定第一频谱图中的相干频段，相干频段为第一频谱图中与第二频谱图的分贝差小于预设分贝值的频段。
需要说明的是，该预设分贝值可以根据需要进行设置并更改，在本申请实施例中，预设分贝值设为5分贝。
其中，第一频谱图和第二频谱图均包括多个频段，由于相干频段为第一频谱图中与第二频谱图的分贝差小于预设分贝值的频段，这样，使得确定的相干频段对应的第一音频信号与第二音频信号的相干性高。
A3：基于相干频段、第一音频信号和第三音频信号，确定目标融合系数。
该步骤包括以下两种实现方式：
第一种实现方式：确定相干频段的最小频率不低于预设频率；分别确定第一能量和第二能量，第一能量为第一音频信号在相干频段的能量和，第二能量为第三音频信号在相干频段的能量和；确定第二能量与第一能量之商为目标融合系数。
需要说明的是，预设频率可以根据需要进行设置并更改，在本申请实施例中，预设频率设为2000Hz。
对在相干频段的第一音频信号进行傅里叶变换，生成第一音频信号在相干频段的第一功率谱；对在相干频段的第三音频信号进行傅里叶变换，生成第三音频信号在相干频段的第二功率谱。其中，第一功率谱和第二功率谱的横坐标为频率，纵坐标为功率。第一能量即第一音频信号在相干频段的能量和为第一功率谱所覆盖的面积值，第二能量即第三音频信号在相干频段的能量和为第二功率谱所覆盖的面积值。
在本申请实施例中，由于第二能量为包含其它噪声信号的第三音频信号在相干频段的能量和，第一能量为包含语音信号、第二噪声信号和其它噪声信号的第一音频信号在相干频段的能量和，这样，将第二能量与第一能量之商，作为目标融合系数，使该目标融合系数能够代表其它噪声信号在相干频段的第一音频信号中的权重；显然，若相干频段包含的语音信号多，则说明包含的第二噪声信号少，目标融合系数的值较大；若相干频段包含的噪声信号多，则包含的第二噪声信号也多，目标融合系数的值较小。
第二种实现方式：确定相干频段的最小频率低于预设频率；分别确定第一能量、第二能量和第三能量，第一能量为第一音频信号在相干频段的能量和；第二能量为第三音频信号在相干频段的能量和，第三能量为第一音频信号在全频段的能量和，全频段为第一频谱图包括的频段。确定第二能量与第一能量之商为第一融合系数。确定第一能量与第三能量之商为第二融合系数。确定第一融合系数与第二融合系数的平均值为目标融合系数。
其中，对在相干频段的第一音频信号进行傅里叶变换，生成第一音频信号在相干频段的第一功率谱；对在相干频段的第三音频信号进行傅里叶变换，生成第三音频信号在相干频段的第二功率谱；对全频段的第一音频信号进行傅里叶变换，生成第一音频信号在全频段的第三功率谱。其中，第一功率谱、第二功率谱和第三功率谱的横坐标为频率，纵坐标为功率。第一能量即第一音频信号在相干频段的能量和为第一功率谱所覆盖的面积值，第二能量即第三音频信号在相干频段的能量和为第二功率谱所覆盖的面积值，第三能量即第一音频信号在全频段的能量和为第三功率谱所覆盖的面积值。
在本申请实施例中，由于第一能量为第一音频信号在相干频段的能量和，第三能量为第一音频信号在全频段的能量和，而相干频段的第一音频信号与第二音频信号的相干性高，即包括第二音频信号中的第二噪声信号；这样，将第一能量与第三能量之商，作为第二融合系数，使该第二融合系数能够代表包含第二噪声信号的第一音频信号在全频段的第一音频信号中的权重，且由于第一融合系数代表其它噪声信号在相干频段的第一音频信号中的权重，进而将第一融合系数和第二融合系数的平均值作为目标融合系数，使该目标融合系数代表了全部噪声信号在第一音频信号中的权重；显然，若相干频段包含的语音信号多，则说明包含的噪声信号少，目标融合系数的值较大；若相干频段包含的噪声信号多，则目标融合系数的值较小。
(2)基于目标融合系数，对第一音频信号和第三音频信号中的一个和第二音频信号进行融合，得到目标噪声参考信号。
该步骤通过以下步骤A1-A2实现：
A1：基于目标融合系数，生成第一关系数据，第一关系数据为参数为目标融合系数、自变量为第一音频信号和第三音频信号中的一个和第二音频信号、因变量为目标噪声参考信号的关系数据。
第一关系数据为：Nmew＝α*Nold+(1-α)*S
其中，Nnew为目标噪声参考信号，Nold为第二音频信号，S为第一音频信号和第三音频信号中的一个音频信号，α为目标融合系数。
A2：通过第一关系数据，对第一音频信号和第三音频信号中的一个和第二音频信号进行融合，得到目标噪声参考信号。
将第一音频信号和第三音频信号中的一个音频信号和第二音频信号代入第一关系数据，得到目标噪声参考信号。
需要说明的是，在本申请实施例中，可以通过VAD(Voice Activity Detection，静音抑制)处理判断第一音频信号的相干频段。参见第一关系数据可知，VAD判断有偏差时，若误判为语音段，则目标融合系数较大，保留第二音频信号的比例大，对第一音频信号和第三音频信号中的一个的语音信号的损伤较小。若误判为噪声段，则目标融合系数较小，保留第一音频信号和第三音频信号中的一个的比例大，进而后续可以有效滤除第一音频信号和第三音频信号中的一个中的噪声信号。
在本申请实施例中，通过将第一音频信号和第三音频信号中的一个和第二音频信号进行融合，得到目标噪声参考信号；这样，目标噪声参考信号即包括了第一音频信号中的语音信号和噪声信号，也包括了第二音频信号中的语音信号和噪声信号，进而便于后续基于目标噪声参考信号对第三音频信号进行降噪处理时，能够有效除去第三音频信号中的全部噪声信号。
步骤204：基于目标噪声参考信号，将第三音频信号进行降噪处理，得到目标语音信号。
该步骤可以通过以下步骤(1)-(3)实现：
(1)确定第三音频信号中的第一语音信号。
该步骤可以通过以下步骤A1-A2实现：
A1：从第三音频信号中，确定第四音频信号。
其中，第四音频信号为第三音频信号中包含噪声信号的信号。对第三音频信号进行VAD处理，得到第四音频信号。
在本申请实施例中，通过对第三音频信号进行VAD处理，能够从第三音频信号中识别和消除长时间的静音期，已达到在不降低业务质量的情况下节省话路资源作用。并且，对第三音频信号进行VAD处理，还能够识别第三音频信号中的包含噪声信号的信号，这样通过对第三音频信号进行VAD处理，得到包含噪声信号的第四音频信号。
A2：将第四音频信号中的语音信号作为第一语音信号。
需要说明的是，第四音频信号中不仅包含噪声信号，还包含语音信号。对第四音频信号进行滤波处理，将第四音频信号中的噪声信号消除，得到第四音频信号中的语音信号，作为第一语音信号。需要说明的是，通过第一自适应滤波器对第四音频信号进行滤波处理。
(2)去除目标噪声参考信号中的第一语音信号，得到第一噪声信号。
其中，目标噪声参考信号中包括语音信号和噪声信号；在本申请实施例中，将目标噪声参考信号中的第一语音信号去除后，得到了不包括语音信号的纯净的第一噪声信号。
(3)去除第三音频信号中的第一噪声信号，得到目标语音信号。
其中，第三音频信号中包括语音信号和第一噪声信号。对第一噪声信号进行滤波处理，得到滤波处理后的第一噪声信号；将第三音频信号去除滤波处理后的第一噪声信号，得到目标语音信号。需要说明的是，通过第二自适应滤波器对第一噪声信号进行滤波处理。
参见图6，图6为基于目标噪声参考信号，将第三音频信号进行降噪处理，得到目标语音信号的流程图。对第三音频信号进行VAD处理，得到第四音频信号。对第四音频信号进行滤波处理，将第四音频信号中的噪声信号消除，得到第一语音信号。将第一语音信号去除，得到较纯净的第一噪声信号。对第一噪声信号进行滤波处理，得到滤波处理后的第一噪声信号；将第三音频信号去除滤波处理后的第一噪声信号，得到目标语音信号。
在本申请实施例中，基于目标噪声参考信号对第三音频信号进行降噪处理，由于目标噪声参考信号中包含了第三音频信号中的全部噪声信号，这样，通过目标噪声参考信号能够将第三音频信号中的噪声信号去除干净，从而提高了降噪得到的目标语音信号的纯度。本申请实施例提供的音频信号的降噪方法在保证听感的基础上，以不损伤或较少损伤语音为前提，消除了由两个音频信号相干性不足所导致的噪声残留，提升了音频降噪的降噪方法的鲁棒性。
步骤205：对目标语音信号进行目标操作。
该步骤包括几种实现方式：
在一种可能的实现方式中，本申请实施例提供的音频信号的降噪方法应用在语音控制的场景中，发送目标语音信号，使通信对端执行目标语音信号对应的命令。
在该实现方式中，电子设备为语音控制终端，该通信对端可以为手机、机器人等。电子设备向通信对端发送目标语音信号后，通信对端接收该目标语音信号，使通信对端执行目标语音信号对应的命令，进而实现通过本申请实施例提供的方法得到的目标语音信号在语音控制上的应用。
在另一种可能的实现方式中，本申请实施例提供的音频信号的降噪方法应用在播放音频的场景中，播放目标语音信号。
在该实现方式中，电子设备为播放终端，该播放终端可以为话筒、耳机等。播放该目标语音信号后，实现了通过本申请实施例提供的方法得到的目标语音信号在音频播放上的应用。
在另一种可能的实现方式中，本申请实施例提供的音频信号的降噪方法应用在录制音频的场景中，基于目标语音信号，生成音频文件。
在该实现方式中，电子设备为录音终端，该录音终端可以为录音笔、录音器、摄像机等。基于目标语音信号，生成音频文件，实现了通过本申请实施例提供的方法得到的目标语音信号在音频录制上的应用。
在本申请实施例中，由于目标噪声参考信号是基于第一音频信号和第三音频信号中的一个和第二音频信号中进行融合得到的，这样，目标噪声参考信号既包括了第二音频信号中的噪声信号，也包括了第二音频信号未收录的第一音频信号中的噪声信号，进而再基于目标噪声参考信号对第三音频信号进行降噪处理，能够有效去除第三音频信号中的噪声信号，从而提高了降噪后的目标语音信号的纯度。
本申请实施例提供了一种音频信号的降噪装置，参见图7，装置包括：
第一处理模块701，用于基于第一音频信号和第二音频信号，对第一音频信号进行降噪处理，得到第三音频信号，第一音频信号和第二音频信号为具有相干性的音频信号；确定模块702，用于基于第一音频信号和第三音频信号中的一个音频信号和第二音频信号得到目标噪声参考信号；第二处理模块703，用于基于目标噪声参考信号，将第三音频信号进行降噪处理，得到目标语音信号。
在一些可能的实施方式中，第一音频信号和第二音频信号分别为两个音频采集部件收录的具有相干性的音频信号。
在一些可能的实施方式中，第一音频信号的噪音信号少于第二音频信号的噪音信号。
在一种可能的实现方式中，确定模块702，包括：融合单元，用于将第一音频信号和第三音频信号中的一个和第二音频信号进行融合，得到目标噪声参考信号。
在一种可能的实现方式中，融合单元，包括：确定子单元，用于基于第一音频信号、第二音频信号和第三音频信号，确定目标融合系数；融合子单元，用于基于目标融合系数，对第一音频信号和第三音频信号中的一个和第二音频信号进行融合，得到目标噪声参考信号。
在一种可能的实现方式中，确定子单元，用于：分别确定第一音频信号的第一频谱图和第二音频信号的第二频谱图，第一频谱图和第二频谱图的横坐标为频率，纵坐标为分贝；确定第一频谱图中的相干频段，相干频段为第一频谱图中与第二频谱图的分贝差小于预设分贝值的频段；基于相干频段、第一音频信号和第三音频信号，确定目标融合系数。
在一种可能的实现方式中，确定子单元，用于：确定相干频段的最小频率不低于预设频率；分别确定第一能量和第二能量，所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和；确定第二能量与第一能量之商为目标融合系数。
在一种可能的实现方式中，确定子单元，用于：确定相干频段的最小频率低于预设频率；分别确定第一能量、第二能量和第三能量，所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和，第三能量为第一音频信号在全频段的能量和，全频段为第一频谱图包括的频段；确定第二能量与第一能量之商为第一融合系数；确定第一能量与第三能量之商为第二融合系数；确定第一融合系数与第二融合系数的平均值为目标融合系数。
在一种可能的实现方式中，融合子单元，用于：基于目标融合系数，生成第一关系数据，第一关系数据为参数为目标融合系数、自变量为第一音频信号和第三音频信号中的一个音频信号和第二音频信号、因变量为目标噪声参考信号的关系数据；通过第一关系数据，对第一音频信号和第三音频信号中的一个和第二音频信号进行融合，得到目标噪声参考信号。
在一种可能的实现方式中，第二处理模块703，包括：确定单元，用于确定第三音频信号中的第一语音信号；第一去除单元，用于去除目标噪声参考信号中的第一语音信号，得到第一噪声信号；第二去除单元，用于去除第三音频信号中的第一噪声信号，得到目标语音信号。
在一种可能的实现方式中，确定单元，用于：从第三音频信号中确定第四音频信号，第四音频信号为第三音频信号中包含噪声信号的信号；将第四音频信号中的语音信号作为第一语音信号。
在一种可能的实现方式中，第一处理模块701，用于：确定第一音频信号中的第二语音信号；去除第二音频信号中的第二语音信号，得到第二噪声信号；去除第一音频信号中的第二噪声信号，得到第三音频信号。
在一种可能的实现方式中，装置还包括：发送模块，用于发送目标语音信号，使通信对端执行目标语音信号对应的命令；播放模块，用于播放目标语音信号；生成模块，用于基于目标语音信号，生成音频文件。
图8示出了本申请一个示例性实施例提供的电子设备800的结构框图。该电子设备800可以是便携式移动电子设备，比如：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备800还可能被称为用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。
通常，电子设备800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的音频信号的降噪方法。
在一些实施例中，电子设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在电子设备800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在电子设备800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在电子设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位电子设备800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源809用于为电子设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以电子设备800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测电子设备800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对电子设备800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在电子设备800的侧边框和/或显示屏805的下层。当压力传感器813设置在电子设备800的侧边框时，可以检测用户对电子设备800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在电子设备800的正面、背面或侧面。当电子设备800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在电子设备800的前面板。接近传感器816用于采集用户与电子设备800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对电子设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例提供了一种计算机可读存储介质，存储介质中存储有至少一条程序代码，至少一条程序代码由处理器加载并执行，以实现如上述的音频信号的降噪方法所执行的操作。
本申请实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取所述计算机程序代码，处理器执行所述计算机程序代码，使得所述电子设备执行上述的音频信号的降噪方法所执行的操作。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行，分布在多个地点且通过通信网络互连的多个电子设备可以组成区块链系统。
在本申请实施例中，由于目标噪声参考信号是基于第一音频信号和第三音频信号中的一个和第二音频信号得到的，这样，目标噪声参考信号既包括了第二音频信号中的噪声信号，也包括了第二音频信号未收录的第一音频信号中的噪声信号，进而再基于目标噪声参考信号对第三音频信号进行降噪处理，能够有效去除第三音频信号中的噪声信号，从而提高了降噪后的目标语音信号的纯度。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种音频信号的降噪方法，其特征在于，包括：
确定第一音频信号中的第二语音信号；去除第二音频信号中的所述第二语音信号，得到第二噪声信号；去除所述第一音频信号中的所述第二噪声信号，得到第三音频信号，所述第一音频信号和所述第二音频信号为具有相干性的音频信号，所述第一音频信号和所述第二音频信号基于同一电子设备的两个音频采集部件采集得到，所述第一音频信号中的语音信号的能量大于所述第二音频信号中的语音信号的能量，所述第二音频信号中的噪声信号的能量大于所述第一音频信号中的噪声信号的能量，所述第三音频信号包括所述第一音频信号中的语音信号，且包括去除所述第二音频信号中的第二噪声信号以外的其它噪声信号；
基于所述第一音频信号、所述第二音频信号和所述第三音频信号，确定目标融合系数；基于所述目标融合系数，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到目标噪声参考信号，所述目标噪声参考信号包括所述第一音频信号中的语音信号和噪声信号，且包括所述第二音频信号中的语音信号和噪声信号；
基于所述目标噪声参考信号，将所述第三音频信号进行降噪处理，以将所述第三音频信号中的其它噪声信号去除，得到目标语音信号。
2.根据权利要求1所述的音频信号的降噪方法，其特征在于，所述基于所述第一音频信号、所述第二音频信号和所述第三音频信号，确定目标融合系数，包括：
分别确定所述第一音频信号的第一频谱图和所述第二音频信号的第二频谱图，所述第一频谱图和所述第二频谱图的横坐标为频率，纵坐标为分贝；
确定所述第一频谱图中的相干频段，所述相干频段为所述第一频谱图中与所述第二频谱图的分贝差小于预设分贝值的频段；
基于所述相干频段、所述第一音频信号和所述第三音频信号，确定所述目标融合系数。
3.根据权利要求2所述的音频信号的降噪方法，其特征在于，所述基于所述相干频段、所述第一音频信号和所述第三音频信号，确定所述目标融合系数，包括：
确定所述相干频段的最小频率不低于预设频率；
分别确定第一能量和第二能量，所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和；
确定所述第二能量与所述第一能量之商为所述目标融合系数。
4.根据权利要求2所述的音频信号的降噪方法，其特征在于，所述基于所述相干频段、所述第一音频信号和所述第三音频信号，确定所述目标融合系数，包括：
确定所述相干频段的最小频率低于预设频率；
分别确定第一能量、第二能量和第三能量，所述第一能量为所述第一音频信号在所述相干频段的能量和，所述第二能量为所述第三音频信号在所述相干频段的能量和，所述第三能量为所述第一音频信号在全频段的能量和，所述全频段为所述第一频谱图包括的频段；
确定所述第二能量与所述第一能量之商为第一融合系数；
确定所述第一能量与所述第三能量之商为第二融合系数；
确定所述第一融合系数与所述第二融合系数的平均值为所述目标融合系数。
5.根据权利要求1所述的音频信号的降噪方法，其特征在于，所述基于所述目标融合系数，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到目标噪声参考信号，包括：
基于所述目标融合系数，生成第一关系数据；所述第一关系数据为参数为所述目标融合系数、自变量为所述第一音频信号和所述第三音频信号中的一个音频信号和所述第二音频信号、因变量为所述目标噪声参考信号的关系数据；
通过所述第一关系数据，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到所述目标噪声参考信号。
6.根据权利要求1-5任一项所述的音频信号的降噪方法，其特征在于，所述基于所述目标噪声参考信号，将所述第三音频信号进行降噪处理，以将所述第三音频信号中的其它噪声信号去除，得到目标语音信号，包括：
确定所述第三音频信号中的第一语音信号；
去除所述目标噪声参考信号中的所述第一语音信号，得到第一噪声信号；
去除所述第三音频信号中的所述第一噪声信号，得到所述目标语音信号。
7.根据权利要求6所述的音频信号的降噪方法，其特征在于，所述确定所述第三音频信号中的第一语音信号，包括：
从所述第三音频信号中确定第四音频信号，所述第四音频信号为所述第三音频信号中包含噪声信号的信号；
将所述第四音频信号中的语音信号作为所述第一语音信号。
8.根据权利要求1所述的音频信号的降噪方法，其特征在于，所述方法还包括：
发送所述目标语音信号，使通信对端执行所述目标语音信号对应的命令；或者，
播放所述目标语音信号；或者，
基于所述目标语音信号，生成音频文件。
9.一种音频信号的降噪装置，其特征在于，所述装置包括：
第一处理模块，用于确定第一音频信号中的第二语音信号；去除第二音频信号中的所述第二语音信号，得到第二噪声信号；去除所述第一音频信号中的所述第二噪声信号，得到第三音频信号，所述第一音频信号和所述第二音频信号为具有相干性的音频信号，所述第一音频信号和所述第二音频信号基于同一电子设备的两个音频采集部件采集得到，所述第一音频信号中的语音信号的能量大于所述第二音频信号中的语音信号的能量，所述第二音频信号中的噪声信号的能量大于所述第一音频信号中的噪声信号的能量，所述第三音频信号包括所述第一音频信号中的语音信号，且包括去除所述第二音频信号中的第二噪声信号以外的其它噪声信号；
确定模块，用于基于所述第一音频信号、所述第二音频信号和所述第三音频信号，确定目标融合系数；基于所述目标融合系数，对所述第一音频信号和所述第三音频信号中的一个和所述第二音频信号进行融合，得到目标噪声参考信号，所述目标噪声参考信号包括所述第一音频信号中的语音信号和噪声信号，且包括所述第二音频信号中的语音信号和噪声信号；
第二处理模块，用于基于所述目标噪声参考信号，将所述第三音频信号进行降噪处理，以将所述第三音频信号中的其它噪声信号去除，得到目标语音信号。
10.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的音频信号的降噪方法所执行的操作。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至权利要求8任一项所述的音频信号的降噪方法所执行的操作。
CN202110777962.8A 2021-07-09 2021-07-09 音频信号的降噪方法、装置、电子设备及存储介质 Active CN113539291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110777962.8A CN113539291B (zh) 2021-07-09 2021-07-09 音频信号的降噪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110777962.8A CN113539291B (zh) 2021-07-09 2021-07-09 音频信号的降噪方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113539291A CN113539291A (zh) 2021-10-22
CN113539291B true CN113539291B (zh) 2024-06-25

Family

ID=78098184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110777962.8A Active CN113539291B (zh) 2021-07-09 2021-07-09 音频信号的降噪方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113539291B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402913A (zh) * 2020-02-24 2020-07-10 北京声智科技有限公司 降噪方法、装置、设备和存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5374845B2 (ja) * 2007-07-25 2013-12-25 日本電気株式会社 雑音推定装置と方法およびプログラム
CN102347027A (zh) * 2011-07-07 2012-02-08 瑞声声学科技(深圳)有限公司 双麦克风语音增强装置及其语音增强方法
US9685171B1 (en) * 2012-11-20 2017-06-20 Amazon Technologies, Inc. Multiple-stage adaptive filtering of audio signals
CN104754430A (zh) * 2013-12-30 2015-07-01 重庆重邮信科通信技术有限公司 终端麦克风降噪装置和方法
US9978388B2 (en) * 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
US9886966B2 (en) * 2014-11-07 2018-02-06 Apple Inc. System and method for improving noise suppression using logistic function and a suppression target value for automatic speech recognition
CN105225672B (zh) * 2015-08-21 2019-02-22 胡旻波 融合基频信息的双麦克风定向噪音抑制的系统及方法
CN107945815B (zh) * 2017-11-27 2021-09-07 歌尔科技有限公司 语音信号降噪方法及设备
WO2019112468A1 (en) * 2017-12-08 2019-06-13 Huawei Technologies Co., Ltd. Multi-microphone noise reduction method, apparatus and terminal device
CN109767783B (zh) * 2019-02-15 2021-02-02 深圳市汇顶科技股份有限公司 语音增强方法、装置、设备及存储介质
US11011182B2 (en) * 2019-03-25 2021-05-18 Nxp B.V. Audio processing system for speech enhancement
CN110010143B (zh) * 2019-04-19 2020-06-09 出门问问信息科技有限公司 一种语音信号增强系统、方法及存储介质
TWI738532B (zh) * 2019-10-27 2021-09-01 英屬開曼群島商意騰科技股份有限公司 具多麥克風之語音增強裝置及方法
CN110853664B (zh) * 2019-11-22 2022-05-06 北京小米移动软件有限公司 评估语音增强算法性能的方法及装置、电子设备
CN110856072B (zh) * 2019-12-04 2021-03-19 北京声加科技有限公司 一种耳机通话降噪方法及耳机
CN111063366A (zh) * 2019-12-26 2020-04-24 紫光展锐(重庆)科技有限公司 降低噪声的方法、装置、电子设备及可读存储介质
CN111402918B (zh) * 2020-03-20 2023-08-08 北京达佳互联信息技术有限公司 一种音频处理方法、装置、设备及存储介质
CN111986691B (zh) * 2020-09-04 2024-02-02 腾讯科技（深圳）有限公司 音频处理方法、装置、计算机设备及存储介质
CN112242149B (zh) * 2020-12-03 2021-03-26 北京声智科技有限公司 音频数据的处理方法、装置、耳机及计算机可读存储介质
CN112735461B (zh) * 2020-12-29 2024-06-07 西安讯飞超脑信息科技有限公司 拾音方法以及相关装置、设备
CN112863535B (zh) * 2021-01-05 2022-04-26 中国科学院声学研究所 一种残余回声及噪声消除方法及装置
CN113035167A (zh) * 2021-01-28 2021-06-25 广州朗国电子科技有限公司 一种主动降噪的音频调教方法及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402913A (zh) * 2020-02-24 2020-07-10 北京声智科技有限公司 降噪方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于麦克风阵列的语音增强算法研究;闫姝等;《自动化仪表》;第40卷(第9期);第59-62页 *

Also Published As

Publication number Publication date
CN113539291A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110764730B (zh) 播放音频数据的方法和装置
CN108401124B (zh) 视频录制的方法和装置
CN111402913B (zh) 降噪方法、装置、设备和存储介质
CN108965757B (zh) 视频录制方法、装置、终端及存储介质
CN108922506A (zh) 歌曲音频生成方法、装置和计算机可读存储介质
CN111276122B (zh) 音频生成方法及装置、存储介质
CN111681655A (zh) 语音控制方法、装置、电子设备及存储介质
CN109102811B (zh) 音频指纹的生成方法、装置及存储介质
CN110797042B (zh) 音频处理方法、装置及存储介质
CN110868642B (zh) 视频播放方法、装置及存储介质
CN110473562B (zh) 音频数据处理方法、装置以及系统
CN114384466A (zh) 声源方向确定方法、装置、电子设备及存储介质
CN110992954A (zh) 语音识别的方法、装置、设备及存储介质
CN109448676B (zh) 音频处理方法、装置及存储介质
CN113539291B (zh) 音频信号的降噪方法、装置、电子设备及存储介质
CN111711841B (zh) 图像帧播放方法、装置、终端及存储介质
CN111798863B (zh) 消除回声的方法、装置、电子设备及可读存储介质
CN114388001A (zh) 多媒体文件的播放方法、装置、设备及存储介质
CN110660031B (zh) 图像锐化方法及装置、存储介质
CN114594885A (zh) 应用图标的管理方法、装置、设备及计算机可读存储介质
CN111063372B (zh) 确定音高特征的方法、装置、设备及存储介质
CN114595019A (zh) 应用程序的主题设置方法、装置、设备及存储介质
CN108877845B (zh) 歌曲播放方法及装置
CN108881715B (zh) 拍摄模式的启用方法、装置、终端及存储介质
CN113592874A (zh) 图像显示方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant