CN117238307B - 基于深度学习的音频优化处理方法及系统 - Google Patents
基于深度学习的音频优化处理方法及系统 Download PDFInfo
- Publication number
- CN117238307B CN117238307B CN202311500231.4A CN202311500231A CN117238307B CN 117238307 B CN117238307 B CN 117238307B CN 202311500231 A CN202311500231 A CN 202311500231A CN 117238307 B CN117238307 B CN 117238307B
- Authority
- CN
- China
- Prior art keywords
- audio
- noise
- signal
- sinusoidal
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 86
- 238000013135 deep learning Methods 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000005236 sound signal Effects 0.000 claims abstract description 237
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000008859 change Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 230000003094 perturbing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009467 reduction Effects 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000005422 blasting Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了基于深度学习的音频优化处理方法及系统,涉及音频数据处理技术领域,包括:获取音频信号;基于深度学习,建立背景噪音模型,建立音频优化模型;利用背景噪音模型,将噪音分为易辨识噪音和难辨识噪音,将从属易辨识噪音的音频强度降低至预设强度;将第一正弦音频信号的音频强度降低至预设强度;对第二正弦音频信号进行扰动处理,得到第三正弦音频信号;对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分;输出优化音频信号。通过设置深度学习模块、噪声分类模块、噪声处理模块和音频优化模块,降噪处理更为精确,能有针对性的对音频进行优化,进而提升音频效果。
Description
技术领域
本发明涉及音频数据处理技术领域,具体是涉及基于深度学习的音频优化处理方法及系统。
背景技术
随着互联网技术的发展,互联网应用也得到迅速发展;其中,互联网应用可包括但不限于:即时通信应用、社会性网络服务应用、语音通信应用等。诸如笔记本电脑、手机、PAD等终端中可安装上述互联网应用,终端侧用户可使用终端中的互联网应用与其他用户进行诸如语音电话、音频聊天等音频通话。音质是影响音频通话的一个重要因素。
实践中发现,音响系统在进行音频播放时,扬声器中有时混有爆破音或出现变调、失真等现象。经反复实验找到了发生这种现象的原因:数据处理模块的优化处理方法按照设定的固定模式进行,即对接收到的所有音频数据不加区分地采取相同的降噪优化措施,导致有些音频数据降噪优化后的播放效果反而更差。
发明内容
为解决上述技术问题,提供基于深度学习的音频优化处理方法及系统,本技术方案解决了上述背景技术中提出的对接收到的所有音频数据不加区分地采取相同的降噪优化措施,导致有些音频数据降噪优化后的播放效果反而更差的问题。
为达到以上目的,本发明采用的技术方案为:
基于深度学习的音频优化处理方法,包括:
获取音频信号,将连续信号数字化变成音频数字信号,数字化包括采样、量化和编码,使用傅里叶变换,将音频数字信号分解为至少一个正弦音频信号;
基于深度学习,建立背景噪音模型,建立音频优化模型;
利用背景噪音模型,得到噪音特征,根据噪音特征,将噪音分为易辨识噪音和难辨识噪音,捕获至少一个正弦音频信号中的从属易辨识噪音,从属易辨识噪音为正弦音频信号中与易辨识噪音差距在预设范围内的信号,将从属易辨识噪音的音频强度降低至预设强度,人耳无法识别低于所述预设强度的音频;
对于难辨识噪音,使用傅里叶变换,将难辨识噪音分解为至少一个正弦噪声信号,在至少一个正弦音频信号中,捕获与正弦噪声信号差距在预设范围内的第一正弦音频信号,将第一正弦音频信号的音频强度降低至预设强度,其中,第一正弦音频信号与正弦噪声信号差距的计算方式为在二者定义域上对第一正弦音频信号与正弦噪声信号的差的绝对值进行积分;
使用音频优化模型,获取至少一个特征优化音频信号,在至少一个正弦音频信号中,捕获与特征优化音频信号差距在预设范围内的第二正弦音频信号,对第二正弦音频信号进行扰动处理,得到第三正弦音频信号,其中,第二正弦音频信号与特征优化音频信号差距的计算方式为在二者定义域上对第二正弦音频信号与特征优化音频信号的差的绝对值进行积分;
对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分;
将调整后的至少一个正弦音频信号进行傅里叶逆变换,得到优化后的音频数字信号,重新变换音频数字信号为优化音频信号,输出优化音频信号。
优选的,所述采样、量化和编码包括以下步骤:
作出音频信号的连续图像,横轴为时间,纵轴为音频信号强度;
取有限个时间点,完成采样;
采集时间点处对应的音频信号强度,完成量化;
对得到的量化数据进行编码,表示成计算机能够识别的数字格式。
优选的,所述基于深度学习,建立背景噪音模型包括以下步骤:
大数据获取各种实际的噪声,剔除音频信号中不会出现的噪声,得到样本噪声;
对于样本噪声进行采样、量化和编码,得到噪声数字信号。
优选的,所述建立音频优化模型包括以下步骤:
大数据获取各类标准音频信号;
对于各类标准音频信号进行采样、量化和编码,得到标准音频数字信号。
优选的,所述根据噪音特征,将噪音分为易辨识噪音和难辨识噪音包括以下步骤:
获取背景噪音模型中的所有噪声数字信号;
在噪声数字信号与音频数字信号的定义域上,对噪声数字信号与音频数字信号的差的绝对值进行积分,得到积分差值;
若积分差值大于预设差值,则噪声数字信号为易辨识噪音;
若积分差值不超过预设差值,则噪声数字信号为难辨识噪音。
优选的,所述傅里叶变换具体如下:
其中,F(x)为傅里叶变换后的信号,i为单位虚数,e为自然常数,f(t)为傅里叶变换前的信号;
傅里叶逆变换具体如下:
其中,G(t)为傅里叶逆变换前的信号,i为单位虚数,e为自然常数,g(x)为傅里叶逆变换后的信号。
优选的,所述捕获至少一个正弦音频信号中的从属易辨识噪音,将从属易辨识噪音的音频强度降低至预设强度包括以下步骤:
获取易辨识噪音,在至少一个正弦音频信号中进行检索,得到与易辨识噪音差距在预设范围内的从属易辨识噪音;
获取从属易辨识噪音的第一拟合函数,在至少一个正弦音频信号中添加函数图像为/>的噪音逆反信号;
从属易辨识噪音与噪音逆反信号叠加,得到噪声抵消信号,噪声抵消信号的音频强度降低至预设强度;
将第一正弦音频信号的音频强度降低至预设强度包括以下步骤:
获得第一正弦音频信号的第二拟合函数,在至少一个正弦音频信号中添加函数图像为/>的正弦逆反信号;
第一正弦音频信号与正弦逆反信号叠加,得到噪声消除信号,噪声消除信号的音频强度降低至预设强度。
优选的,所述对第二正弦音频信号进行扰动处理包括以下步骤:
获取拟合第二正弦音频信号的正弦函数,获取拟合特征优化音频信号的特征函数/>;
将正弦函数与特征函数/>作差,得到补偿函数/>,在第二正弦音频信号中添加补偿逆反函数/>,得到第三正弦音频信号,完成扰动。
优选的,所述对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分包括以下步骤:
将第三正弦音频信号与特征优化音频信号在同一个坐标系中作出,横轴为时间,纵轴为音频信号强度;
在坐标系中寻找至少一个关键时间点,第三正弦音频信号与特征优化音频信号满足于在所述关键时间点处的差值超出预设范围;
截取关键时间点处的第三正弦音频信号作为音频关键帧,并在关键时间点处截取特征优化音频信号作为对比关键帧;
获取音频关键帧中第三正弦音频信号的取值p,获取对比关键帧中特征优化音频信号的取值q;
作出突变消除信号的函数,/>满足于在关键时间点处取值为/>,在除关键时间点之外的点处取值为0;
将突变消除信号与第三正弦音频信号叠加输出,完成修正。
基于深度学习的音频优化处理系统,用于实现上述的基于深度学习的音频优化处理方法,包括:
音频处理模块,所述音频处理模块获取音频信号,将连续信号数字化变成音频数字信号,所述音频处理模块得到优化后的音频数字信号,重新变换音频数字信号为优化音频信号,输出优化音频信号;
傅里叶处理模块,所述傅里叶处理模块进行傅里叶变换和傅里叶逆变换;
深度学习模块,所述深度学习模块基于深度学习,建立背景噪音模型,建立音频优化模型;
噪声分类模块,所述噪声分类模块根据噪音特征,将噪音分为易辨识噪音和难辨识噪音;
噪声处理模块,所述噪声处理模块将从属易辨识噪音的音频强度降低至预设强度,将第一正弦音频信号的音频强度降低至预设强度;
音频优化模块,所述音频优化模块对第二正弦音频信号进行扰动处理,得到第三正弦音频信号,所述音频优化模块对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分。
与现有技术相比,本发明的有益效果在于:
通过设置深度学习模块、噪声分类模块、噪声处理模块和音频优化模块,对噪声进行分类,将噪音分为易辨识噪音和难辨识噪音,采用两种降噪方法,对易辨识噪音和难辨识噪音分别进行降噪,降噪处理更为精确,同时也十分快捷,不会影响音频数据,将音频傅里叶变换分解后,使用音频优化模型中的标准音频对对分解的信号进行优化,对个别存在爆破点的分解信号,使用音频关键帧截取的方式进行音频优化,能有针对性的对音频进行优化,进而提升音频效果。
附图说明
图1为本发明的基于深度学习的音频优化处理方法流程示意图;
图2为本发明的采样、量化和编码流程示意图;
图3为本发明的基于深度学习,建立背景噪音模型流程示意图;
图4为本发明的建立音频优化模型流程示意图;
图5为本发明的根据噪音特征,将噪音分为易辨识噪音和难辨识噪音流程示意图;
图6为本发明的捕获至少一个正弦音频信号中的从属易辨识噪音,将从属易辨识噪音的音频强度降低至预设强度流程示意图;
图7为本发明的对第二正弦音频信号进行扰动处理流程示意图;
图8为本发明的对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分流程示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。
参照图1所示,基于深度学习的音频优化处理方法,包括:
获取音频信号,将连续信号数字化变成音频数字信号,数字化包括采样、量化和编码,使用傅里叶变换,将音频数字信号分解为至少一个正弦音频信号;
基于深度学习,建立背景噪音模型,建立音频优化模型;
利用背景噪音模型,得到噪音特征,根据噪音特征,将噪音分为易辨识噪音和难辨识噪音,捕获至少一个正弦音频信号中的从属易辨识噪音,将从属易辨识噪音的音频强度降低至预设强度,人耳无法识别低于所述预设强度的音频;
对于难辨识噪音,使用傅里叶变换,将难辨识噪音分解为至少一个正弦噪声信号,在至少一个正弦音频信号中,捕获与正弦噪声信号差距在预设范围内的第一正弦音频信号,将第一正弦音频信号的音频强度降低至预设强度,其中,第一正弦音频信号与正弦噪声信号差距的计算方式为在二者定义域上对第一正弦音频信号与正弦噪声信号的差的绝对值进行积分;
使用音频优化模型,获取至少一个特征优化音频信号,在至少一个正弦音频信号中,捕获与特征优化音频信号差距在预设范围内的第二正弦音频信号,第二正弦音频信号必然是与特征优化音频信号同种的信号,但二者之间存在差距,而特征优化音频信号为标准信号,因此,要以特征优化音频信号为基础,对第二正弦音频信号进行优化,对第二正弦音频信号进行扰动处理,得到第三正弦音频信号,其中,第二正弦音频信号与特征优化音频信号差距的计算方式为在二者定义域上对第二正弦音频信号与特征优化音频信号的差的绝对值进行积分;
对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分;
将调整后的至少一个正弦音频信号进行傅里叶逆变换,得到优化后的音频数字信号,重新变换音频数字信号为优化音频信号,输出优化音频信号。
参照图2所示,采样、量化和编码包括以下步骤:
作出音频信号的连续图像,横轴为时间,纵轴为音频信号强度;
取有限个时间点,完成采样;
采集时间点处对应的音频信号强度,完成量化;
对得到的量化数据进行编码,表示成计算机能够识别的数字格式。
参照图3所示,基于深度学习,建立背景噪音模型包括以下步骤:
大数据获取各种实际的噪声,剔除音频信号中不会出现的噪声,得到样本噪声;
对于样本噪声进行采样、量化和编码,得到噪声数字信号;
即将所有可能在音频信号中出现的噪声进行收集,作为样本,在对音频信号降噪时,用于比对找寻音频信号中的噪声。
参照图4所示,建立音频优化模型包括以下步骤:
大数据获取各类标准音频信号;
对于各类标准音频信号进行采样、量化和编码,得到标准音频数字信号;
在优化时,将音频数字信号分解为至少一个正弦音频信号,预先在音频优化模型存储各类标准音频信号,使用标准音频信号对正弦音频信号进行优化。
参照图5所示,根据噪音特征,将噪音分为易辨识噪音和难辨识噪音包括以下步骤:
获取背景噪音模型中的所有噪声数字信号;
在噪声数字信号与音频数字信号的定义域上,对噪声数字信号与音频数字信号的差的绝对值进行积分,得到积分差值;
若积分差值大于预设差值,说明噪声数字信号与音频数字信号的区别十分大,则噪声数字信号为易辨识噪音;
若积分差值不超过预设差值,说明噪声数字信号与音频数字信号的区别不明显,则噪声数字信号为难辨识噪音。
傅里叶变换具体如下:
其中,F(x)为傅里叶变换后的信号,i为单位虚数,e为自然常数,f(t)为傅里叶变换前的信号;
傅里叶逆变换具体如下:
其中,G(t)为傅里叶逆变换前的信号,i为单位虚数,e为自然常数,g(x)为傅里叶逆变换后的信号。
参照图6所示,捕获至少一个正弦音频信号中的从属易辨识噪音,将从属易辨识噪音的音频强度降低至预设强度包括以下步骤:
音频数字信号中存在噪声,因此,音频数字信号分解得到的至少一个正弦音频信号中也存在噪声;
获取易辨识噪音,在至少一个正弦音频信号中进行检索,得到与易辨识噪音差距在预设范围内的从属易辨识噪音,从属易辨识噪音与易辨识噪音临近,因此,必然为噪声;
获取从属易辨识噪音的第一拟合函数,在至少一个正弦音频信号中添加函数图像为/>的噪音逆反信号,噪音逆反信号是与从属易辨识噪音相反的信号,二者叠加会互相消除;
从属易辨识噪音与噪音逆反信号叠加,得到噪声抵消信号,噪声抵消信号的音频强度降低至预设强度;
将第一正弦音频信号的音频强度降低至预设强度包括以下步骤:
获得第一正弦音频信号的第二拟合函数,在至少一个正弦音频信号中添加函数图像为/>的正弦逆反信号;
第一正弦音频信号与正弦逆反信号叠加,得到噪声消除信号,噪声消除信号的音频强度降低至预设强度。
参照图7所示,对第二正弦音频信号进行扰动处理包括以下步骤:
获取拟合第二正弦音频信号的正弦函数,获取拟合特征优化音频信号的特征函数/>;
将正弦函数与特征函数/>作差,得到补偿函数/>,在第二正弦音频信号中添加补偿逆反函数/>,得到第三正弦音频信号,完成扰动;
扰动后的第三正弦音频信号与特征优化音频信号仍然不完全一致,第三正弦音频信号可能在某点处,存在爆破音,即突变音,原因是,正弦函数是对第二正弦音频信号的近似拟合函数,特征函数/>是对特征优化音频信号的近似拟合函数,正弦函数和特征函数中不存在突变音,因而,使用正弦函数和特征函数所完成的扰动,不会消除第二正弦音频信号中的突变音,得到的第三正弦音频信号中会存在突变音。
因此针对第三正弦音频信号中的突变音,要进行音频关键帧提取,在音频关键帧中将突变音抵消处理。
参照图8所示,对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分包括以下步骤:
将第三正弦音频信号与特征优化音频信号在同一个坐标系中作出,横轴为时间,纵轴为音频信号强度;
在坐标系中寻找至少一个关键时间点,第三正弦音频信号与特征优化音频信号满足于在所述关键时间点处的差值超出预设范围;
截取关键时间点处的第三正弦音频信号作为音频关键帧,并在关键时间点处截取特征优化音频信号作为对比关键帧;
获取音频关键帧中第三正弦音频信号的取值p,获取对比关键帧中特征优化音频信号的取值q;
作出突变消除信号的函数,/>满足于在关键时间点处取值为/>,在除关键时间点之外的点处取值为0;
将突变消除信号与第三正弦音频信号叠加输出,完成修正。
基于深度学习的音频优化处理系统,用于实现上述的基于深度学习的音频优化处理方法,包括:
音频处理模块,所述音频处理模块获取音频信号,将连续信号数字化变成音频数字信号,所述音频处理模块得到优化后的音频数字信号,重新变换音频数字信号为优化音频信号,输出优化音频信号;
傅里叶处理模块,所述傅里叶处理模块进行傅里叶变换和傅里叶逆变换;
深度学习模块,所述深度学习模块基于深度学习,建立背景噪音模型,建立音频优化模型;
噪声分类模块,所述噪声分类模块根据噪音特征,将噪音分为易辨识噪音和难辨识噪音;
噪声处理模块,所述噪声处理模块将从属易辨识噪音的音频强度降低至预设强度,将第一正弦音频信号的音频强度降低至预设强度;
音频优化模块,所述音频优化模块对第二正弦音频信号进行扰动处理,得到第三正弦音频信号,所述音频优化模块对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分。
上述基于深度学习的音频优化处理系统的工作过程如下:
步骤一:音频处理模块获取音频信号,将连续信号数字化变成音频数字信号,数字化包括采样、量化和编码,傅里叶处理模块使用傅里叶变换,将音频数字信号分解为至少一个正弦音频信号;
步骤二:深度学习模块基于深度学习,建立背景噪音模型,建立音频优化模型;
步骤三:噪声分类模块利用背景噪音模型,得到噪音特征,根据噪音特征,将噪音分为易辨识噪音和难辨识噪音,噪声处理模块捕获至少一个正弦音频信号中的从属易辨识噪音,将从属易辨识噪音的音频强度降低至预设强度,人耳无法识别低于所述预设强度的音频;
步骤四:傅里叶处理模块对于难辨识噪音,使用傅里叶变换,将难辨识噪音分解为至少一个正弦噪声信号,噪声处理模块在至少一个正弦音频信号中,捕获与正弦噪声信号差距在预设范围内的第一正弦音频信号,将第一正弦音频信号的音频强度降低至预设强度;
步骤五:音频优化模块使用音频优化模型,获取至少一个特征优化音频信号,在至少一个正弦音频信号中,捕获与特征优化音频信号差距在预设范围内的第二正弦音频信号,对第二正弦音频信号进行扰动处理,得到第三正弦音频信号;
步骤六:音频优化模块对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分;
步骤七:傅里叶处理模块将调整后的至少一个正弦音频信号进行傅里叶逆变换,音频处理模块得到优化后的音频数字信号,重新变换音频数字信号为优化音频信号,输出优化音频信号。
再进一步的,本方案还提出一种存储介质,其上存储有计算机可读程序,计算机可读程序被调用时执行上述的基于深度学习的音频优化处理方法。
可以理解的是,存储介质可以是磁性介质,例如,软盘、硬盘、磁带;光介质例如,DVD;或者半导体介质例如固态硬盘SolidStateDisk,SSD等。
综上所述,本发明的优点在于:通过设置深度学习模块、噪声分类模块、噪声处理模块和音频优化模块,对噪声进行分类,将噪音分为易辨识噪音和难辨识噪音,采用两种降噪方法,对易辨识噪音和难辨识噪音分别进行降噪,降噪处理更为精确,同时也十分快捷,不会影响音频数据,将音频傅里叶变换分解后,使用音频优化模型中的标准音频对对分解的信号进行优化,对个别存在爆破点的分解信号,使用音频关键帧截取的方式进行音频优化,能有针对性的对音频进行优化,进而提升音频效果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (10)
1.基于深度学习的音频优化处理方法,其特征在于,包括:
获取音频信号,将连续信号数字化变成音频数字信号,数字化包括采样、量化和编码,使用傅里叶变换,将音频数字信号分解为至少一个正弦音频信号;
基于深度学习,建立背景噪音模型,建立音频优化模型;
利用背景噪音模型,得到噪音特征,根据噪音特征,将噪音分为易辨识噪音和难辨识噪音,捕获至少一个正弦音频信号中的从属易辨识噪音,从属易辨识噪音为正弦音频信号中与易辨识噪音差距在预设范围内的信号,将从属易辨识噪音的音频强度降低至预设强度,人耳无法识别低于所述预设强度的音频;
对于难辨识噪音,使用傅里叶变换,将难辨识噪音分解为至少一个正弦噪声信号,在至少一个正弦音频信号中,捕获与正弦噪声信号差距在预设范围内的第一正弦音频信号,将第一正弦音频信号的音频强度降低至预设强度,其中,第一正弦音频信号与正弦噪声信号差距的计算方式为在二者定义域上对第一正弦音频信号与正弦噪声信号的差的绝对值进行积分;
使用音频优化模型,获取至少一个特征优化音频信号,在至少一个正弦音频信号中,捕获与特征优化音频信号差距在预设范围内的第二正弦音频信号,对第二正弦音频信号进行扰动处理,得到第三正弦音频信号,其中,第二正弦音频信号与特征优化音频信号差距的计算方式为在二者定义域上对第二正弦音频信号与特征优化音频信号的差的绝对值进行积分;
对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分;
将调整后的至少一个正弦音频信号进行傅里叶逆变换,得到优化后的音频数字信号,重新变换音频数字信号为优化音频信号,输出优化音频信号。
2.根据权利要求1所述的基于深度学习的音频优化处理方法,其特征在于,所述采样、量化和编码包括以下步骤:
作出音频信号的连续图像,横轴为时间,纵轴为音频信号强度;
取有限个时间点,完成采样;
采集时间点处对应的音频信号强度,完成量化;
对得到的量化数据进行编码,表示成计算机能够识别的数字格式。
3.根据权利要求2所述的基于深度学习的音频优化处理方法,其特征在于,所述基于深度学习,建立背景噪音模型包括以下步骤:
大数据获取各种实际的噪声,剔除音频信号中不会出现的噪声,得到样本噪声;
对于样本噪声进行采样、量化和编码,得到噪声数字信号。
4.根据权利要求3所述的基于深度学习的音频优化处理方法,其特征在于,所述建立音频优化模型包括以下步骤:
大数据获取各类标准音频信号;
对于各类标准音频信号进行采样、量化和编码,得到标准音频数字信号。
5.根据权利要求4所述的基于深度学习的音频优化处理方法,其特征在于,所述根据噪音特征,将噪音分为易辨识噪音和难辨识噪音包括以下步骤:
获取背景噪音模型中的所有噪声数字信号;
在噪声数字信号与音频数字信号的定义域上,对噪声数字信号与音频数字信号的差的绝对值进行积分,得到积分差值;
若积分差值大于预设差值,则噪声数字信号为易辨识噪音;
若积分差值不超过预设差值,则噪声数字信号为难辨识噪音。
6.根据权利要求5所述的基于深度学习的音频优化处理方法,其特征在于,所述傅里叶变换具体如下:
,
其中,F(x)为傅里叶变换后的信号,i为单位虚数,e为自然常数,f(t)为傅里叶变换前的信号;
傅里叶逆变换具体如下:
,
其中,G(t)为傅里叶逆变换前的信号,i为单位虚数,e为自然常数,g(x)为傅里叶逆变换后的信号。
7.根据权利要求6所述的基于深度学习的音频优化处理方法,其特征在于,所述捕获至少一个正弦音频信号中的从属易辨识噪音,将从属易辨识噪音的音频强度降低至预设强度包括以下步骤:
获取易辨识噪音,在至少一个正弦音频信号中进行检索,得到与易辨识噪音差距在预设范围内的从属易辨识噪音;
获取从属易辨识噪音的第一拟合函数,在至少一个正弦音频信号中添加函数图像为/>的噪音逆反信号;
从属易辨识噪音与噪音逆反信号叠加,得到噪声抵消信号,噪声抵消信号的音频强度降低至预设强度;
将第一正弦音频信号的音频强度降低至预设强度包括以下步骤:
获得第一正弦音频信号的第二拟合函数,在至少一个正弦音频信号中添加函数图像为/>的正弦逆反信号;
第一正弦音频信号与正弦逆反信号叠加,得到噪声消除信号,噪声消除信号的音频强度降低至预设强度。
8.根据权利要求7所述的基于深度学习的音频优化处理方法,其特征在于,所述对第二正弦音频信号进行扰动处理包括以下步骤:
获取拟合第二正弦音频信号的正弦函数,获取拟合特征优化音频信号的特征函数;
将正弦函数与特征函数/>作差,得到补偿函数/>,在第二正弦音频信号中添加补偿逆反函数/>,得到第三正弦音频信号,完成扰动。
9.根据权利要求8所述的基于深度学习的音频优化处理方法,其特征在于,所述对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分包括以下步骤:
将第三正弦音频信号与特征优化音频信号在同一个坐标系中作出,横轴为时间,纵轴为音频信号强度;
在坐标系中寻找至少一个关键时间点,第三正弦音频信号与特征优化音频信号满足于在所述关键时间点处的差值超出预设范围;
截取关键时间点处的第三正弦音频信号作为音频关键帧,并在关键时间点处截取特征优化音频信号作为对比关键帧;
获取音频关键帧中第三正弦音频信号的取值p,获取对比关键帧中特征优化音频信号的取值q;
作出突变消除信号的函数,/>满足于在关键时间点处取值为/>,在除关键时间点之外的点处取值为0;
将突变消除信号与第三正弦音频信号叠加输出,完成修正。
10.基于深度学习的音频优化处理系统,用于实现如权利要求1-9任一项所述的基于深度学习的音频优化处理方法,其特征在于,包括:
音频处理模块,所述音频处理模块获取音频信号,将连续信号数字化变成音频数字信号,所述音频处理模块得到优化后的音频数字信号,重新变换音频数字信号为优化音频信号,输出优化音频信号;
傅里叶处理模块,所述傅里叶处理模块进行傅里叶变换和傅里叶逆变换;
深度学习模块,所述深度学习模块基于深度学习,建立背景噪音模型,建立音频优化模型;
噪声分类模块,所述噪声分类模块根据噪音特征,将噪音分为易辨识噪音和难辨识噪音;
噪声处理模块,所述噪声处理模块将从属易辨识噪音的音频强度降低至预设强度,将第一正弦音频信号的音频强度降低至预设强度;
音频优化模块,所述音频优化模块对第二正弦音频信号进行扰动处理,得到第三正弦音频信号,所述音频优化模块对第三正弦音频信号进行音频关键帧提取,改变第三正弦音频信号中被音频关键帧截取的突变部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311500231.4A CN117238307B (zh) | 2023-11-13 | 2023-11-13 | 基于深度学习的音频优化处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311500231.4A CN117238307B (zh) | 2023-11-13 | 2023-11-13 | 基于深度学习的音频优化处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117238307A CN117238307A (zh) | 2023-12-15 |
CN117238307B true CN117238307B (zh) | 2024-02-09 |
Family
ID=89082901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311500231.4A Active CN117238307B (zh) | 2023-11-13 | 2023-11-13 | 基于深度学习的音频优化处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117238307B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627416A (zh) * | 2020-05-13 | 2020-09-04 | 广州国音智能科技有限公司 | 音频噪声消除方法、装置、设备和存储介质 |
CN112017630A (zh) * | 2020-08-19 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 一种语种识别方法、装置、电子设备及存储介质 |
CN112509592A (zh) * | 2020-11-18 | 2021-03-16 | 广东美的白色家电技术创新中心有限公司 | 电器设备、噪音处理方法和可读存储介质 |
CN112567458A (zh) * | 2018-08-16 | 2021-03-26 | 三菱电机株式会社 | 音频信号处理系统、音频信号处理方法及计算机可读存储介质 |
US11146607B1 (en) * | 2019-05-31 | 2021-10-12 | Dialpad, Inc. | Smart noise cancellation |
CN115134711A (zh) * | 2021-03-26 | 2022-09-30 | Oppo广东移动通信有限公司 | 音频播放设备的降噪方法、装置、电子设备以及存储介质 |
CN116543731A (zh) * | 2022-01-25 | 2023-08-04 | 深圳市理邦精密仪器股份有限公司 | 降噪方法及医疗设备 |
CN116567474A (zh) * | 2023-05-30 | 2023-08-08 | 深圳华钜芯半导体有限公司 | 一种基于声音数据识别的蓝牙耳机智能降噪判断系统 |
CN116801157A (zh) * | 2023-08-28 | 2023-09-22 | 深圳市鑫正宇科技有限公司 | 一种无线耳机组件及其信号处理方法 |
CN116825123A (zh) * | 2023-06-19 | 2023-09-29 | 广东保伦电子股份有限公司 | 一种基于音频推送的音质优化方法及系统 |
CN116884429A (zh) * | 2023-09-05 | 2023-10-13 | 深圳市极客空间科技有限公司 | 一种基于信号增强的音频处理方法 |
CN116994552A (zh) * | 2023-09-28 | 2023-11-03 | 深圳市齐奥通信技术有限公司 | 一种基于深度学习的音频降噪方法及系统 |
-
2023
- 2023-11-13 CN CN202311500231.4A patent/CN117238307B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112567458A (zh) * | 2018-08-16 | 2021-03-26 | 三菱电机株式会社 | 音频信号处理系统、音频信号处理方法及计算机可读存储介质 |
US11146607B1 (en) * | 2019-05-31 | 2021-10-12 | Dialpad, Inc. | Smart noise cancellation |
CN111627416A (zh) * | 2020-05-13 | 2020-09-04 | 广州国音智能科技有限公司 | 音频噪声消除方法、装置、设备和存储介质 |
CN112017630A (zh) * | 2020-08-19 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 一种语种识别方法、装置、电子设备及存储介质 |
CN112509592A (zh) * | 2020-11-18 | 2021-03-16 | 广东美的白色家电技术创新中心有限公司 | 电器设备、噪音处理方法和可读存储介质 |
CN115134711A (zh) * | 2021-03-26 | 2022-09-30 | Oppo广东移动通信有限公司 | 音频播放设备的降噪方法、装置、电子设备以及存储介质 |
CN116543731A (zh) * | 2022-01-25 | 2023-08-04 | 深圳市理邦精密仪器股份有限公司 | 降噪方法及医疗设备 |
CN116567474A (zh) * | 2023-05-30 | 2023-08-08 | 深圳华钜芯半导体有限公司 | 一种基于声音数据识别的蓝牙耳机智能降噪判断系统 |
CN116825123A (zh) * | 2023-06-19 | 2023-09-29 | 广东保伦电子股份有限公司 | 一种基于音频推送的音质优化方法及系统 |
CN116801157A (zh) * | 2023-08-28 | 2023-09-22 | 深圳市鑫正宇科技有限公司 | 一种无线耳机组件及其信号处理方法 |
CN116884429A (zh) * | 2023-09-05 | 2023-10-13 | 深圳市极客空间科技有限公司 | 一种基于信号增强的音频处理方法 |
CN116994552A (zh) * | 2023-09-28 | 2023-11-03 | 深圳市齐奥通信技术有限公司 | 一种基于深度学习的音频降噪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117238307A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107274908B (zh) | 基于新阈值函数的小波语音去噪方法 | |
US20090323924A1 (en) | Acoustic echo suppression | |
CN108335694B (zh) | 远场环境噪声处理方法、装置、设备和存储介质 | |
CN104427068B (zh) | 一种语音通话方法及装置 | |
CN110505332A (zh) | 一种降噪方法、装置、移动终端及存储介质 | |
WO2021007841A1 (zh) | 噪声估计方法、噪声估计装置、语音处理芯片以及电子设备 | |
US20230335148A1 (en) | Speech Separation Method, Electronic Device, Chip, and Computer-Readable Storage Medium | |
CN110473563A (zh) | 基于时频特征的呼吸声检测方法、系统、设备及介质 | |
WO2024055751A1 (zh) | 音频数据处理方法、装置、设备、存储介质及程序产品 | |
CN113012073A (zh) | 视频质量提升模型的训练方法和装置 | |
CN111107284B (zh) | 一种视频字幕实时生成系统及生成方法 | |
CN117238307B (zh) | 基于深度学习的音频优化处理方法及系统 | |
CN112382277A (zh) | 智能设备唤醒方法、智能设备和计算机可读存储介质 | |
CN107592600B (zh) | 一种基于分布式麦克风的拾音筛选方法及拾音装置 | |
KR20110024969A (ko) | 음성신호에서 통계적 모델을 이용한 잡음 제거 장치 및 방법 | |
CN112750426B (zh) | 移动终端语音分析系统 | |
CN112562712A (zh) | 一种录音数据处理方法、系统、电子设备及存储介质 | |
CN112750452A (zh) | 语音处理方法、装置、系统、智能终端以及电子设备 | |
WO2024017110A1 (zh) | 语音降噪方法、模型训练方法、装置、设备、介质及产品 | |
CN112185405A (zh) | 一种基于差分运算和联合字典学习的骨导语音增强方法 | |
CN113674752A (zh) | 音频信号的降噪方法、装置、可读介质和电子设备 | |
CN110958417A (zh) | 一种基于语音线索的视频通话类视频去除压缩噪声的方法 | |
CN113033767A (zh) | 基于知识蒸馏的神经网络的数据压缩恢复方法及系统 | |
CN118899005B (zh) | 一种音频信号处理方法、装置、计算机设备及存储介质 | |
CN118262735B (zh) | 一种麦克风自动降噪系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |