CN104575517B - 高频重建期间的音频信号处理 - Google Patents
高频重建期间的音频信号处理 Download PDFInfo
- Publication number
- CN104575517B CN104575517B CN201410643303.5A CN201410643303A CN104575517B CN 104575517 B CN104575517 B CN 104575517B CN 201410643303 A CN201410643303 A CN 201410643303A CN 104575517 B CN104575517 B CN 104575517B
- Authority
- CN
- China
- Prior art keywords
- signal
- low frequency
- spectrum
- frequency sub
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 98
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000001228 spectrum Methods 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims description 81
- 230000008929 regeneration Effects 0.000 claims description 15
- 238000011069 regeneration method Methods 0.000 claims description 15
- 230000001419 dependent effect Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 16
- 230000010076 replication Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000003321 amplification Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 230000005284 excitation Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001172 regenerating effect Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000669244 Unaspis euonymi Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000007993 MOPS buffer Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereo-Broadcasting Methods (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Radar Systems Or Details Thereof (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
本申请涉及高频重建期间的音频信号处理。具体地，本申请涉及一种编码器(901)，其被配置成从音频信号(903)生成控制数据(905)，编码器(901)包括：用于分析音频信号(903)的谱形并且确定当根据音频信号(903)的多个低频子带信号(602)再生音频信号(903)的高频分量时引入的谱包络中断的程度的装置；以及用于生成用于基于中断的程度控制高频分量的再生的控制数据(905)的装置。
Description
本发明申请是申请日期为2011年7月14日、申请号为“201180016982.8”、发明名称为“高频重建期间的音频信号处理”的发明专利申请的分案申请。
技术领域
本申请涉及音频信号的HFR(高频重建/再生)。具体地，本申请涉及一种用于执行音频信号的HFR的方法和系统，该音频信号跨越用于重建音频信号的高频的低频范围具有能量水平的大的变化。
背景技术
诸如谱带复制(SBR)技术的HFR技术允许显著提高传统的感知音频编解码器的编码效率。HFR与MPEG-4高级音频编码(AAC)相结合形成了极为高效的音频编解码器，其已用在XM卫星广播系统和世界数字广播联盟中，并且还在3GPP、DVD论坛等中被标准化。AAC和SBR的组合被称为aacPlus。aacPlus是MPEG-4标准的一部分，在MPEG-4标准中aacPlus被称为高效AAC简档(HE-AAC)。通常，HFR技术可以通过向后和向前兼容的方式与任何感知音频编解码器组合，因此提供了升级已建立的如Eureka DAB系统中使用的MPEG Layer-2的广播系统的可能。HFR方法还可以与语音编解码器组合以允许超低位率的宽带语音。
HFR的基本思想在于如下观测结果：信号的高频范围的特性和同一信号的低频范围的特性之间通常存在强相关性。因此，通过从低频范围到高频范围的信号变调(transposition)可以实现对信号的原始输入高频范围的表示的良好近似。
在通过引用合并于此的WO98/57436中建立了这一变调概念，作为一种用于从音频信号的低频带重建高频带的方法。通过在音频编码和/或语音编码中使用这一概念，可以获得位率的显著节约。在下文中，将参考音频编码，但是应注意，所描述的方法和系统同样适用于语音编码以及统一语音和音频编码(USAC)。
使用滤波器组或可选的变换，可以在时域或频域中执行高频重建。该处理通常牵涉若干步骤，其中两个主要操作是首先创建高频激励信号，以及随后对高频激励信号构形以近似原始高频谱的谱包络。创建高频激励信号的步骤可以例如基于单边带调制(SSB)，其中具有频率ω的正弦波被映射到具有频率ω+Δω的正弦波，其中Δω是固定频移。换言之，通过低频子带到高频子带的“上复制(copy-up)”操作，可以从低频信号生成高频信号。创建高频激励信号的另一方法可以牵涉低频子带的谐波变调。T阶的谐波变调典型地被设计为将低频信号的频率为ω的正弦波映射到高频信号的具有频率Tω(其中T>1)的正弦波。
HFR技术可以用作源编码系统的一部分，其中用于引导HFR处理的分类控制信息连同窄带/低频信号的表示一起从编码器传送到解码器。对于其中不可以传送额外的控制信号的系统，可以利用根据解码器侧的可用信息估计的适当的控制数据，在解码器侧应用该处理。
高频激励信号的前述包络调整的目的在于实现模拟原始高带谱形的谱形。为此，必须修改高频信号的谱形。换言之，将应用于高带的调整是现有谱包络和期望的目标谱包络的函数。
对于在频域中操作的系统，例如在伪QMF滤波器组中实现的HFR系统，由于借助于组合来自源频率范围的若干贡献来创建高带信号会将人工谱包络引入到将进行包络调整的高带中，因此现有技术方法在这一点上不是最优的。换言之，在HFR处理期间从低频信号生成的高带或高频信号典型地呈现人工谱包络(典型地包括谱中断)。这给谱包络调整器造成了困难，因为调整器不仅必须有能力以适当的时间和频率分辨率应用期望的谱包络，而且调整器还必须能够清除由HFR信号生成器人工引入的谱特性。这给包络调整器的设计约束造成了困难。结果，这些困难往往导致感知的高频能量损失，以及高带信号中的谱形的可听中断，特别是对于语音类型的信号。换言之，传统的HFR信号生成器往往将中断和水平变化引入达到在低带范围中具有大的水平变化的信号(例如嘶嘶声)的高带信号中。当随后包络调整器暴露于该高带信号时，包络调整器不能合理地和一致地从低带信号的任何自然谱特征中分离新引入的中断。
本文描述了针对前述问题的解决方案，其导致了提高的感知音频质量。具体地，本文描述了对从低带信号生成高带信号的问题的解决方案，其中有效地调整高带信号的谱包络以在不引入不合需要的人工产物的情况下模拟高带中的原始谱包络。
发明内容
本文提出了作为高频重建信号生成的一部分的附加的校正步骤。作为该附加的校正步骤的结果，提高了高频分量或高带信号的音频质量。该附加的校正步骤可以应用于使用高频重建技术的所有源编码系统，以及目的在于重建音频信号的高频的任何单端后处理方法或系统。
根据一个方面，提供了一种编码器(901)，其被配置成从音频信号(903)生成控制数据(905)，编码器(901)包括：用于分析音频信号(903)的谱形并且确定当根据音频信号(903)的多个低频子带信号(602)再生音频信号(903)的高频分量时引入的谱包络中断的程度的装置；以及用于生成用于基于中断的程度控制高频分量的再生的控制数据(905)的装置。
根据一个方面，还提供了一种音频解码器(700)，被配置成对位流(704)解码，位流(704)表示低频音频信号(707)以及描述相应的高频音频信号的谱包络的目标能量集合(708)，其中，位流(704)还表示控制数据(905)，音频解码器(700)被配置成：根据与低频音频信号(707)和目标能量集合相关联的多个低频子带信号(602)确定多个高频子带信号，其中，控制数据(905)表示是否还使用多个谱增益系数用于确定多个高频子带信号，其中，多个谱增益系数与多个低频子带信号(602)中的各个低频子带信号的能量相关联；以及根据多个低频子带信号和多个高频子带信号生成宽带音频信号。
根据一个方面，还提供了一种用于从音频信号(903)生成控制数据(905)的方法，该方法包括：分析音频信号(903)的谱形以确定当根据音频信号(903)的多个低频子带信号再生音频信号(903)的高频分量时引入的谱包络中断的程度；以及生成用于基于中断的程度控制高频分量的再生的控制数据(905)。
根据一个方面，还提供了一种用于对位流(704)进行解码的方法，位流(704)表示低频音频信号(707)以及描述相应的高频音频信号的谱包络的目标能量集合(708)，其中，位流(704)还表示控制数据(905)，该方法包括：根据与低频音频信号(707)和目标能量集合相关联的多个低频子带信号(602)确定多个高频子带信号，其中，控制数据(905)表示是否还根据多个谱增益系数确定多个高频子带信号，其中，多个谱增益系数与多个低频子带信号(602)中的各个低频子带信号的能量相关联；以及根据多个低频子带信号和多个高频子带信号生成宽带音频信号。
根据一个方面，描述了一种被配置成生成覆盖高频区间的多个高频子带信号的系统。该系统可以被配置成从多个低频子带信号生成多个高频子带信号。多个低频子带信号可以是低带或窄带音频信号的子带信号，可以使用分析滤波器组或变换来确定它们。特别地，可以使用分析QMF(正交镜像滤波器)滤波器组或FFT(快速傅立叶变换)从低带时域信号确定多个低频子带信号。多个生成的高频子带信号可以对应于从其得到多个低频子带信号的原始音频信号的高频子带信号的近似。特别地，多个低频子带信号和多个(重新)生成的高频子带信号可以对应于QMF滤波器组和/或FFT变换的子带。
该系统可以包括用于接收多个低频子带信号的装置。这样，该系统可以设置在从低带信号生成多个低频子带信号的分析滤波器组或变换的下游。低带信号可以是已在核心解码器中从接收到的位流解码的音频信号。位流可以存储在例如致密盘或DVD的存储介质上，或者位流可以通过例如光学或无线传送介质的传送介质在解码器处被接收。
该系统可以包括用于接收目标能量集合的装置，目标能量也可以称为尺度因子(scalefactor)能量。每个目标能量可以覆盖高频区间中的不同的目标区间，该目标区间也可以称为尺度因子带。典型地，与目标能量集合对应的目标区间集合覆盖整个高频区间。目标能量集合的目标能量通常表示位于相应的目标区间内的一个或更多个高频子带信号的期望能量。特别地，目标能量可以对应于位于相应的目标区间内的一个或多个高频子带信号的平均期望能量。目标区间的目标能量典型地得自目标区间内的原始音频信号的高带信号的能量。换言之，目标能量集合典型地描述原始音频信号的高带部分的谱包络。
该系统可以包括用于从多个低频子带信号生成多个高频子带信号的装置。为此目的，用于生成多个高频子带信号的装置可以被配置成执行多个低频子带信号的上复制变调和/或执行多个低频子带信号的谐波变调。
此外，用于生成多个高频子带信号的装置可以在多个高频子带信号的生成处理期间考虑多个谱增益系数。多个谱增益系数可以分别与多个低频子带信号相关联。换言之，多个低频子带信号中的每个低频子带信号可以具有来自多个谱增益系数的相应的谱增益系数。来自多个谱增益系数的谱增益系数可以被应用于相应的低频子带信号。
多个谱增益系数可以与多个低频子带信号中的各个低频子带信号的能量相关联。特别地，每个谱增益系数可以与其相应的低频子带信号的能量相关联。在一个实施例中，基于相应的低频子带信号的能量确定谱增益系数。为此目的，可以基于多个低频子带信号的多个能量值确定依赖频率的曲线。在该情况下，用于确定多个增益系数的方法可以依赖于根据多个低频子带信号的能量的(例如对数)表示而确定的依赖频率的曲线。
换言之，多个谱增益系数可以得自拟合到多个低频子带信号的能量的依赖频率的曲线。特别地，依赖频率的曲线可以是预定阶/次的多项式。替选地或额外地，依赖频率的曲线可以包括不同的曲线线段，其中不同的曲线线段拟合到不同频率区间处的多个低频子带信号的能量。不同的曲线线段可以是不同的预定阶数的多项式。在一个实施例中，不同的曲线线段是零阶多项式，使得曲线线段表示相应的频率区间内的多个低频子带信号的能量的平均能量值。在另一实施例中，通过沿不同的频率区间执行移动平均滤波操作，使依赖频率的曲线拟合到多个低频子带信号的能量。
在一个实施例中，多个增益系数中的增益系数得自多个低频子带信号的平均能量和依赖频率的曲线的相应值的差。依赖频率的曲线的相应值可以是位于增益系数所对应的低频子带信号的频率范围内的频率处的曲线值。
典型地，在特定时间网格上，例如逐个帧地，确定多个低频子带信号的能量，即，由时间网格限定的时间区间内的低频子带信号的能量对应于例如帧的时间区间内的低频子带信号的样本的平均能量。这样，可以在所选择的时间网格上确定多个不同的谱增益系数，例如可以针对音频信号的每个帧确定多个不同的谱增益系数。在一个实施例中，例如通过使用跨越每个低频子带信号的样本的浮动窗口来确定多个低频子带的能量，可以逐个样本地确定多个谱增益系数。应注意，该系统可以包括用于从多个低频子带信号确定多个谱增益系数的装置。这些装置可以被配置成执行上述的用于确定多个谱增益系数的方法。
用于生成多个高频子带信号的装置可以被配置成使用多个谱增益系数中的各个谱增益系数来放大多个低频子带信号。尽管在下文中参照“放大(amplifying)”或“放大(amplification)”，但是“放大”操作可以由其他操作替换，诸如“乘法”操作、“重调”操作或“调整”操作。放大可以通过将低频子带信号的样本与其相应的谱增益系数相乘来完成。特别地，用于生成多个高频子带信号的装置可以被配置为根据给定时刻以及至少一个先前时刻处的低频子带信号的样本，确定给定时刻处的高频子带信号的样本。此外，低频子带信号的样本可以通过多个谱增益系数中的各个谱增益系数进行放大。在一个实施例中，用于生成多个高频子带信号的装置被配置成根据MEPG-4SBR中规定的“上复制”算法从多个低频子带信号生成多个高频子带信号。可以使用多个谱增益系数对该“上复制”算法中使用的多个低频子带信号进行放大，其中如上文描述的那样执行“放大”操作。
该系统可以包括用于使用目标能量集合来调整多个高频子带信号的能量的装置。该操作典型地被称为谱包络调整。可以通过调整多个高频子带信号的能量使得位于目标区间内的多个高频子带信号的平均能量对应于相应的目标能量来执行谱包络调整。这可以通过如下方式实现：根据位于目标区间内的多个高频子带信号的能量值以及相应的目标能量来确定包络调整值。特别地，可以根据目标能量与位于相应的目标区间内的多个高频子带信号的能量值的比率来确定包络调整值。该包络调整值可用于调整多个高频子带信号的能量。
在一个实施例中，用于调整能量的装置包括用于限制位于限制器区间内的高频子带信号的能量调整的装置。典型地，限制器区间覆盖不止一个目标区间。该用于限制的装置通常用于避免某些高频子带信号内的噪声的不合需要的放大。例如，用于限制的装置可以被配置成确定与由限制器区间覆盖的或者位于限制器区间内的目标区间对应的包络调整值的平均包络调整值。此外，用于限制的装置可以被配置成将位于限制器区间内的高频子带信号的能量调整限制到与平均包络调整值成比例的值。
替选地或额外地，用于调整多个高频子带信号的能量的装置可以包括用于确保位于特定目标区间内的经调整的高频子带信号具有相同的能量的装置。后一装置通常被称为“内插”装置。换言之，“内插”装置确保了位于特定目标区间内的每个高频子带信号的能量与目标能量对应。可以通过分开调整特定目标区间内的每个高频子带信号，使得经调整的高频子带信号的能量对应于与特定目标区间相关联的目标能量来实现“内插”装置。这可以通过确定特定目标区间内的每个高频子带信号的不同的包络调整值来实现。可以基于特定的高频子带信号的能量和与特定目标区间对应的目标能量来确定不同的包络调整值。在一个实施例中，基于目标能量与特定的高频子带信号的能量的比率来确定该特定的高频子带信号的包络调整值。
该系统可以进一步包括用于接收控制数据的装置。控制数据可以表示是否应用多个谱增益系数以生成多个高频子带信号。换言之，控制数据可以表示是否执行低频子带信号的额外增益调整。替选地或额外地，控制数据可以表示用于确定多个谱增益系数的方法。作为示例，控制数据可以表示多项式的预定阶数，该多项式将用于确定拟合到多个低频子带信号的能量的依赖频率的曲线。控制数据典型地接收自相应的编码器，该编码器分析原始音频信号并且向相应的解码器或HFR系统通知如何对位流解码。
根据另一方面，描述了一种音频解码器，其被配置成对位流解码，该位流包括低频音频信号并且包括描述高频音频信号的谱包络的目标能量集合。换言之，描述了一种音频解码器，其被配置成对位流解码，该位流表示低频音频信号并且表示描述高频音频信号的谱包络的目标能量集合。该音频解码器可以包括核心解码器和/或变换单元，其被配置成根据位流确定与低频音频信号相关联的多个低频子带信号。替选地或额外地，该音频解码器可以包括根据前文描述的系统的高频生成单元，其中该系统可以被配置成根据多个低频子带信号和目标能量集合来确定多个高频子带信号。替选地或额外地，该解码器可以包括合并和/或逆变换单元，其被配置成从多个低频子带信号和多个高频子带信号生成音频信号。合并和逆变换单元可以包括合成滤波器组或变换，例如逆QMF滤波器组或逆FFT。
根据另一方面，描述了一种编码器，其被配置成从音频信号生成控制数据。该音频编码器可以包括用于分析音频信号的谱形并且确定当根据音频信号的低频分量再生音频信号的高频分量时引入的谱包络中断的程度的装置。这样，编码器可以包括相应的解码器的某些元件。特别地，编码器可以包括如本文中描述的HFR系统。这将使得编码器能够确定可能在解码器侧被引入音频信号的高频分量的谱包络中的中断程度。替选地或额外地，该编码器可以包括生成用于基于中断程度控制高频分量的再生的控制数据的装置。特别地，控制数据可以对应于由相应的解码器或HFR系统接收的控制数据。控制数据可以表示是否在HFR处理期间使用多个谱增益系数和/或使用哪个预定多项式阶数以便确定多个谱增益系数。为了确定该信息，可以确定低频区间的所选择的部分的比率，即由多个低频子带信号覆盖的频率范围。该比率信息可以通过例如如下方式确定：研究低带的最低频率以及低带的最高频率以评估低带信号的谱变化，其随后在解码器中将用于高频重建。高比率可以表示增加的中断程度。还可以使用信号类型检测器来确定控制数据。作为示例，语音信号的检测可以表示增加的中断程度。另一方面，原始音频信号中的突出的正弦波的检测可以导致指示在HFR处理期间不应使用多个谱增益系数的控制数据。
根据另一方面，描述了一种用于从多个低频子带信号生成覆盖高频区间的多个高频子带信号的方法。该方法可以包括接收多个低频子带信号和/或接收目标能量集合的步骤。每个目标能量可以覆盖高频区间内的不同的目标区间。此外，每个目标能量可以表示位于目标区间内的一个或更多个高频子带信号的期望能量。该方法可以包括根据多个低频子带信号以及分别与多个低频子带信号相关联的多个谱增益系数来生成多个高频子带信号的步骤。替选地或额外地，该方法可以包括使用目标能量集合来调整多个高频子带信号的能量的步骤。调整能量的步骤可以包括限制位于限制器区间内的高频子带信号的能量调整的步骤。典型地，限制器区间覆盖不止一个目标区间。
根据另一方面，描述了一种用于对表示或包括低频音频信号以及描述相应的高频音频信号的谱包络的目标能量集合的位流进行解码的方法。典型地，低频和高频音频信号与同一原始音频信号的低频和高频分量对应。该方法可以包括根据位流确定与低频音频信号相关联的多个低频子带信号的步骤。替选地或额外地，该方法可以包括根据多个低频子带信号和目标能量集合确定多个高频子带信号的步骤。该步骤典型地根据本文中描述的HFR方法执行。随后，该方法可以包括根据多个低频子带信号和多个高频子带信号来生成音频信号的步骤。
根据另一方面，描述了一种用于根据音频信号生成控制数据的方法。该方法可以包括分析音频信号的谱形以便确定当从音频信号的低频分量再生音频信号的高频分量时引入的中断的程度的步骤。此外，该方法可以包括基于中断程度生成用于控制高频分量的再生的控制数据的步骤。
根据另一方面，描述了一种软件程序。该软件程序可以适于在处理器上执行并且当在计算设备上执行时用于执行本文中描述的方法步骤。
根据另一方面，描述了一种存储介质。该存储介质可以包括软件程序，该软件程序适于在处理器上执行并且当在计算设备上执行时用于执行本文中描述的方法步骤。
根据另一方面，描述了一种计算机程序产品。该计算机程序可以包括用于在计算机上执行时执行本文中描述的方法步骤的可执行指令。
应注意，如本专利申请中描述的包括其优选实施例的方法和系统可以单独地使用或者与本文中公开的其他方法和系统组合地使用。此外，本专利申请中描述的方法和系统的所有方面可以任意组合。特别地，权利要求的特征可以以任意的方式彼此组合。
附图说明
下文参考附图借助于说明性示例说明了本发明，在附图中：
图1a图示了谱包络调整之前的示例高带信号的绝对谱；
图1b图示了音频数据的时间-帧和谱包络的包络时间边界之间的示例性关系；
图1c图示了谱包络调整之前的示例高带信号的绝对谱以及相应的尺度因子带、限制器带和HF(高频)补块(patch)；
图2图示了其中利用额外的增益调整步骤补充上复制处理的HFR系统的实施例；
图3图示了示例低带信号的稀疏谱包络的近似；
图4图示了对可选的控制数据、QMF子带样本进行操作并且输出增益曲线的额外的增益调整器的实施例；
图5图示了图4的额外的增益调整器的更详细的实施例；
图6图示了具有以窄带信号为输入并且以宽带信号为输出的HFR系统的实施例；
图7图示了被并入到音频解码器的SBR模块中的HFR系统的实施例；
图8图示了示例音频解码器的高频重建模块的实施例；
图9图示了示例编码器的实施例；
图10a图示了已使用传统的解码器进行解码的示例人声片段的谱图；
图10b图示了已使用应用额外的增益调整处理的解码器进行解码的图10a的人声片段的谱图；以及
图10c图示了原始未编码信号的图10a的人声片段的谱图。
具体实施方式
以下描述的实施例对于本发明“高频重建期间的音频信号处理”的原理而言仅是说明性的。应理解，对此处描述的布置和细节的修改和变化对于本领域技术人员将是明显的。因此，本发明的范围应仅由所附权利要求限定，而非由这里借助于实施例的描述和说明呈现的具体细节限定。
如上文描述的，使用HFR技术的音频解码器典型地包括用于生成高频音频信号的HFR单元以及后继的用于调整高频音频信号的谱包络的谱包络调整单元。当调整音频信号的谱包络时，这典型地借助于滤波器组实现方案完成，或者借助于时域滤波完成。该调整可努力用于进行绝对谱包络的校正，或者可以借助于还校正相位特性的滤波来执行。不论哪种方式，调整典型地是两个步骤的组合，即去除当前谱包络，并且应用目标谱包络。
重要的是应注意，本文中描述的方法和系统并非仅在于音频信号的谱包络的去除。这些方法和系统努力进行作为高频再生步骤的一部分的、低带信号的谱包络的适当谱校正，以便不引入通过组合低带(即低频信号)的不同片段创建的、移位或变调到高带(即高频信号)的不同频率范围的高频谱的谱包络中断。
在图1a中示出了在进入包络调整器之前的、HFR单元的输出的按文体绘制的谱100、110。在上面的画面中，使用上复制方法(具有两个补块)从低带信号101生成高带信号105，例如通过引用合并于此的且在“ISO/IEC 14496-3Information Technology–Codingof audio-visual objects–Part 3:Audio”中描述的MPEG-4SBR(谱带复制)中使用的上复制方法。上复制方法将部分低频101转化为高频105。在下面的画面中，使用谐波变调方法(具有两个补块)从低带信号111生成高带信号115，例如通过引用合并于此的且在“MPEG-DUSAC:ISO/IEC 23003-3–Unified Speech and Audio Coding”中描述的MPEG-D USAC的谐波变调方法。
在后继的包络调整级中，将目标谱包络应用到高频分量105、115上。如从进入包络调整器的谱105、115可见，可以在高带激励信号105、115(即进入包络调整器的高带信号)的谱形中观察到中断(在补块边界处明显)。这些中断源于如下事实：使用低频101、111的若干中断以便生成高带105、115。如可见，高带信号105、115的谱形与低带信号101、111的谱形相关。因此，低带信号101、111的特定谱形，例如图1a中所示的倾斜形状，可能导致整个谱100、110中的中断。
除了谱100、110之外，图1a图示了表示目标谱包络的谱包络数据的示例频带130。这些频带130被称为尺度因子带或目标区间。典型地，针对每个目标区间(即尺度因子带)指定目标能量值(即尺度因子能量)。换言之，尺度因子带定义了目标谱包络的有效频率分辨率，因为对于每个目标区间典型地仅存在单个目标能量值。使用针对尺度因子带指定的尺度因子或目标能量，后继的包络调整器努力调整高带信号，使得对于各个尺度因子带，尺度因子带中的高带信号的能量等于接收到的谱包络数据的能量，即目标能量。
在图1c中使用示例音频信号提供了更详细的描述。在图线中示出了进入包络调整器的真实世界的音频信号121的谱，以及相应的原始信号120。在该具体示例中，SBR范围(即高频信号的范围)开始于6.4kHz，并且包括低带频率范围的三个不同的复制。不同复制的频率范围由“补块1”、“补块2”和“补块3”表示。根据该谱图明显的是，拼补(patching)引入了在约6.4kHz、7.4kHz和10.8kHz处的谱包络中的中断。在本示例中，这些频率对应于补块边界。
图1c进一步图示了尺度因子带130以及限制器带135，在下文中将更详细地描述其功能。在图示实施例中，使用MPEG-4SBR的包络调整器。该包络调整器使用QMF滤波器组进行操作。该包络调整器的操作的主要方面在于：
●计算跨越包络调整器的输入信号(即出自HFR单元的信号)的尺度因子带130的平均能量；换言之，在每个尺度因子带/目标区间130中计算再生高带信号的平均能量；
●确定每个尺度因子带130的增益值，其还被称为包络调整值，其中包络调整值是目标能量(即从编码器计算的能量目标)与各个尺度因子带130中的再生高带信号121的平均能量之间的能量比率的平方根；
●将各个包络调整值应用于再生高带信号121的频带，其中该频带对应于各个尺度因子带130。
此外，包络调整器可以包括另外的步骤和变化，具体地：
●限制器功能，其限制在特定频带(即限制器频带135)内应用的最大允许包络调整值。最大允许包络调整值是针对落在限制器带135中的不同的尺度因子带130确定的包络调整值的函数。具体地，最大允许包络调整值是针对落在限制器带135中的不同的尺度因子带130确定的包络调整值的平均值的函数。作为示例，最大允许包络调整值可以是相关的包络调整值的平均值乘以限制器因子(诸如1.5)。典型地应用限制器功能来限制将噪声引入再生高带信号121。这对于包括突出的正弦波的音频信号(即在某些频率处具有突显峰值的谱的音频信号)是特别相关的。在不使用限制器功能的情况下，对于包括这样的突显峰值的原始音频信号的尺度因子带130，将确定相当大的包络调整值。结果，将调整整个尺度因子带130的谱(而非仅调整突显峰值)，从而引入了噪声。
●内插功能，其允许针对尺度因子带中的各个QMF子带计算包络调整值，而非计算整个尺度因子带的单个包络调整值。由于尺度因子带典型地包括不止一个QMF子带，因此可以将包络调整值计算为尺度因子带中的特定QMF子带的能量与从编码器接收的目标能量的比率，而非计算尺度因子带中的所有QMF子带的平均能量与从编码器接收的目标能量的比率。这样，可以针对尺度因子带中的每个QMF子带确定不同的包络调整值。应注意，接收到的尺度因子带的目标能量值典型地对应于原始信号中的该频率范围的平均能量。这取决于如何将接收到的平均目标能量应用到再生高带信号的相应频带的解码器操作。这可以通过如下方式实现：将整个包络调整值应用到再生高带信号的尺度因子带中的各QMF子带，或者将各个包络调整值应用到每个QMF子带。后者的方法可以被视为如同接收到的包络信息(即每个尺度因子带的一个目标能量)跨越尺度因子带中的各QMF子带进行“内插”以便提供更高的频率分辨率。因此，该方法在MPEG-4SBR中被称为“内插”。
返回到图1c，可以看到包络调整器将必须应用高的包络调整值以便使进入包络调整器的信号的谱121与原始信号的谱120匹配。还可以看到，由于中断，在限制器带135中出现包络调整值的大的变化。作为这种大的变化的结果，与再生谱121的局部最小值对应的包络调整值将受到包络调整器的限制器功能的限制。结果，即使在执行包络调整操作之后，再生谱121中的中断仍将保留。另一方面，如果未使用限制器功能，则如上文所述，可能引入不合需要的噪声。
因此，对于具有低带范围内的大的水平变化的任何信号，出现了关于高带信号的再生的问题。该问题归于在高带的高频再生期间引入的中断。当随后包络调整器暴露于该再生信号时，不能合理地和一致地使新引入的中断从低带信号的任何“真实世界”谱特性分离。该问题的影响是双方面的。首先，在高带信号中引入了包络调整器不能补偿的谱形。因此，输出具有错误的谱形。其次，感知到不稳定性影响，这是因为该影响根据低带谱特性而来回出现。
本文通过描述一种在包络调整器的输入处提供不呈现谱中断的HFR高带信号的方法和系统，解决了上述问题。为此目的，提出了当执行高频再生时，去除或减少低带信号的谱包络。通过这样做，将避免在执行包络调整之前将任何谱中断引入到高带信号中。结果，包络调整器将不必处置这些谱中断。特别地，可以使用传统的包络调整器，其中使用包络调整器的限制器功能来避免将噪声引入到再生高带信号中。换言之，所描述的方法和系统可用于再生具有小的谱中断或者没有谱中断并且具有低噪声水平的HFR高带信号。
应注意，包络调整器的时间分辨率可以不同于所提出的高带信号生成期间的谱包络的处理的时间分辨率。如上文所指出的，高带信号再生期间的谱包络的处理旨在修改低带信号的谱包络，以便减轻后继的包络调整器中的处理。该处理(即低带信号的谱包络的修改)可以例如针对每个音频帧执行一次，其中包络调整器可以在若干时间区间内(即，使用若干接收到的谱包络)调整谱包络。这在图1b中描述，其中在上面的画面中示出了谱包络数据的时间网格150，并且在下面的画面中示出了关于高带信号再生期间的低带信号的谱包络的处理的时间网格155。如图1b的示例中可见，谱包络数据的时间边界随时间变化，而低带信号的谱包络的处理在固定的时间网格上操作。还可以看到，在低带信号的谱包络的一个处理循环期间可以执行若干包络调整循环(由时间边界150表示)。在图示示例中，低带信号的谱包络的处理逐个帧地进行操作，意味着针对信号的每个帧确定了多个不同的谱增益系数。应注意，低带信号的处理可以在任何时间网格上进行操作，并且该处理的时间网格不必与谱包络数据的时间网格一致。
在图2中，示出了基于滤波器组的HFR系统200。HFR系统200使用伪QMF滤波器组进行操作并且系统200可用于产生在图1a的上面画面上图示的高带和低带信号100。然而，作为高频生成处理的一部分，已添加了额外的增益调整步骤，高频生成处理在图示示例中是上复制处理。由32子带QMF 201分析低频输入信号以便生成多个低频子带信号。一些或所有低频子带信号根据HF(高频)生成算法被拼补到高频位置。此外，多个低频子带被直接输入到合成滤波器组202。前述合成滤波器组202是64子带逆QMF 202。对于图2中所示的特定实现方案，使用32子带QMF分析滤波器组201以及使用64子带QMF合成滤波器组202将产生两倍于输入信号的输入采样率的输出信号的输出采样率。然而，应注意，本文中描述的系统不限于具有不同的输入和输出采样率的系统。本领域技术人员可以设想大量不同的采样率关系。
如图2中所示，来自低频的子带被映射到高频子带。作为该上复制处理的一部分，引入增益调整级204。在合成滤波器组202中与多个低频子带信号组合之前，所创建的高频信号(即所生成的多个高频子带信号)被输入到包络调整器203(可能包括限制器和/或内插功能)。通过使用该HFR系统200，并且特别地通过使用增益调整级204，可以避免引入如图1中所示的谱包络中断。为此目的，增益调整级204修改低带信号的谱包络，即多个低频子带信号的谱包络，使得可以使用修改的低带信号来生成高带信号，即多个高频子带信号，该高带信号没有呈现中断(在补块边界处明显的中断)。参照图1c，附加的增益调整级204确保了低带信号的谱包络101、111被修改，使得在所生成的高带信号105、115中不存在中断或者存在有限的中断。
通过将增益曲线应用于低带信号的谱包络可以实现低带信号的谱包络的修改。该增益曲线可由图4中所示的增益曲线确定单元400确定。模块400将与用于重建高带信号的低带信号的频率范围对应的QMF数据402取作输入。换言之，多个低频子带信号被输入到增益曲线确定单元400。如已指出的，仅低带信号的可用QMF子带的子集可用于生成高带信号，即，仅可用QMF子带的子集可被输入到增益曲线确定单元400。此外，模块400可以接收可选的控制数据404，例如从相应的编码器发送的控制数据。模块400输出将在高频再生处理期间应用的增益曲线403。在一个实施例中，增益曲线403被应用到用于生成高带信号的低带信号的QMF子带。就是说，增益曲线403可以用在HFR处理的上复制处理中。
可选的控制数据404可以包括关于将在模块400中估计的稀疏谱包络的分辨率的信息，和/或关于应用增益调整处理的适用性的信息。这样，控制数据404可以控制在增益调整处理期间牵涉的额外处理量。如果出现未使其自身良好地适于稀疏谱包络估计的信号，例如包括单个正弦波的信号，则控制数据404还可以触发额外的增益调整处理的旁路。
在图5中示出了图4中的模块400的更详细的示图。低带信号的QMF数据402被输入到例如按对数能量尺度估计谱包络的包络估计单元501。随后谱包络被输入到根据从包络估计单元501接收到的高(频)分辨率谱包络估计稀疏谱包络的模块502。在一个实施例中，这通过使低阶多项式(即，例如1、2、3或4的范围内的阶数的多项式)拟合到谱包络数据来实现。还可以通过沿频率轴执行高分辨率谱包络的移动平均操作来确定稀疏谱包络。在图3中图示了低带信号的稀疏谱包络301的确定。可以看到，低带信号的绝对谱302(即QMF带302的能量)由稀疏谱包络301(即，拟合到多个低频子带信号的谱包络的依赖频率的曲线)来近似。此外，示出了仅使用20个QMF子带信号来生成高带信号，即，在HFR处理中仅使用32个QMF子带信号的一部分。
用于根据高分辨率谱包络以及特别地拟合到高分辨率谱包络的多项式的阶数来确定稀疏谱包络的方法可由可选的控制数据404控制。多项式的阶数可以是将确定其稀疏谱包络301的低带信号的频率范围302的尺寸的函数，和/或可以是与低带信号的相关频率范围302的整体稀疏谱形相关的其他参数的函数。多项式拟合按最小方差的方式计算对该数据进行近似的多项式。在下文中，借助于Matlab代码描述了优选实施例：
在以上代码中，输入是通过在与后继的包络调整器操作的数据的当前时间帧对应的时间区间内按每个子带对QMF子带样本取平均而获得的低带信号的谱包络(LowEnv)。如上文指出的，低带信号的增益调整处理可以在各种其他时间网格上执行。在以上示例中，在对数域中表示所估计的绝对谱包络。低阶多项式(在以上示例中是3阶多项式)与数据拟合。在给定多项式的情况下，根据低带信号的平均能量和从拟合到数据的多项式获得的曲线(LowBanEnvSlope)的差来计算增益曲线(GainVec)。在以上示例中，确定增益曲线的操作在对数域中实现。
增益曲线计算由增益曲线计算单元503执行。如上文指出的，可以根据用于再生高带信号的低带信号的一部分的平均能量，以及根据用于再生高带信号的低带信号的一部分的谱包络，来确定增益曲线。特别地，可以根据平均能量和由例如多项式表示的稀疏谱包络的差来确定增益曲线。就是说，所计算的多项式可用于确定包括关于低带信号的每个相关QMF子带的分立增益值(还被称为谱增益系数)的增益曲线。包括增益值的该增益曲线随后用在HFR处理中。
作为示例，接下来描述根据MPEG-4 SBR的HFR生成处理。通过下式(参见通过引用合并于此的文献MPEG-4Part 3(ISO/IEC 14496-3),sub-part 4,section 4.6.18.6.2)可以得到HF生成信号：
XHigh(k，l+tHFAdj)＝XLow(p，l+tHFAdj)+bwArray(g(k))·α0(p)·XLow(p，l-1+tHFAdj)+
[bwArray(g(k))]2·α1(p)·XLow(p，l-2+tHFAdj)，
其中p是低带信号的子带索引，即p识别多个低频子带信号中的一个。以上HF生成式可以由执行组合的增益调整和HF生成的下式替换：
XHigh(k，l+tHFAdj)＝preGain(p)·(XLow(p，l+tHFAdj))
+bwArray(g(k))·α0(p)·XLow(p，l-1+tHFAdj)
+[bwArray(g(k))]2·α1(p)·XLow(p，l-2+tHFAdj)
其中增益曲线被称为preGain(p)。
在上述MPEG-4,Part 3文献中规范了例如关于p和k之间的关系的上复制处理的另外的细节。在上式中，XLow(p，l)表示具有子带索引p的低频子带信号的时刻l处的样本。该样本与先前的样本组合，用于生成具有子带索引k的高频子带信号XHigh(k，l)的样本。
应当注意，增益调整的方面可以用在任何基于滤波器组的高频重建系统中。这在图6中示出，其中本发明是单独的HFR单元601的一部分，HFR单元601对窄带或低带信号602进行操作并且输出宽带或高带信号604。模块601可以接收额外的控制数据603作为输入，其中控制数据603可以(除其他之外)指定用于所描述的增益调整的处理量，以及例如关于高带信号的目标谱包络的信息。然而，这些参数仅是可选的控制数据603的示例。在一个实施例中，还可以从输入到模块601的窄带信号602得到相关信息，或者通过其他手段得到相关信息。就是说，可以基于在模块601处可用的信息在模块601中确定控制数据603。应当注意，单独的HFR单元601可以接收多个低频子带信号并且可以输出多个高频子带信号，即分析/合成滤波器组或变换可以设置在HFR单元601外部。
如上文已指出的，有利的是，从编码器向解码器以信号形式通知位流中的增益调整处理的激活。对于某些信号类型，例如单个正弦波，增益调整处理可能不相关并且因此有利的是使得编码器/解码器系统能够关闭额外的处理以便不致针对这些极端情况的信号引入不需要的行为。为此目的，编码器可被配置成分析音频信号并且生成在解码器处打开和关闭增益调整处理的控制数据。
在图7中所提出的增益调整级包括在作为音频编解码器的一部分的高频重建单元703中。该HFR单元703的一个示例是用作高效AAC编解码器或MPEG-D USAC(统一语音和音频编解码器)的一部分的MPEG-4谱带复制工具。在该实施例中，在音频解码器700处接收位流704。位流704在解复用器701中被解复用。位流708的SBR相关部分被馈送到SBR模块或HFR单元703，并且核心编码器相关位流707(例如AAC数据或USAC核心解码器数据)被发送到核心编码器模块702。此外，低带或窄带信号706被从核心解码器702传递到HFR单元703。本发明例如根据图2中所示的系统，作为HFR单元703中的SBR处理的一部分而被并入。HFR单元703使用本文中描述的处理输出宽带或高带信号705。
在图8中，更详细地示出了高频重建模块703的实施例。图8图示了可以在不同的时刻从不同的HF生成模块得到HF(高频)信号生成。HF生成可以基于以QMF为基础的上复制变调器803，或者HF生成可以基于以FFT为基础的谐波变调器804。对于这两种HF信号生成模块，作为HF生成的一部分处理801、802低带信号以便确定在上复制803或谐波变调804处理中使用的增益曲线。来自两种变调器的输出被有选择地输入到包络调整器805。关于使用哪个变调器信号的决定由位流704或708控制。应注意，由于基于QMF的变调器的上复制本质，低带信号的谱包络的形状较之使用谐波变调器的情况被更清晰地维持。当使用上复制变调器时，这将典型地导致高带信号的谱包络的更突显的中断。这在图1a的上面和下面的画面中示出。因此，仅并入在模块803中执行的基于QMF的上复制方法的增益调整是足够的。然而，应用在模块804中执行的谐波变调的增益调整也是有利的。
在图9中示出了相应的编码器模块。编码器901可被配置成分析特定的输入信号903并且确定适用于特定类型的输入信号903的增益调整处理量。具体地，编码器901可以确定高频子带信号上的将由解码器处的HFR单元703引起的中断的程度。为此目的，编码器901可以包括HFR单元703，或者至少包括HFR单元703的相关部分。基于输入信号903的分析，可以生成关于相应的解码器的控制数据905。关于将在解码器处执行的增益调整的信息905在复用器902中与音频位流906组合，从而形成传送到相应的解码器的完整位流904。
在图10中示出了真实世界信号的输出谱。在图10a中，示出了对12kbps单个位流解码的MEPG USAC解码器的输出。真实世界信号的一部分是清唱录音(cappella recording)的人声部分。横坐标对应于时间轴，而纵坐标对应于频率轴。将图10a的谱图与示出原始信号的相应的谱图的图10c进行比较，明显的是，在人声片段的摩擦音部分的谱中出现空洞(参见附图标记1001、1002)。在图10b中，示出了包括本发明的MPEG USAC解码器的输出的谱图。从该谱图可见，谱中的空洞已消失(参见与附图标记1001、1002对应的附图标记1003、1004)。
所提出的增益调整算法的复杂度被计算为加权MOPS，其中如POW/DIV/TRIG的函数被加权为25次运算，并且所有其他运算被加权为一次运算。在这些假设下，所计算的复杂度总计约为0.1WMOPS以及可忽略的RAM/ROM使用。换言之，所提出的增益调整处理需要低的处理和存储器容量。
在本文中，已描述了一种用于从低带信号生成高带信号的方法和系统。该方法和系统适于生成具有小的谱中断或没有谱中断的高带信号，从而提高高频重建方法和系统的感知性能。该方法和系统可以容易地并入到现有的音频编码/解码系统中。特别地，该方法和系统可以被并入而无需修改现有的音频编码/解码系统的包络调整处理。显然，这适用于能够执行其预期任务的包络调整处理的限制器和内插功能。这样，所描述的方法和系统可用于再生具有小的谱中断或没有谱中断并且具有低水平的噪声的高带信号。此外，已描述了控制数据的使用，其中控制数据可以用于针对音频信号的类型来调节所述方法和系统的参数(以及计算复杂度)。
本文中描述的方法和系统可以被实现为软件、固件和/或硬件。某些部件可以例如实现为在数字信号处理器或微处理器上运行的软件。其他部件可以例如实现为硬件或者专用集成电路。在所描述的方法和系统中遇到的信号可以存储在诸如随机存取存储器或光学存储介质的介质上。它们可以经由网络传输，诸如无线电网络、卫星网络、无线网络或有线网络，例如互联网。利用本文中描述的方法和系统的典型设备是用于存储和/或呈递音频信号的便携式电子设备或其他消费者设备。这些方法和系统还可以在计算机系统上使用，例如互联网网络服务器，其存储和提供用于下载的音频信号，例如音乐信号。
根据本公开的实施例，还公开了以下附记。
1.一种被配置成从多个低频子带信号(602)生成覆盖高频区间的多个高频子带信号(604)的系统(601、703)，所述系统(601、703)包括：
-用于接收所述多个低频子带信号(602)的装置；
-用于接收目标能量集合的装置，每个目标能量覆盖所述高频区间中的不同的目标区间(130)并且表示位于所述目标区间(130)内的一个或更多个高频子带信号的期望能量；
-用于根据所述多个低频子带信号(602)以及分别与所述多个低频子带信号(602)相关联的多个谱增益系数生成所述多个高频子带信号(604)的装置；以及
-用于使用所述目标能量集合调整所述多个高频子带信号(604)的能量(203)的装置。
2.根据附记1所述的系统(601、703)，其中所述的用于调整能量(203)的装置包括用于限制位于限制器区间(135)内的所述高频子带信号(604)的能量调整的装置；以及其中所述限制器区间(135)覆盖不止一个目标区间(130)。
3.根据前述附记中任一项所述的系统(601、703)，其中，
-所述多个谱增益系数与所述多个低频子带信号(602)中的各个低频子带信号的能量相关联。
4.根据附记3所述的系统(601、703)，其中，
-所述多个谱增益系数得自拟合到所述多个低频子带信号(602)的能量的依赖频率的曲线(403)。
5.根据附记4所述的系统(601、703)，其中，
-所述依赖频率的曲线(403)是预定阶数的多项式。
6.根据附记4或5所述的系统(601、703)，其中，
-所述多个谱增益系数中的谱增益系数得自所述多个低频子带信号(602)的平均能量和所述依赖频率的曲线(403)的相应值的差。
7.根据前述附记中任一项所述的系统(601、703)，其中所述的用于生成多个高频子带信号(604)的装置被配置成使用所述多个谱增益系数中的各个谱增益系数来放大所述多个低频子带信号(602)。
8.根据前述附记中任一项所述的系统(601、703)，其中所述的用于生成多个高频子带信号(604)的装置被配置成：
-执行所述多个低频子带信号(602)的上复制变调(803)；和/或
-执行所述多个低频子带信号(602)的谐波变调(804)。
9.根据附记8所述的系统(601、703)，其中所述的用于生成所述多个高频子带信号(604)的装置被配置成：
-使低频子带信号(602)的样本与所述多个谱增益系数中的各个谱增益系数相乘，从而产生修正样本；以及
-根据特定时刻以及至少一个先前时刻处的所述低频子带信号(602)的修正样本，确定所述特定时刻处的相应的高频子带信号(604)的样本。
10.根据附记9所述的系统(601、703)，其中使用MPEG-4SBR的上复制算法，根据所述低频子带信号(602)的修正样本确定所述特定时刻处的所述相应的高频子带信号(604)的样本。
11.根据前述附记中任一项所述的系统(601、703)，其中所述的用于调整所述多个高频子带信号(604)的能量(203)的装置进一步包括用于确保位于特定目标区间(130)内的经调整的高频子带信号具有相同的能量的装置。
12.根据前述附记中任一项所述的系统(601、703)，其中所述多个低频子带信号(602)和所述多个高频子带信号(604)对应于：
-QMF滤波器组的子带；和/或
-FFT的子带。
13.根据前述附记中任一项所述的系统(601、703)，还包括用于接收控制数据(603)的装置，所述控制数据(603)表示：
-是否应用所述多个谱增益系数以生成所述多个高频子带信号(604)；和/或
-用于确定所述多个谱增益系数的方法。
14.根据引用附记5的附记13所述的系统(601、703)，其中所述控制数据(603)表示所述多项式的预定阶数。
15.一种音频解码器(700)，其被配置成对位流(704)解码，所述位流(704)表示低频音频信号(707)以及描述相应的高频音频信号的谱包络的目标能量集合(708)，所述音频解码器(700)包括：
-核心解码器和变换单元(702、201)，其被配置成根据所述位流(704)确定与所述低频音频信号(707)相关联的多个低频子带信号；
-根据附记1至14中任一项所述的系统的高频生成单元(703)，所述高频生成单元(703)被配置成根据所述多个低频子带信号和所述目标能量集合来确定多个高频子带信号；以及
-合并和逆变换单元(202)，其被配置成从所述多个低频子带信号和所述多个高频子带信号生成音频信号。
16.一种编码器(901)，其被配置成从音频信号(903)生成控制数据(905)，所述编码器(901)包括：
-用于分析所述音频信号(903)的谱形并且确定当根据所述音频信号(903)的低频分量再生所述音频信号(903)的高频分量时引入的谱包络中断的程度的装置；以及
-生成用于基于所述中断程度控制所述高频分量的再生的所述控制数据(905)的装置。
17.一种用于从多个低频子带信号(602)生成覆盖高频区间的多个高频子带信号(604)的方法，所述方法包括：
-接收所述多个低频子带信号(602)；
-接收目标能量集合，每个目标能量覆盖所述高频区间中的不同的目标区间(130)并且表示位于所述目标区间(130)内的一个或更多个高频子带信号(604)的期望能量；
-根据所述多个低频子带信号(602)以及分别与所述多个低频子带信号(602)相关联的多个谱增益系数生成所述多个高频子带信号(604)；以及
-使用所述目标能量集合调整所述多个高频子带信号(604)的能量。
18.一种用于对位流(704)进行解码的方法，所述位流(704)表示低频音频信号(707)以及描述相应的高频音频信号的谱包络的目标能量集合(708)，所述方法包括：
-根据所述位流(704)确定与所述低频音频信号(707)相关联的多个低频子带信号(706)；
-根据附记17所述的方法，根据所述多个低频子带信号和所述目标能量集合来确定多个高频子带信号；以及
-从所述多个低频子带信号和所述多个高频子带信号生成音频信号。
19.一种用于根据音频信号(903)生成控制数据(905)的方法，所述方法包括：
-分析所述音频信号(903)的谱形以确定当根据所述音频信号(903)的低频分量再生所述音频信号(903)的高频分量时引入的谱包络中断的程度；以及
-生成用于基于所述中断程度控制所述高频分量的再生的控制数据(905)。
20.一种软件程序，适于在处理器上执行并且当在计算设备上执行时用于执行根据附记17至19中任一项所述的方法步骤。
21.一种存储介质，其包括软件程序，所述软件程序适于在处理器上执行并且当在计算设备上执行时用于执行根据附记17至19中任一项所述的方法步骤。
22.一种计算机程序产品，其包括在计算机上被执行时用于执行根据附记17至19中任一项所述的方法的可执行指令。
Claims (19)
1.一种编码器(901)，其被配置成从音频信号(903)生成控制数据(905)，所述编码器(901)包括：
-用于分析所述音频信号(903)的谱形并且确定当根据所述音频信号(903)的多个低频子带信号(602)再生所述音频信号(903)的高频分量时引入的谱包络中断的程度的装置；以及
-用于生成用于基于所述谱包络中断的程度控制所述高频分量的再生的控制数据(905)的装置，
其中，用于确定所述谱包络中断的程度的装置被配置成通过研究所述多个低频子带信号的最低频率和所述多个低频子带信号的最高频率以评估所述多个低频子带信号的谱变化来确定比率信息。
2.根据权利要求1所述的编码器(901)，其中，
-所述编码器(901)包括高频重建系统(601，703)，所述高频重建系统(601，703)被配置成执行高频重建处理以根据所述多个低频子带信号(602)生成所述高频分量；
-所述控制数据(905)表示在所述高频重建处理期间是否使用多个谱增益系数；以及
-所述多个谱增益系数与所述多个低频子带信号(602)中的各个低频子带信号的能量相关联。
3.根据权利要求2所述的编码器(901)，其中，所述控制数据(905)表示要使用的多项式阶数以便确定所述多个谱增益系数。
4.根据权利要求2所述的编码器(901)，其中，所述控制数据(905)表示用于确定所述多个谱增益系数的方法。
5.根据权利要求2所述的编码器(901)，其中，所述多个谱增益系数得自拟合到所述多个低频子带信号(602)的能量的依赖频率的曲线(403)，并且其中，所述依赖频率的曲线(403)是由所述控制数据(905)表示的预定阶数的多项式。
6.根据任意前述权利要求所述的编码器(901)，其中，所述编码器(901)被配置成确定所述多个低频子带信号的水平变化的程度。
7.根据权利要求1-5中任一项所述的编码器(901)，其中，用于生成控制数据(905)的装置包括被配置成确定所述音频信号(903)的类型的信号类型检测器。
8.根据权利要求1-5中任一项所述的编码器(901)，其中，所述控制数据(905)表示要在相应音频解码器处执行的增益调整。
9.根据权利要求1所述的编码器(901)，其中，所述比率信息表示所述谱包络中断的程度。
10.根据权利要求1所述的编码器(901)，其中，所确定的比率信息的高值表示高的谱包络中断程度。
11.根据权利要求2至5中任一项所述的编码器(901)，其中，所述高频重建系统包括：
-用于确定目标能量集合的装置，每个目标能量覆盖由所述高频分量覆盖的高频区间中的不同的目标区间(130)并且表示所述高频分量的位于所述目标区间(130)内的一个或多个高频子带信号的期望能量；
-用于根据所述多个低频子带信号(602)以及分别与所述多个低频子带信号(602)相关联的所述多个谱增益系数生成所述高频分量的多个高频子带信号(604)的装置。
12.根据权利要求11所述的编码器(901)，其中，用于生成所述多个高频子带信号(604)的装置被配置成使用所述多个谱增益系数中的各个谱增益系数来放大所述多个低频子带信号(602)。
13.根据权利要求11所述的编码器(901)，其中，用于生成所述多个高频子带信号(604)的装置被配置成：
-执行所述多个低频子带信号(602)的上复制变调(803)；和/或
-执行所述多个低频子带信号(602)的谐波变调(804)。
14.根据权利要求13所述的编码器(901)，其中，用于生成所述多个高频子带信号(604)的装置被配置成：
-使低频子带信号(602)的样本与所述多个谱增益系数中的各个谱增益系数相乘，从而产生修正样本；以及
-根据特定时刻以及至少一个先前时刻处的所述低频子带信号(602)的修正样本，确定所述特定时刻处的相应的高频子带信号(604)的样本。
15.根据权利要求11所述的编码器(901)，其中，所述多个低频子带信号(602)和所述多个高频子带信号(604)对应于QMF滤波器组的子带和/或FFT的子带。
16.一种音频解码器(700)，被配置成对位流(704)解码，所述位流(704)表示低频音频信号(707)以及描述相应的高频音频信号的谱包络的目标能量集合(708)，其中，所述位流(704)还表示控制数据(905)，所述音频解码器(700)被配置成：
-根据与所述低频音频信号(707)和所述目标能量集合相关联的多个低频子带信号(602)确定多个高频子带信号，其中，所述控制数据(905)表示是否还使用多个谱增益系数用于确定所述多个高频子带信号，其中，所述多个谱增益系数与所述多个低频子带信号(602)中的各个低频子带信号的能量相关联；以及
-根据所述多个低频子带信号和所述多个高频子带信号生成宽带音频信号。
17.一种用于从音频信号(903)生成控制数据(905)的方法，所述方法包括：
-分析所述音频信号(903)的谱形以确定当根据所述音频信号(903)的多个低频子带信号再生所述音频信号(903)的高频分量时引入的谱包络中断的程度；以及
-生成用于基于所述谱包络中断的程度控制所述高频分量的再生的控制数据(905)，
其中，确定所述谱包络中断的程度进一步包括：通过研究所述多个低频子带信号的最低频率和所述多个低频子带信号的最高频率以评估所述多个低频子带信号的谱变化来确定比率信息。
18.一种用于对位流(704)进行解码的方法，所述位流(704)表示低频音频信号(707)以及描述相应的高频音频信号的谱包络的目标能量集合(708)，其中，所述位流(704)还表示控制数据(905)，所述方法包括：
-根据与所述低频音频信号(707)和所述目标能量集合相关联的多个低频子带信号(602)确定多个高频子带信号，其中，所述控制数据(905)表示是否还根据多个谱增益系数确定所述多个高频子带信号，其中，所述多个谱增益系数与所述多个低频子带信号(602)中的各个低频子带信号的能量相关联；以及
-根据所述多个低频子带信号和所述多个高频子带信号生成宽带音频信号。
19.一种存储计算机程序产品的计算机可读存储介质，所述计算机程序产品包括当在计算机上执行上用于执行权利要求17至18中任一项所述的方法的可执行指令。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US36551810P | 2010-07-19 | 2010-07-19 | |
| US61/365,518 | 2010-07-19 | ||
| US38672510P | 2010-09-27 | 2010-09-27 | |
| US61/386,725 | 2010-09-27 | ||
| CN201180016982.8A CN103155033B (zh) | 2010-07-19 | 2011-07-14 | 高频重建期间的音频信号处理 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180016982.8A Division CN103155033B (zh) | 2010-07-19 | 2011-07-14 | 高频重建期间的音频信号处理 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104575517A CN104575517A (zh) | 2015-04-29 |
| CN104575517B true CN104575517B (zh) | 2018-06-01 |
Family
ID=44514661
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410643303.5A Active CN104575517B (zh) | 2010-07-19 | 2011-07-14 | 高频重建期间的音频信号处理 |
| CN201180016982.8A Active CN103155033B (zh) | 2010-07-19 | 2011-07-14 | 高频重建期间的音频信号处理 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180016982.8A Active CN103155033B (zh) | 2010-07-19 | 2011-07-14 | 高频重建期间的音频信号处理 |
Country Status (19)
| Country | Link |
|---|---|
| US (6) | US9117459B2 (zh) |
| EP (11) | EP4210051A1 (zh) |
| JP (11) | JP5753893B2 (zh) |
| KR (12) | KR102026677B1 (zh) |
| CN (2) | CN104575517B (zh) |
| AU (10) | AU2011281735B2 (zh) |
| BR (2) | BR112012024360B1 (zh) |
| CA (11) | CA3146617C (zh) |
| CL (1) | CL2012002699A1 (zh) |
| DK (2) | DK2765572T3 (zh) |
| ES (10) | ES2644974T3 (zh) |
| HK (3) | HK1199973A1 (zh) |
| MX (1) | MX2012010854A (zh) |
| MY (2) | MY177748A (zh) |
| NO (1) | NO2765572T3 (zh) |
| PL (10) | PL2765572T3 (zh) |
| RU (3) | RU2530254C2 (zh) |
| SG (3) | SG183501A1 (zh) |
| WO (1) | WO2012010494A1 (zh) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971551B2 (en) | 2009-09-18 | 2015-03-03 | Dolby International Ab | Virtual bass synthesis using harmonic transposition |
| WO2014060204A1 (en) * | 2012-10-15 | 2014-04-24 | Dolby International Ab | System and method for reducing latency in transposer-based virtual bass systems |
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| ES2644974T3 (es) | 2010-07-19 | 2017-12-01 | Dolby International Ab | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| EP2830062B1 (en) * | 2012-03-21 | 2019-11-20 | Samsung Electronics Co., Ltd. | Method and apparatus for high-frequency encoding/decoding for bandwidth extension |
| US9173041B2 (en) * | 2012-05-31 | 2015-10-27 | Purdue Research Foundation | Enhancing perception of frequency-lowered speech |
| CN110223703B (zh) * | 2013-04-05 | 2023-06-02 | 杜比国际公司 | 音频信号的解码方法和解码器、介质以及编码方法 |
| JP6305694B2 (ja) * | 2013-05-31 | 2018-04-04 | クラリオン株式会社 | 信号処理装置及び信号処理方法 |
| KR101789083B1 (ko) | 2013-06-10 | 2017-10-23 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. | 분포 양자화 및 코딩을 사용하는 누적 합계 표현의 모델링에 의한 오디오 신호 엔벨로프 인코딩, 처리 및 디코딩을 위한 장치 및 방법 |
| ES2635026T3 (es) | 2013-06-10 | 2017-10-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y procedimiento de codificación, procesamiento y decodificación de envolvente de señal de audio por división de la envolvente de la señal de audio utilizando cuantización y codificación de distribución |
| EP3731226A1 (en) * | 2013-06-11 | 2020-10-28 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Device and method for bandwidth extension for acoustic signals |
| CN105431898B (zh) * | 2013-06-21 | 2019-09-06 | 弗朗霍夫应用科学研究促进协会 | 具有带有能量调整模块的频宽扩展模块的音频解码器 |
| TWI557726B (zh) * | 2013-08-29 | 2016-11-11 | 杜比國際公司 | 用於決定音頻信號的高頻帶信號的主比例因子頻帶表之系統和方法 |
| US9666202B2 (en) * | 2013-09-10 | 2017-05-30 | Huawei Technologies Co., Ltd. | Adaptive bandwidth extension and apparatus for the same |
| JP6531649B2 (ja) | 2013-09-19 | 2019-06-19 | ソニー株式会社 | 符号化装置および方法、復号化装置および方法、並びにプログラム |
| US10163447B2 (en) * | 2013-12-16 | 2018-12-25 | Qualcomm Incorporated | High-band signal modeling |
| JP6593173B2 (ja) | 2013-12-27 | 2019-10-23 | ソニー株式会社 | 復号化装置および方法、並びにプログラム |
| US20150194157A1 (en) * | 2014-01-06 | 2015-07-09 | Nvidia Corporation | System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals |
| CN105096957B (zh) | 2014-04-29 | 2016-09-14 | 华为技术有限公司 | 处理信号的方法及设备 |
| EP2980795A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
| EP2980794A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
| TWI771266B (zh) | 2015-03-13 | 2022-07-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| TWI752166B (zh) | 2017-03-23 | 2022-01-11 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
| WO2019023488A1 (en) * | 2017-07-28 | 2019-01-31 | Dolby Laboratories Licensing Corporation | METHOD AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER |
| BR112020012648A2 (pt) | 2017-12-19 | 2020-12-01 | Dolby International Ab | métodos e sistemas de aparelhos para aprimoramentos de decodificação de fala e áudio unificados |
| TWI834582B (zh) * | 2018-01-26 | 2024-03-01 | 瑞典商都比國際公司 | 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體 |
| CN111886879B (zh) * | 2018-04-04 | 2022-05-10 | 哈曼国际工业有限公司 | 一种用于在音频输出中产生自然空间变化的系统和方法 |
| WO2019207036A1 (en) * | 2018-04-25 | 2019-10-31 | Dolby International Ab | Integration of high frequency audio reconstruction techniques |
| SG11202010367YA (en) | 2018-04-25 | 2020-11-27 | Dolby Int Ab | Integration of high frequency reconstruction techniques with reduced post-processing delay |
| CN117079657B (zh) * | 2023-10-16 | 2024-01-26 | 中国铁塔股份有限公司 | 压限处理方法、装置、电子设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1408109A (zh) * | 1999-01-27 | 2003-04-02 | 编码技术瑞典股份公司 | 利用自适应噪声本底相加和噪声替换限制,增强sbr和有关hfr编码方法的感知性能 |
| CN1481545A (zh) * | 2000-11-14 | 2004-03-10 | ���뼼�����ɷݹ�˾ | 利用自适应滤波改善高频重建编码方法的感知性能 |
| CN101521014A (zh) * | 2009-04-08 | 2009-09-02 | 武汉大学 | 音频带宽扩展编解码装置 |
| CN101681623A (zh) * | 2007-04-30 | 2010-03-24 | 三星电子株式会社 | 对高频带编码和解码的方法和设备 |
Family Cites Families (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3587251T2 (de) | 1984-12-20 | 1993-07-15 | Gte Laboratories Inc | Anpassbares verfahren und vorrichtung fuer sprachkodierung. |
| DE3943880B4 (de) * | 1989-04-17 | 2008-07-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Digitales Codierverfahren |
| SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| US6385573B1 (en) | 1998-08-24 | 2002-05-07 | Conexant Systems, Inc. | Adaptive tilt compensation for synthesized speech residual |
| WO2001049073A2 (en) | 1999-12-24 | 2001-07-05 | Koninklijke Philips Electronics N.V. | Multichannel audio signal processing device |
| SE0004187D0 (sv) | 2000-11-15 | 2000-11-15 | Coding Technologies Sweden Ab | Enhancing the performance of coding systems that use high frequency reconstruction methods |
| SE0004818D0 (sv) | 2000-12-22 | 2000-12-22 | Coding Technologies Sweden Ab | Enhancing source coding systems by adaptive transposition |
| AU2002352182A1 (en) * | 2001-11-29 | 2003-06-10 | Coding Technologies Ab | Methods for improving high frequency reconstruction |
| US20030187663A1 (en) | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| JP2004010415A (ja) | 2002-06-06 | 2004-01-15 | Kawasaki Refract Co Ltd | マグクロ質吹き付け補修材 |
| US7555434B2 (en) * | 2002-07-19 | 2009-06-30 | Nec Corporation | Audio decoding device, decoding method, and program |
| JP4313993B2 (ja) | 2002-07-19 | 2009-08-12 | パナソニック株式会社 | オーディオ復号化装置およびオーディオ復号化方法 |
| US7069212B2 (en) * | 2002-09-19 | 2006-06-27 | Matsushita Elecric Industrial Co., Ltd. | Audio decoding apparatus and method for band expansion with aliasing adjustment |
| BR0316663A (pt) * | 2002-11-29 | 2005-10-11 | Koninkl Philips Electronics Nv | Métodos para codificar um sinal de áudio e para decodificar um fluxo de áudio, codificador, reprodutor, sistema e fluxo de áudio, e, meio de armazenamento |
| KR100524065B1 (ko) | 2002-12-23 | 2005-10-26 | 삼성전자주식회사 | 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치 |
| US7318035B2 (en) | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
| JP2005040749A (ja) | 2003-07-25 | 2005-02-17 | Toyo Ink Mfg Co Ltd | 紫外線硬化型塗料組成物の硬化方法 |
| US7949057B2 (en) * | 2003-10-23 | 2011-05-24 | Panasonic Corporation | Spectrum coding apparatus, spectrum decoding apparatus, acoustic signal transmission apparatus, acoustic signal reception apparatus and methods thereof |
| PL1683133T3 (pl) * | 2003-10-30 | 2007-07-31 | Koninl Philips Electronics Nv | Kodowanie lub dekodowanie sygnału audio |
| CN1930914B (zh) | 2004-03-04 | 2012-06-27 | 艾格瑞系统有限公司 | 对多声道音频信号进行编码和合成的方法和装置 |
| EP1723639B1 (en) * | 2004-03-12 | 2007-11-14 | Nokia Corporation | Synthesizing a mono audio signal based on an encoded multichannel audio signal |
| WO2006003813A1 (ja) | 2004-07-02 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | オーディオ符号化及び復号化装置 |
| RU2008112137A (ru) * | 2005-09-30 | 2009-11-10 | Панасоник Корпорэйшн (Jp) | Устройство кодирования речи и способ кодирования речи |
| US20080071550A1 (en) * | 2006-09-18 | 2008-03-20 | Samsung Electronics Co., Ltd. | Method and apparatus to encode and decode audio signal by using bandwidth extension technique |
| CA2645618C (en) | 2006-10-25 | 2013-01-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating audio subband values and apparatus and method for generating time-domain audio samples |
| US8295507B2 (en) * | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
| US8189812B2 (en) * | 2007-03-01 | 2012-05-29 | Microsoft Corporation | Bass boost filtering techniques |
| EP2186090B1 (en) | 2007-08-27 | 2016-12-21 | Telefonaktiebolaget LM Ericsson (publ) | Transient detector and method for supporting encoding of an audio signal |
| JP5098530B2 (ja) | 2007-09-12 | 2012-12-12 | 富士通株式会社 | 復号化装置、復号化方法および復号化プログラム |
| ATE477572T1 (de) * | 2007-10-01 | 2010-08-15 | Harman Becker Automotive Sys | Effiziente audiosignalverarbeitung im subbandbereich, verfahren, vorrichtung und dazugehöriges computerprogramm |
| EP2210253A4 (en) * | 2007-11-21 | 2010-12-01 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING A SIGNAL |
| CN101458930B (zh) * | 2007-12-12 | 2011-09-14 | 华为技术有限公司 | 带宽扩展中激励信号的生成及信号重建方法和装置 |
| RU2439720C1 (ru) * | 2007-12-18 | 2012-01-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки звукового сигнала |
| EP2077550B8 (en) | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
| KR101413968B1 (ko) * | 2008-01-29 | 2014-07-01 | 삼성전자주식회사 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
| BRPI0910528B1 (pt) * | 2008-07-11 | 2020-09-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Instrumento e método para geração de sinal estendido de largura de banda |
| MX2011001253A (es) * | 2008-08-08 | 2011-03-21 | Panasonic Corp | Dispositivo de filtrado espectral, dispositivo de codificacion, dispositivo de decodificacion, dispositivo de terminal de comunicacion, dispositivo de estacion base y metodo de filtrado espectral. |
| JP2010079275A (ja) | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
| BR122019023704B1 (pt) * | 2009-01-16 | 2020-05-05 | Dolby Int Ab | sistema para gerar um componente de frequência alta de um sinal de áudio e método para realizar reconstrução de frequência alta de um componente de frequência alta |
| DK2211339T3 (en) * | 2009-01-23 | 2017-08-28 | Oticon As | listening System |
| KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
| JP4945586B2 (ja) * | 2009-02-02 | 2012-06-06 | 株式会社東芝 | 信号帯域拡張装置 |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| TWI643187B (zh) * | 2009-05-27 | 2018-12-01 | 瑞典商杜比國際公司 | 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體 |
| US9159337B2 (en) * | 2009-10-21 | 2015-10-13 | Dolby International Ab | Apparatus and method for generating a high frequency audio signal using adaptive oversampling |
| ES2906085T3 (es) * | 2009-10-21 | 2022-04-13 | Dolby Int Ab | Sobremuestreo en un banco de filtros de reemisor combinado |
| US9047875B2 (en) | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
| ES2644974T3 (es) | 2010-07-19 | 2017-12-01 | Dolby International Ab | Procesamiento de señales de audio durante la reconstrucción de alta frecuencia |
-
2011
- 2011-07-14 ES ES14164770.1T patent/ES2644974T3/es active Active
- 2011-07-14 CA CA3146617A patent/CA3146617C/en active Active
- 2011-07-14 PL PL14164770T patent/PL2765572T3/pl unknown
- 2011-07-14 KR KR1020197008507A patent/KR102026677B1/ko active IP Right Grant
- 2011-07-14 ES ES19169479T patent/ES2807248T3/es active Active
- 2011-07-14 NO NO14164770A patent/NO2765572T3/no unknown
- 2011-07-14 CA CA3234274A patent/CA3234274A1/en active Pending
- 2011-07-14 EP EP23157011.0A patent/EP4210051A1/en active Pending
- 2011-07-14 CA CA2792011A patent/CA2792011C/en active Active
- 2011-07-14 PL PL20172244T patent/PL3723089T3/pl unknown
- 2011-07-14 EP EP20110745509 patent/EP2596497B1/en active Active
- 2011-07-14 JP JP2013500540A patent/JP5753893B2/ja active Active
- 2011-07-14 SG SG2012063293A patent/SG183501A1/en unknown
- 2011-07-14 EP EP19169479.3A patent/EP3544007B1/en active Active
- 2011-07-14 ES ES19169480T patent/ES2798144T3/es active Active
- 2011-07-14 CN CN201410643303.5A patent/CN104575517B/zh active Active
- 2011-07-14 EP EP17188329.1A patent/EP3285258B1/en active Active
- 2011-07-14 MY MYPI2014003118A patent/MY177748A/en unknown
- 2011-07-14 PL PL17188330T patent/PL3288032T3/pl unknown
- 2011-07-14 MX MX2012010854A patent/MX2012010854A/es active IP Right Grant
- 2011-07-14 CA CA3203400A patent/CA3203400C/en active Active
- 2011-07-14 PL PL17188329T patent/PL3285258T3/pl unknown
- 2011-07-14 PL PL17188331T patent/PL3291230T3/pl unknown
- 2011-07-14 EP EP22151584.4A patent/EP4016527B1/en active Active
- 2011-07-14 KR KR1020197027754A patent/KR102095385B1/ko active IP Right Grant
- 2011-07-14 EP EP17188330.9A patent/EP3288032B1/en active Active
- 2011-07-14 KR KR1020177004170A patent/KR101803849B1/ko active IP Right Grant
- 2011-07-14 EP EP14164770.1A patent/EP2765572B1/en active Active
- 2011-07-14 KR KR1020137028768A patent/KR101709095B1/ko active IP Right Grant
- 2011-07-14 EP EP20172244.4A patent/EP3723089B1/en active Active
- 2011-07-14 DK DK14164770.1T patent/DK2765572T3/da active
- 2011-07-14 EP EP19169480.1A patent/EP3544008B1/en active Active
- 2011-07-14 CA CA3209829A patent/CA3209829C/en active Active
- 2011-07-14 EP EP17188331.7A patent/EP3291230B1/en active Active
- 2011-07-14 KR KR1020217029381A patent/KR102438565B1/ko active IP Right Grant
- 2011-07-14 BR BR112012024360-8A patent/BR112012024360B1/pt active IP Right Grant
- 2011-07-14 KR KR1020207026757A patent/KR102304093B1/ko active IP Right Grant
- 2011-07-14 MY MYPI2012004070A patent/MY154277A/en unknown
- 2011-07-14 RU RU2012141098/08A patent/RU2530254C2/ru active
- 2011-07-14 AU AU2011281735A patent/AU2011281735B2/en active Active
- 2011-07-14 KR KR1020207008479A patent/KR102159194B1/ko active IP Right Grant
- 2011-07-14 PL PL19169481T patent/PL3544009T3/pl unknown
- 2011-07-14 CA CA3087957A patent/CA3087957C/en active Active
- 2011-07-14 CA CA3239820A patent/CA3239820A1/en active Pending
- 2011-07-14 PL PL22151584.4T patent/PL4016527T3/pl unknown
- 2011-07-14 CN CN201180016982.8A patent/CN103155033B/zh active Active
- 2011-07-14 DK DK11745509T patent/DK2596497T3/da active
- 2011-07-14 ES ES17188330T patent/ES2727460T3/es active Active
- 2011-07-14 CA CA3072785A patent/CA3072785C/en active Active
- 2011-07-14 KR KR1020247003321A patent/KR20240023667A/ko active Application Filing
- 2011-07-14 SG SG10201505469SA patent/SG10201505469SA/en unknown
- 2011-07-14 CA CA3027803A patent/CA3027803C/en active Active
- 2011-07-14 KR KR1020187027314A patent/KR101964180B1/ko active IP Right Grant
- 2011-07-14 PL PL19169480T patent/PL3544008T3/pl unknown
- 2011-07-14 ES ES20172244T patent/ES2908348T3/es active Active
- 2011-07-14 KR KR1020177033403A patent/KR101907017B1/ko active IP Right Grant
- 2011-07-14 ES ES17188329T patent/ES2712304T3/es active Active
- 2011-07-14 BR BR122019024695-5A patent/BR122019024695B1/pt active IP Right Grant
- 2011-07-14 WO PCT/EP2011/062068 patent/WO2012010494A1/en active Application Filing
- 2011-07-14 EP EP19169481.9A patent/EP3544009B1/en active Active
- 2011-07-14 CA CA3163657A patent/CA3163657C/en active Active
- 2011-07-14 ES ES22151584T patent/ES2942867T3/es active Active
- 2011-07-14 SG SG10202107800UA patent/SG10202107800UA/en unknown
- 2011-07-14 CA CA2920930A patent/CA2920930C/en active Active
- 2011-07-14 ES ES17188331T patent/ES2727300T3/es active Active
- 2011-07-14 KR KR1020227029401A patent/KR102632248B1/ko active IP Right Grant
- 2011-07-14 ES ES19169481T patent/ES2801324T3/es active Active
- 2011-07-14 US US13/582,967 patent/US9117459B2/en active Active
- 2011-07-14 ES ES11745509.7T patent/ES2484795T3/es active Active
- 2011-07-14 KR KR1020127025034A patent/KR101478506B1/ko active IP Right Grant
- 2011-07-14 PL PL11745509T patent/PL2596497T3/pl unknown
- 2011-07-14 PL PL19169479T patent/PL3544007T3/pl unknown
-
2012
- 2012-09-27 CL CL2012002699A patent/CL2012002699A1/es unknown
-
2014
- 2014-06-24 AU AU2014203424A patent/AU2014203424B2/en active Active
- 2014-07-03 RU RU2014127177A patent/RU2659487C2/ru active
-
2015
- 2015-01-13 HK HK15100338.4A patent/HK1199973A1/zh unknown
- 2015-01-15 JP JP2015005504A patent/JP6035356B2/ja active Active
- 2015-07-15 US US14/799,800 patent/US9640184B2/en active Active
-
2016
- 2016-04-29 AU AU2016202767A patent/AU2016202767B2/en active Active
- 2016-10-31 JP JP2016212503A patent/JP6523234B2/ja active Active
-
2017
- 2017-02-10 US US15/429,545 patent/US9911431B2/en active Active
-
2018
- 2018-01-16 US US15/872,836 patent/US10283122B2/en active Active
- 2018-06-04 RU RU2018120544A patent/RU2758466C2/ru active
- 2018-07-11 HK HK18108970.7A patent/HK1249653B/zh unknown
- 2018-07-17 HK HK18109191.8A patent/HK1249798B/zh unknown
- 2018-08-08 AU AU2018214048A patent/AU2018214048B2/en active Active
-
2019
- 2019-03-27 US US16/367,099 patent/US11031019B2/en active Active
- 2019-04-25 JP JP2019084106A patent/JP6727374B2/ja active Active
-
2020
- 2020-06-30 JP JP2020112669A patent/JP6845962B2/ja active Active
- 2020-09-18 AU AU2020233759A patent/AU2020233759B2/en active Active
-
2021
- 2021-02-26 JP JP2021029918A patent/JP6993523B2/ja active Active
- 2021-06-04 US US17/338,667 patent/US11568880B2/en active Active
- 2021-11-30 AU AU2021277643A patent/AU2021277643B2/en active Active
- 2021-12-09 JP JP2021199710A patent/JP7114791B2/ja active Active
-
2022
- 2022-07-27 JP JP2022119232A patent/JP7228737B2/ja active Active
- 2022-08-11 AU AU2022215250A patent/AU2022215250B2/en active Active
-
2023
- 2023-02-13 JP JP2023019752A patent/JP7345694B2/ja active Active
- 2023-04-27 AU AU2023202541A patent/AU2023202541B2/en active Active
- 2023-09-05 JP JP2023143457A patent/JP7477700B2/ja active Active
-
2024
- 2024-04-18 JP JP2024067137A patent/JP2024096944A/ja active Pending
- 2024-07-31 AU AU2024205275A patent/AU2024205275B2/en active Active
- 2024-07-31 AU AU2024205260A patent/AU2024205260B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1408109A (zh) * | 1999-01-27 | 2003-04-02 | 编码技术瑞典股份公司 | 利用自适应噪声本底相加和噪声替换限制,增强sbr和有关hfr编码方法的感知性能 |
| CN1481545A (zh) * | 2000-11-14 | 2004-03-10 | ���뼼�����ɷݹ�˾ | 利用自适应滤波改善高频重建编码方法的感知性能 |
| CN101681623A (zh) * | 2007-04-30 | 2010-03-24 | 三星电子株式会社 | 对高频带编码和解码的方法和设备 |
| CN101521014A (zh) * | 2009-04-08 | 2009-09-02 | 武汉大学 | 音频带宽扩展编解码装置 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104575517B (zh) | 高频重建期间的音频信号处理 | |
| RU2799033C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2814460C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2822579C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2805938C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов | |
| RU2782168C1 (ru) | Система и способ для генерирования ряда сигналов высокочастотных поддиапазонов |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |