RU2778834C1 - Harmonic transformation improved by the cross product - Google Patents
Harmonic transformation improved by the cross product Download PDFInfo
- Publication number
- RU2778834C1 RU2778834C1 RU2021137533A RU2021137533A RU2778834C1 RU 2778834 C1 RU2778834 C1 RU 2778834C1 RU 2021137533 A RU2021137533 A RU 2021137533A RU 2021137533 A RU2021137533 A RU 2021137533A RU 2778834 C1 RU2778834 C1 RU 2778834C1
- Authority
- RU
- Russia
- Prior art keywords
- signal
- subband
- frequency
- analyzed
- analysis
- Prior art date
Links
- 230000001131 transforming Effects 0.000 title claims description 77
- 238000004458 analytical method Methods 0.000 claims abstract description 110
- 230000005236 sound signal Effects 0.000 claims abstract description 27
- 230000000051 modifying Effects 0.000 claims abstract description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 115
- 238000003786 synthesis reaction Methods 0.000 claims description 115
- 230000002194 synthesizing Effects 0.000 claims description 115
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 4
- 238000007493 shaping process Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 2
- 238000001228 spectrum Methods 0.000 abstract description 17
- 230000004048 modification Effects 0.000 abstract description 12
- 238000006011 modification reaction Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 6
- 238000011049 filling Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000017105 transposition Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000036961 partial Effects 0.000 description 52
- 230000000875 corresponding Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 14
- 230000003595 spectral Effects 0.000 description 11
- 238000007792 addition Methods 0.000 description 10
- 230000000737 periodic Effects 0.000 description 10
- 230000002829 reduced Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000037098 T max Effects 0.000 description 3
- 241001442055 Vipera berus Species 0.000 description 3
- 230000001747 exhibiting Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 230000003044 adaptive Effects 0.000 description 2
- 230000001419 dependent Effects 0.000 description 2
- 230000000670 limiting Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011365 complex material Substances 0.000 description 1
- 230000002596 correlated Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002349 favourable Effects 0.000 description 1
- 108010003272 hyaluronate lyase Proteins 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Abstract
Description
ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯTECHNICAL APPLICATION
Данное изобретение относится к системам звукового кодирования, использующим способ гармонического преобразования для высокочастотной реконструкции (HFR).This invention relates to sound systems coding using a harmonic transformation method for high frequency reconstruction (HFR).
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯBACKGROUND OF THE INVENTION
Технологии высокочастотной реконструкции, такие как технология репликации спектральных полос (SBR), позволяют значительно улучшить эффективность кодирования традиционных кодеков воспринимаемых цифровых аудиосигналов. В сочетании с перспективным звуковым кодированием MPEG-4 (ААС) она образует чрезвычайно эффективный аудиокодек, который уже используется в системах XM Satellite Radio и Digital Radio Mondiale. Комбинация ААС и SBR называется aacPlus. Она является частью стандарта MPEG-4, где именуется High Efficiency AAC Profile. В общем, технология HFR может сочетаться с любым кодеком воспринимаемых цифровых звуковых сигналов в порядке совместимости сверху вниз и снизу вверх, что, таким образом, предоставляет возможность осуществления модернизации уже установленных систем вещания, таких как система MPEG Layer-2, используемая в системе Eureka DAB. Способы HFR-преобразования также могут объединяться с вокодерами, допуская широкополосные речевые сигналы при сверхнизких скоростях цифрового потока.High-frequency reconstruction technologies, such as spectral band replication (SBR), can significantly improve the coding efficiency of traditional perceptual digital audio codecs. Combined with advanced MPEG-4 audio coding (AAC), it forms an extremely efficient audio codec already used in XM Satellite Radio and Digital Radio Mondiale systems. The combination of AAC and SBR is called aacPlus. It is part of the MPEG-4 standard, where it is referred to as the High Efficiency AAC Profile. In general, HFR technology can be combined with any perceived digital audio codec in a top-down and bottom-up compatibility order, thus enabling upgrades to existing broadcast systems such as the MPEG Layer-2 system used in the Eureka DAB system. . HFR transform techniques can also be combined with vocoders, allowing wideband speech signals at ultra-low bit rates.
Основополагающей идеей, лежащей в основе HRF, является наблюдение, что между характеристиками высокочастотного диапазона сигнала и характеристиками низкочастотного диапазона того же сигнала, как правило, существует сильная корреляция. Таким образом, хорошее приближение к представлению высокочастотного диапазона оригинального входного сигнала может достигаться путем преобразования сигнала из низкочастотного диапазона в высокочастотный диапазон.The fundamental idea behind HRF is the observation that there is generally a strong correlation between the characteristics of the high frequency range of a signal and the characteristics of the low frequency range of the same signal. Thus, a good approximation to the representation of the high frequency range of the original input signal can be achieved by converting the signal from the low frequency range to the high frequency range.
Концепция преобразования была установлена в документе WO 98/57436 как способ воссоздания высокочастотного диапазона звукового сигнала из диапазона с меньшей частотой. С использованием этой концепции можно получить значительную экономию скорости битового потока при кодировании звуковых и/или речевых сигналов. В нижеследующем описании отсылка будет производиться к кодированию звуковых сигналов, однако следует учитывать, что описанные способы и системы равнозначно применимы для кодирования речевых сигналов и унифицированного кодирования звуковых и речевых сигналов (USAC).The concept of conversion was established in WO 98/57436 as a way to recreate the high frequency range of an audio signal from a lower frequency range. Using this concept, significant bitrate savings can be obtained when encoding audio and/or speech signals. In the following description, reference will be made to audio coding, however, it should be appreciated that the described methods and systems are equally applicable to speech coding and unified audio and speech coding (USAC).
В системе кодирования звуковых сигналов на основе HFR сигнал низкочастотного диапазона передается в базовый кодировщик формы сигнала, и более высокие частоты регенерируются на стороне декодера с использованием преобразования сигнала низкочастотного диапазона и дополнительной информации, которая, как правило, кодируется с чрезвычайно низкими скоростями битового потока и описывает форму целевого спектра. Для низких скоростей битового потока, где полоса пропускания базового кодированного сигнала является узкой, возрастающую важность приобретает воссоздание высокого диапазона, т.е. высокочастотного диапазона звукового сигнала, с приятными для восприятия характеристиками. Ниже упоминается два варианта способов реконструкции гармонических частот, где первый именуется гармоническим преобразованием, а второй ― модуляцией сигнала с одной боковой полосой.In an HFR-based audio coding system, the low band signal is passed to the core waveform encoder, and the higher frequencies are regenerated at the decoder side using low band signal transformation and side information, which is typically encoded at extremely low bit rates and describes shape of the target spectrum. For low bit rates, where the bandwidth of the underlying encoded signal is narrow, it becomes increasingly important to recreate the high range, i.e. high-frequency range of the audio signal, with pleasant characteristics for perception. Two variants of harmonic frequency reconstruction methods are mentioned below, where the first is called harmonic transformation, and the second is called single sideband signal modulation.
Принцип гармонического преобразования, определенный в документе WO 98/57436, заключается в том, что синусоида с частотой ω преобразуется в синусоиду с частотой Тω, где T > 1 ― целое число, определяющее порядок преобразования. Привлекательной особенностью гармонического преобразования является то, что оно растягивает исходный частотный диапазон в целевой частотный диапазон с кратностью, равной порядку преобразования, т.е. с кратностью, равной Т. Гармоническое преобразование хорошо выполняется для сложного музыкального материала. Кроме того, гармоническое преобразование проявляет низкие частоты перехода, т.е. большой высокочастотный диапазон выше частоты перехода может генерироваться из относительно небольшого низкочастотного диапазона ниже частоты перехода.The principle of harmonic transformation, as defined in WO 98/57436, is that a sinusoid of frequency ω is converted to a sinusoid of frequency Tω, where T > 1 is an integer specifying the order of transformation. An attractive feature of the harmonic transform is that it stretches the source frequency range into the target frequency range with a multiplicity equal to the transform order, i.e. with a multiplicity equal to T. Harmonic transformation performs well for complex musical material. In addition, the harmonic transformation exhibits low transition frequencies, i.e. a large high frequency range above the transition frequency can be generated from a relatively small low frequency range below the transition frequency.
В отличие от гармонического преобразования, HFR на основе модуляции сигнала с одной боковой полосой (SSB) преобразует синусоиду с частотой
в синусоиду с частотой ω+Δω, где Δω ― фиксированное смещение частоты. Наблюдалось, что для заданного базового сигнала с низким диапазоном частот в результате SSB-преобразования может возникать диссонирующий затухающий артефакт. Также следует учитывать, что для низкой частоты перехода, т.е. для малого исходного диапазона частот, гармоническое преобразование для заполнения требуемого целевого диапазона частот требует меньшего количества фрагментов, чем преобразование на основе SSB. Например, если требуется заполнить высокочастотный диапазон (ω, 4ω], то используемое гармоническое преобразование с T = 4 может заполнить этот частотный диапазон из диапазона частот . С другой стороны, преобразование на основе SSB с использованием того же низкочастотного диапазона должно использовать смещение частоты , и для заполнения высокочастотного диапазона (ω, 4ω] необходимо четырехкратное повторение процесса.Unlike harmonic transformation, HFR modulates a single sideband (SSB) signal to transform a sinusoid with a frequency into a sinusoid with frequency ω+Δω, where Δω is a fixed frequency offset. It has been observed that for a given low bandwidth base signal, a dissonant damping artifact can occur as a result of the SSB conversion. It should also be taken into account that for a low transition frequency, i.e. for a small source bandwidth, the harmonic transform requires fewer fragments to fill the required target bandwidth than the SSB based transform. For example, if it is required to fill the high-frequency range (ω, 4ω], then the used harmonic transformation with T = 4 can fill this frequency range from the frequency range . On the other hand, an SSB-based conversion using the same low frequency range must use a frequency offset , and to fill the high-frequency range (ω, 4ω] it is necessary to repeat the process four times.С другой стороны, как недавно указано в документе WO 02/052545 A1, гармоническое преобразование обладает недостатками для сигналов с выраженной периодической структурой. Такие сигналы представляют собой суперпозиции гармонически связанных синусоид с частотами Ω,2Ω,3Ω,…, где Ω ― основная частота. При гармоническом преобразовании порядка Т выходные синусоиды имеют частоты ТΩ, 2ТΩ, 3ТΩ,.., что в случае T > 1 представляет собой лишь строгое подмножество требуемого полного гармонического ряда. В выражении результирующего качества звука, как правило, будет восприниматься «фантомный» основной тон, соответствующий преобразованной основной частоте ТΩ. Часто гармоническое преобразование приводит в «металлическому» характеру звучания кодированного и декодированного звуковых сигналов. Данную ситуацию можно в некоторой степени смягчить путем добавления к HFR нескольких порядков преобразования T=2,3,…,Tmax, но этот способ является сложным в вычислительном отношении, если необходимо избежать большинства провалов в спектре.On the other hand, as recently pointed out in document WO 02/052545 A1, harmonic transformation has disadvantages for signals with a pronounced periodic structure. Such signals are superpositions of harmonically related sinusoids with frequencies Ω,2Ω,3Ω,…, where Ω is the fundamental frequency. With a harmonic transformation of order T , the output sinusoids have frequencies TΩ, 2TΩ, 3TΩ,.., which in the case of T > 1 is only a strict subset of the required complete harmonic series. In terms of the resulting sound quality, a "phantom" fundamental tone corresponding to the converted fundamental frequency TΩ will generally be perceived. Often, harmonic transformation results in a "metallic" character in the sound of the encoded and decoded audio signals. This situation can be mitigated to some extent by adding several orders of transformation T=2,3,…,T max to the HFR, but this method is computationally difficult if most of the spectral holes are to be avoided.
Альтернативное решение, позволяющее избежать появления «фантомных» основных тонов при использовании гармонического преобразования представлено в документе WO 02/052545 A1. Решение заключается в использовании двух типов преобразования, т.е. традиционного гармонического преобразования и специального «импульсного преобразования». Описанный способ предлагает переключение на специальное «импульсное преобразование» для тех частей звукового сигнала, которые, как обнаруживается, являются периодическими и имеют характер последовательности импульсов. Трудность, связанная с данным подходом, заключается в том, что применение «импульсного преобразования» к сложному музыкальному материалу часто снижает его качество в сравнении с гармоническим преобразованием на основе блока фильтров высокого разрешения. Поэтому механизмы обнаружения должны регулироваться достаточно консервативно так, чтобы импульсное преобразование не использовалось для сложного материала. Речь и музыкальные инструменты с одним основным тоном неизбежно будут в некоторых случаях классифицироваться как комплексные сигналы, запуская этим гармоническое преобразование и, таким образом, приводя к потере гармоник. Кроме того, если переключение происходит в середине сигнала с одним основным тоном, или сигнала с основным тоном, доминирующим на более слабом сложном фоне, само переключение между двумя способами транспонирования, имеющими отличающиеся свойства заполнения спектра, будет генерировать слышимые артефакты.An alternative solution to avoid the appearance of "phantom" fundamentals when using harmonic transformation is presented in WO 02/052545 A1. The solution is to use two types of transformation i.e. traditional harmonic transformation and a special "impulse transformation". The described method offers switching to a special "pulse transformation" for those parts of the audio signal that are found to be periodic and have the nature of a pulse train. The difficulty with this approach is that applying "impulsive transformation" to complex musical material often reduces its quality compared to harmonic transformation based on a high-resolution filter bank. Therefore, the detection mechanisms must be adjusted conservatively enough so that impulse conversion is not used for complex material. Speech and musical instruments with the same fundamental will inevitably be classified as complex signals in some cases, thus triggering harmonic transformation and thus resulting in loss of harmonics. In addition, if the switch occurs in the middle of a signal with a single pitch, or a signal with a pitch dominating a weaker complex background, the switch itself between two transposition modes having different spectrum filling properties will generate audible artifacts.
КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯBRIEF DESCRIPTION OF THE INVENTION
Данное изобретение предусматривает способ и систему для заполнения гармонического ряда, возникающего в результате гармонического преобразования периодического сигнала. Преобразование в частотной области включает этап отображения нелинейно модифицированных сигналов поддиапазонов из блока анализирующих фильтров в выбранные поддиапазоны блока синтезирующих фильтров. Нелинейная модификация включает модификацию фаз, или вращение фаз, которая в области блока комплексных фильтров может быть получена по степенному закону с последующей коррекцией амплитуды. В то время как на текущем уровне техники преобразование отдельно модифицирует один анализируемый поддиапазон за раз, данное изобретение предлагает добавлять нелинейную комбинацию, по меньшей мере, двух различных анализируемых поддиапазонов к каждому синтезируемому поддиапазону. Расстояние между анализируемыми поддиапазонами, которые подвергаются комбинированию, может быть отнесено к основной частоте доминирующей составляющей сигнала, который подвергается преобразованию.The present invention provides a method and system for filling the harmonic series resulting from the harmonic transformation of a periodic signal. The frequency domain transform includes the step of mapping non-linearly modified subband signals from the analysis filter bank to selected subbands of the synthesis filter bank. The non-linear modification includes phase modification, or phase rotation, which in the region of the complex filter bank can be obtained by a power law followed by amplitude correction. While the current state of the art, the transformation separately modifies one analysis subband at a time, the present invention proposes to add a non-linear combination of at least two different analysis subbands to each synthesized subband. The distance between the analyzed subbands that are combined can be related to the fundamental frequency of the dominant component of the signal that is being converted.
В наиболее общей форме математическое описание изобретения заключается в том, что набор частотных составляющих ω1,ω2,…,ωk используется для создания новой частотной составляющей:In its most general form, the mathematical description of the invention is that a set of frequency components ω 1 , ω 2 ,…, ω k is used to create a new frequency component:
ω=T1ω1+ T2ω2+…+ TKωK,ω=T 1 ω 1 + T 2 ω 2 +…+ T K ω K ,
где коэффициенты T1,T2…,TK — это целочисленные порядки преобразования, сумма которых представляет собой общий порядок преобразования T= T1+T2+…+TK. Данный эффект получается путем модификации фаз К подходящим образом выбранных сигналов поддиапазонов посредством множителей T1,T2…,TK и рекомбинации результата умножения в сигнал с фазой, равной сумме модифицированных фаз. Важно отметить, что все указанные операции с фазами вполне определены и точно выражены, поскольку индивидуальные порядки преобразования являются целыми числами, и некоторые из этих целых чисел даже могут быть отрицательными до тех пор, пока общий порядок преобразования удовлетворяет неравенству Τ ≥ 1.where the coefficients T 1 ,T 2 …,T K are integer conversion orders, the sum of which is the total transformation order T= T 1 +T 2 +…+T K . This effect is obtained by modifying the K phases of suitably selected subband signals by the multipliers T 1 ,T 2 ...,T K and recombining the result of the multiplication into a signal with a phase equal to the sum of the modified phases. It is important to note that all of these phase operations are well-defined and well-defined, since the individual transformation orders are integers, and some of these integers may even be negative as long as the overall transformation order satisfies the inequality Τ ≥ 1.
Способы согласно текущему уровню техники соответствуют случаю K=1, а данное изобретение предлагает использование K ≥ 1. В тексте описания в основном рассматривается случай K=2, Τ ≥ 2, поскольку этого достаточно для решения большинства имеющихся конкретных проблем. Однако следует отметить, что случаи K > 2 рассматриваются как равным образом раскрываемые и охватываются настоящим документом.The methods according to the current state of the art correspond to the case K=1, and the present invention proposes the use of K ≥ 1. In the text of the description, the case K=2, Τ ≥ 2 is mainly considered, since this is sufficient to solve most of the specific problems present. However, it should be noted that the cases of K > 2 are treated as equally disclosed and covered by this document.
Изобретение использует информацию от большего количества аналитических каналов низкочастотного диапазона, т.е. от большего количества сигналов анализируемых поддиапазонов, для отображения нелинейно модифицированных сигналов поддиапазонов из блока анализирующих фильтров в выбранные поддиапазоны блока синтезирующих фильтров. Преобразование не только отдельно модифицирует один поддиапазон за раз, но и добавляет к каждому синтезируемому поддиапазону нелинейную комбинацию, по меньшей мере, двух различных анализируемых поддиапазонов. Как уже упоминалось, гармоническое преобразование порядка Т конструируется для того, чтобы отображать синусоиду с частотой ω в синусоиду с частотой Тω, где Т > 1. Согласно изобретению, т.н. усовершенствование перекрестного произведения с параметром основного тона Ω и индексом 0 < r < T предназначается для отображения пары синусоид с частотами (ω,ω+Ω) в синусоиду с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ. Следует учитывать, что для такого перекрестного произведения преобразования все парциальные частоты периодического сигнала с периодом Ω будут генерироваться путем добавления всех перекрестных произведений параметра основного тона Ω с индексом r, находящимся в интервале от 1 до Т – 1, к гармоническому преобразованию порядка Т.The invention uses information from a larger number of analysis channels in the low frequency range, i.e. from more analyzed subband signals to map non-linearly modified subband signals from the analysis filter bank to selected subbands of the synthesis filter bank. The transform not only individually modifies one subband at a time, but adds to each synthesized subband a non-linear combination of at least two different analyzed subbands. As already mentioned, a harmonic transformation of order T is designed to map a sinusoid of frequency ω to a sinusoid of frequency Tω, where T > 1. According to the invention, the so-called. the cross product improvement with pitch parameter Ω and
Согласно одной из особенностей изобретения, описывается система и способ генерирования высокочастотной составляющей сигнала из низкочастотной составляющей сигнала. Следует отметить, что особенности, описанные ниже в контексте системы, равным образом применимы к способу изобретения. Сигнал может представлять собой, например, звуковой и/или речевой сигнал. Система и способ могут использоваться для кодирования унифицированного речевого и звукового сигнала. Сигнал включает низкочастотную составляющую и высокочастотную составляющую, где низкочастотная составляющая включает частоты ниже определенной частоты перехода, а высокочастотная составляющая включает частоты выше определенной частоты перехода. При определенных условиях может потребоваться оценка высокочастотной составляющей сигнала, исходя из низкочастотной составляющей сигнала. Например, некоторые схемы звукового кодирования кодируют только низкочастотную составляющую звукового сигнала и направлены на реконструкцию высокочастотной составляющей этого сигнала исключительно из декодированной низкочастотной составляющей, возможно, с использованием определенной информации об огибающей оригинальной высокочастотной составляющей. Описываемые здесь система и способ могут использоваться в контексте указанных систем кодирования и декодирования.According to one aspect of the invention, a system and method for generating a high frequency signal component from a low frequency signal component is described. It should be noted that the features described below in the context of the system are equally applicable to the method of the invention. The signal may be, for example, an audio and/or speech signal. The system and method can be used to encode a unified speech and audio signal. The signal includes a low frequency component and a high frequency component, where the low frequency component includes frequencies below a certain crossover frequency and the high frequency component includes frequencies above a certain crossover frequency. Under certain conditions, it may be necessary to estimate the high frequency component of the signal from the low frequency component of the signal. For example, some audio coding schemes encode only the low frequency component of an audio signal and aim to reconstruct the high frequency component of that signal solely from the decoded low frequency component, possibly using certain envelope information of the original high frequency component. The system and method described herein may be used in the context of these encoding and decoding systems.
Система для генерирования высокочастотной составляющей включает блок анализирующих фильтров, который создает набор сигналов анализируемых поддиапазонов низкочастотной составляющей сигнала. Блоки анализирующих фильтров могут включать набор полосовых фильтров с постоянной шириной полосы пропускания. Также, в особенности, в контексте речевых сигналов, может оказаться полезным использование набора полосовых фильтров с логарифмическим распределением полос пропускания. Целью блока анализирующих фильтров является разложение низкочастотной составляющей сигнала на ее частотные составляющие. Эти частотные составляющие будут отражаться в наборе сигналов анализируемых поддиапазонов, которые генерируются блоком анализирующих фильтров. Например, сигнал, включающий ноту, которая проигрывается музыкальным инструментом, будет разделяться на сигналы анализируемых поддиапазонов, имеющие достаточно высокие амплитуды для тех поддиапазонов, которые соответствуют гармонической частоте проигранной ноты, в то время как другие поддиапазоны будут проявлять сигналы анализируемых поддиапазонов с низкими амплитудами.The system for generating the high frequency component includes an analysis filter bank that generates a signal set of analyzed subbands of the low frequency component of the signal. The analysis filter banks may include a set of band pass filters with a constant bandwidth. Also, especially in the context of speech signals, it may be useful to use a band pass filter bank with a logarithmic bandwidth distribution. The purpose of the analysis filter bank is to decompose the low frequency component of the signal into its frequency components. These frequency components will be reflected in the analysis subband signal set that is generated by the analysis filter bank. For example, a signal including a note being played by a musical instrument will be split into analysis subband signals having sufficiently high amplitudes for those subbands corresponding to the harmonic frequency of the played note, while other subbands will exhibit low amplitude analysis subband signals.
Система также включает блок нелинейной обработки, предназначенный для генерирования сигнала синтезируемого поддиапазона с конкретной синтезируемой частотой путем модификации или вращения фазы первого и второго сигналов из набора сигналов анализируемых поддиапазонов и путем комбинирования сигналов анализируемых поддиапазонов с модифицированной фазой. В общем случае, первый и второй сигналы анализируемых поддиапазонов отличаются. Иными словами, они соответствуют различным поддиапазонам. Блок нелинейной обработки может включать т.н. блок обработки скрещивающихся членов, в котором, как правило, генерируется сигнал синтезируемого поддиапазона. Сигнал синтезируемого поддиапазона включает синтезируемую частоту. Как правило, сигнал синтезируемого поддиапазона включает частоты из определенного диапазона синтезируемых частот. Синтезируемая частота представляет собой частоту, находящуюся в пределах этого частотного диапазона, т.е. центральную частоту частотного диапазона. Синтезируемая частота, а также диапазон синтезируемых частот, как правило, превышает частоту перехода. Аналогично, сигналы анализируемых поддиапазонов включают частоты из определенного диапазона анализируемых частот. Эти диапазоны анализируемых частот, как правило, находятся ниже частоты перехода.The system also includes a non-linear processing unit for generating a synthesis subband signal with a specific synthesis frequency by modifying or rotating the phase of the first and second signals from the set of analyzed subband signals and by combining the analyzed subband signals with the modified phase. In general, the first and second signals of the analyzed subbands are different. In other words, they correspond to different subranges. The non-linear processing unit may include the so-called. a cross-term processing unit in which the synthesis subband signal is typically generated. The synthesis subband signal includes the synthesis frequency. Typically, a synthesis subband signal includes frequencies from a specific synthesis frequency range. The synthesized frequency is the frequency within this frequency range, i.e. the center frequency of the frequency range. The synthesized frequency, as well as the range of synthesized frequencies, as a rule, exceeds the transition frequency. Likewise, analyzed subband signals include frequencies from a specific range of analyzed frequencies. These analyzed frequency ranges are usually below the transition frequency.
Операция модификации фазы может заключаться в преобразовании частот сигналов анализируемых поддиапазонов. Как правило, блок анализирующих фильтров дает на выходе комплексные сигналы поддиапазонов, которые могут быть представлены как комплексные экспоненциальные функции, включающие амплитуду и фазу. Фаза комплексного сигнала анализируемого поддиапазона соответствует частоте сигнала поддиапазона. Преобразование этих сигналов поддиапазонов посредством определенного порядка преобразования T' может быть выполнено путем возведения сигнала поддиапазона в степень порядка преобразования Т'. В результате получается фаза комплексного сигнала поддиапазона, умноженная на порядок преобразования Т'. В результате преобразованный сигнал поддиапазона проявляет фазу, или частоту, которая в Т' раз больше начальной фазы, или частоты. Такая операция модификации фазы также может называться вращением фазы или умножением фазы.The phase modification operation may consist in converting the frequencies of the signals of the analyzed subbands. Typically, the analysis filter bank outputs complex subband signals, which can be represented as complex exponential functions including amplitude and phase. The phase of the complex signal of the analyzed subband corresponds to the frequency of the subband signal. Transforming these subband signals through a certain transform order T' can be performed by raising the subband signal to the power of the transform order T'. The result is the phase of the complex subband signal multiplied by the transform order T'. As a result, the converted subband signal exhibits a phase or frequency that is T' times greater than the original phase or frequency. Such a phase modification operation may also be referred to as phase rotation or phase multiplication.
Кроме того, система включает блок синтезирующих фильтров, предназначенный для генерирования высокочастотной составляющей сигнала из сигнала синтезируемого поддиапазона. Иными словами, целью блока синтезирующих фильтров является объединение, возможно, набора сигналов синтезируемых поддиапазонов из, возможно, набора диапазонов синтезируемых частот и генерирование высокочастотной составляющей сигнала во временной области. Следует отметить, что для сигналов, содержащих основную частоту, например, основную частоту Ω, может быть полезно, чтобы блок синтезирующих фильтров и/или блок анализирующих фильтров проявлял разнос частот, который связан с основной частотой сигнала. В частности, может быть полезно выбирать блоки фильтров с достаточно низким разносом частот или достаточно высоким разрешением с целью разложения основной частоты Ω.In addition, the system includes a synthesis filter block for generating a high-frequency signal component from a synthesis subband signal. In other words, the purpose of the synthesis filter bank is to combine, possibly, a set of synthesis subband signals from, possibly, a set of synthesis frequency bands, and generate a high frequency component of the time domain signal. It should be noted that for signals containing a fundamental frequency, for example the fundamental frequency Ω, it may be useful for the synthesis filter bank and/or the analysis filter bank to exhibit a frequency offset that is related to the fundamental frequency of the signal. In particular, it may be useful to select filter banks with a sufficiently low spacing or high enough resolution to decompose the fundamental frequency Ω.
Согласно другой особенности изобретения, блок нелинейной обработки, или блок обработки скрещивающихся членов в блоке нелинейной обработки, включает блок преобразования первого и второго порядка с множеством входов и одним выходом, который генерирует сигнал синтезируемого поддиапазона из первого и второго сигналов анализируемых поддиапазонов, проявляющих, соответственно, первую и вторую анализируемые частоты. Иными словами, блок с множеством входов и одним выходом выполняет преобразование первого и второго сигналов анализируемых поддиапазонов и объединяет два преобразованных сигнала анализируемых поддиапазонов в сигнал синтезируемого поддиапазона. Первый сигнал анализируемого поддиапазона имеет модифицированную фазу, или его фаза является умноженной на первый порядок преобразования, при этом второй сигнал анализируемого поддиапазона имеет модифицированную фазу, или его фаза является умноженной на второй порядок преобразования. В случае комплексных сигналов анализируемых поддиапазонов указанная операция модификации фазы состоит в умножении фазы соответствующего сигнала анализируемого поддиапазона на соответствующий порядок преобразования. Два преобразованных сигнала анализируемых поддиапазонов комбинируются, давая комбинированный сигнал синтезируемого поддиапазона с синтезируемой частотой, которая соответствует первой анализируемой частоте, умноженной на первый порядок преобразования, плюс вторая анализируемая частота, умноженная на второй порядок преобразования. Этап комбинирования может состоять в перемножении двух преобразованных комплексных сигналов анализируемых поддиапазонов. Перемножение двух сигналов может состоять в перемножении их дискретных значений.According to another aspect of the invention, the non-linear processing block, or the cross-term processing block in the non-linear processing block, includes a multi-input, single-output, first and second order transform block that generates a synthesis subband signal from the first and second analyzed subband signals exhibiting, respectively, the first and second analyzed frequencies. In other words, the multiple-input, single-output block converts the first and second analysis subband signals and combines the two converted analysis subband signals into a synthesis subband signal. The first analysis subband signal has a phase modified, or its phase is multiplied by the first transformation order, while the second analysis subband signal has a modified phase, or its phase is multiplied by the second transformation order. In the case of complex analysis subband signals, said phase modification operation consists in multiplying the phase of the corresponding analysis subband signal by the corresponding transformation order. The two converted subband analysis signals are combined to give a combined synthesis subband signal with a synthesis frequency that corresponds to the first analysis frequency times the first order of the transformation plus the second analysis frequency times the second order of the transformation. The combining step may consist of multiplying the two transformed complex signals of the analyzed subbands. The multiplication of two signals may consist in multiplying their discrete values.
Вышеупомянутые особенности также могут быть выражены посредством формул. Пусть первая анализируемая частота ― ω, а вторая анализируемая частота ― (ω+Ω). Следует отметить, что эти переменные могут также представлять соответствующие диапазоны анализируемых частот двух сигналов анализируемых поддиапазонов. Иными словами, частота может подразумеваться как представляющая все частоты, заключаемые внутри конкретного частотного диапазона или частотного поддиапазона, т.е. первую и вторую анализируемые частоты также следует понимать как первый и второй диапазоны анализируемых частот или первый и второй анализируемые поддиапазоны. Кроме того, первым порядком преобразования может являться (T – r), а вторым порядком преобразования может являться r. Может оказаться полезным ограничить порядки преобразования так, чтобы Т > 1 и 1 ≤ r < Т. В этих случаях блок с множеством входов и одним выходом может давать на выходе сигналы синтезируемого поддиапазона с синтезируемой частотой
.The above features can also be expressed by formulas. Let the first analyzed frequency be ω, and the second analyzed frequency be (ω+Ω). It should be noted that these variables may also represent the respective analyzed frequency bands of the two analyzed subband signals. In other words, a frequency may be understood to represent all frequencies contained within a particular frequency band or frequency subband, ie. the first and second analysis frequencies are also to be understood as the first and second analysis frequency bands, or the first and second analysis subbands. In addition, the first transformation order may be (T - r) and the second transformation order may be r. It may be useful to restrict the conversion orders so that T > 1 and 1 ≤ r < T. In these cases, a multi-input, single-output block may output synthesis subband signals at a synthesis frequency. .Согласно еще одной особенности изобретения, система включает набор блоков с множеством входов и одним выходом и/или набор блоков нелинейной обработки, которые генерируют набор парциальных сигналов синтезируемых поддиапазонов, имеющих синтезируемую частоту. Иными словами, может генерироваться набор парциальных сигналов синтезируемых поддиапазонов, охватывающих тот же самый диапазон синтезируемой частоты. В этих случаях предусматривается блок суммирования поддиапазонов, предназначенный для комбинирования набора парциальных сигналов синтезируемых поддиапазонов. Тогда объединенные парциальные сигналы синтезируемых поддиапазонов представляют сигнал синтезируемого поддиапазона. Операция комбинирования может включать суммирование набора парциальных сигналов синтезируемых поддиапазонов. Также она может включать определение среднего сигнала синтезируемого поддиапазона из набора парциальных сигналов синтезируемых поддиапазонов, где парциальные сигналы синтезируемых поддиапазонов могут взвешиваться в соответствии с их значимостью для сигнала синтезируемого поддиапазона. Операция комбинирования также может включать выбор из набора одного или некоторых сигналов поддиапазонов, имеющих, например, амплитуду, которая превышает заранее заданное пороговое значение. Следует отметить, что может оказаться полезным, чтобы сигнал синтезируемого поддиапазона умножался на коэффициент усиления. Коэффициенты усиления, в особенности в тех случаях, когда присутствует набор парциальных сигналов синтезируемых поддиапазонов, могут вносить вклад в нормировку сигналов синтезируемых поддиапазонов.According to another aspect of the invention, the system includes a set of multi-input, single-output blocks and/or a set of non-linear processing blocks that generate a set of synthesis subband partial signals having a synthesis frequency. In other words, a set of synthesis subband partials covering the same synthesis frequency band can be generated. In these cases, a subband summation block is provided for combining a set of partial signals of synthesized subbands. The combined partial synthesis subband signals then represent the synthesis subband signal. The combining operation may include summing a set of partial signals of synthesized subbands. It may also include determining an average synthesis subband signal from a set of synthesis subband partials, where the synthesis subband partials may be weighted according to their significance to the synthesis subband signal. The combining operation may also include selecting from a set of one or more subband signals having, for example, an amplitude that exceeds a predetermined threshold. It should be noted that it may be useful for the synthesis subband signal to be multiplied by the gain. Gain factors, especially when a set of partial synthesis subband signals are present, can contribute to the normalization of the synthesis subband signals.
Согласно еще одной особенности изобретения, блок нелинейной обработки также включает блок прямой обработки, предназначенный для генерирования дополнительного сигнала синтезируемого поддиапазона из третьего сигнала из набора сигналов анализируемых поддиапазонов. Указанный блок прямой обработки сигналов может реализовывать способы прямого преобразования, описанные, например, в документе WO 98/57436. Если система включает дополнительный блок прямой обработки, тогда может появиться необходимость в блоке суммирования поддиапазонов, предназначенном для комбинирования соответствующих сигналов синтезируемых поддиапазонов. Соответствующие сигналы синтезируемых поддиапазонов, как правило, представляют собой сигналы поддиапазонов, охватывающие один и тот же частотный диапазон и/или проявляющие одну и ту же синтезируемую частоту. Блок суммирования поддиапазонов может выполнять комбинирование в соответствии с описанными выше особенностями. Также он может игнорировать определенные сигналы синтезируемых поддиапазонов, в особенности сигналы, генерируемые блоками с множеством входов и одним выходом в тех случаях, когда минимальное значение амплитуды одного или нескольких сигналов анализируемых поддиапазонов, например, от скрещивающихся членов, вносящих вклад в сигнал синтезируемого поддиапазона, меньше заранее заданной доли амплитуды сигнала. Сигнал может представлять собой низкочастотную составляющую сигнала или отдельный сигнал анализируемого поддиапазона. Этот сигнал также может представлять собой отдельный сигнал синтезируемого поддиапазона. Иными словами, если энергия или амплитуда сигналов анализируемых поддиапазонов, используемых для генерирования сигнала синтезируемого поддиапазона, слишком мала, тогда этот сигнал синтезируемого диапазона может не использоваться для генерирования высокочастотной составляющей сигнала. Энергия, или амплитуда, может определяться для каждой дискретной составляющей или для набора дискретных составляющих сигналов анализируемых поддиапазонов, например, путем определения среднего по времени или среднего скользящего окна по ряду смежных дискретных значений.According to another aspect of the invention, the non-linear processing block also includes a direct processing block for generating an additional synthesis subband signal from a third signal from the set of analyzed subband signals. Said direct signal processing unit may implement the direct conversion methods described, for example, in WO 98/57436. If the system includes an additional direct processing unit, then it may be necessary to have a subband summation unit for combining the corresponding synthesis subband signals. The respective synthesis subband signals are typically subband signals spanning the same frequency range and/or exhibiting the same synthesis frequency. The subband adder may perform combining in accordance with the features described above. It may also ignore certain synthesis subband signals, especially those generated by multiple-input, single-output blocks, in cases where the minimum amplitude value of one or more of the analyzed subband signals, such as from crossover terms contributing to the synthesis subband signal, is less than a predetermined fraction of the signal amplitude. The signal may be a low frequency component of the signal or a separate signal of the analyzed subband. This signal may also be a separate synthesis subband signal. In other words, if the energy or amplitude of the analyzed subband signals used to generate the synthesis subband signal is too low, then that synthesis band signal may not be used to generate the high frequency component of the signal. The energy, or amplitude, can be determined for each discrete component or for a set of discrete components of the analyzed subband signals, for example, by determining a time average or an average sliding window over a number of adjacent samples.
Блок прямой обработки может включать блок третьего порядка преобразования T' с одним входом и одним выходом, генерирующий сигнал синтезируемого поддиапазона из третьего сигнала анализируемого поддиапазона, проявляющего третью анализируемую частоту, где третий сигнал анализируемого поддиапазона имеет модифицированную фазу, или его фаза умножена на третий порядок преобразования T', и где T' больше единицы. Тогда синтезируемая частота соответствует третьей анализируемой частоте, умноженной на третий порядок преобразования. Следует отметить, что этот третий порядок преобразования T', предпочтительно, равен системному порядку преобразования, представленному ниже.The direct processing block may include a third-order transform T' with one input and one output, generating a synthesis subband signal from a third analysis subband signal exhibiting a third analysis frequency, where the third analysis subband signal has a modified phase, or its phase is multiplied by a third order of transformation T', and where T' is greater than one. Then the synthesized frequency corresponds to the third analyzed frequency, multiplied by the third order of the transformation. It should be noted that this third transformation order T' is preferably equal to the system transformation order shown below.
Согласно еще одной особенности изобретения, блок анализирующих фильтров содержит N поддиапазонов с, в значительной мере, постоянным расстоянием между поддиапазонами Δω. Как указывалось выше, расстояние между поддиапазонами Δω может быть связано с основной частотой сигнала. Анализируемый поддиапазон связан с индексом анализируемого поддиапазона n, где n∈(1,…,N). Иными словами, анализируемые поддиапазоны блока анализирующих фильтров могут быть идентифицированы по индексу поддиапазона n. Сходным образом, сигналы анализируемых поддиапазонов, включающие частоты из частотного диапазона соответствующего анализируемого поддиапазона, могут быть идентифицированы по индексу поддиапазона n.According to another aspect of the invention, the analysis filter bank comprises N subbands with a substantially constant subband spacing Δω. As mentioned above, the distance between the subbands Δω can be related to the fundamental frequency of the signal. The analyzed subrange is associated with the analyzed subrange index n, where n∈(1,…,N). In other words, the analyzed subbands of the analysis filter bank can be identified by the subband index n. Similarly, analysis subband signals, including frequencies from the frequency range of the corresponding analysis subband, can be identified by subband index n.
Блок синтезирующих фильтров на стороне синтеза содержит синтезируемый поддиапазон, который также связан с индексом синтезируемого поддиапазона n. Индекс синтезируемого поддиапазона также идентифицирует сигнал синтезируемого поддиапазона, который включает частоты из диапазона синтезируемых частот синтезируемого поддиапазона с индексом n. Если система имеет системный порядок преобразования, также называемый общим порядком преобразования Т, то синтезируемые поддиапазоны, как правило, обладают, в значительной мере, постоянным расстоянием между поддиапазонами Δω⋅T, т.е. расстояние между поддиапазонами для синтезируемых поддиапазонов в Т раз больше расстояния между поддиапазонами для анализируемых поддиапазонов. В этих случаях синтезируемый поддиапазон и анализируемый поддиапазон с индексом n содержат частотные интервалы, которые соотносятся друг с другом посредством множителя или системного порядка преобразования Т. Например, если частотный диапазон для анализируемого поддиапазона с индексом n равен [(n-1)⋅ω, n⋅ω], то частотный диапазон для синтезируемого поддиапазона с индексом n равен [T⋅(n-1)⋅ω,T⋅n⋅ω].The synthesis filter bank on the synthesis side contains a synthesis subband that is also associated with a synthesis subband index n. The synthesis subband index also identifies a synthesis subband signal that includes frequencies from the synthesis frequency range of the synthesis subband with index n. If the system has a system transform order, also called the overall transform order T, then the synthesized subbands typically have a largely constant distance between subbands Δω⋅T, i.e. the distance between subbands for synthesized subbands is T times the distance between subbands for analyzed subbands. In these cases, the synthesized subband and the analyzed subband with index n contain frequency intervals that are related to each other by a multiplier or system transformation order T. For example, if the frequency range for the analyzed subband with index n is [(n-1)⋅ω, n ⋅ω], then the frequency range for the synthesized subband with index n is [T⋅(n-1)⋅ω,T⋅n⋅ω].
Если сигнал синтезируемого поддиапазона связан с синтезируемым поддиапазоном с индексом n, то еще одна особенность изобретения заключается в том, что этот сигнал синтезируемого поддиапазона с индексом n генерируется в блоке со множеством входов и одним выходом из первого и второго сигналов анализируемых поддиапазонов. Первый сигнал анализируемого поддиапазона связан с анализируемым поддиапазоном с индексом n-p1, второй сигнал анализируемого поддиапазона связан с анализируемым поддиапазоном с индексом n+p2.If a synthesis subband signal is associated with a synthesis subband with index n, then another feature of the invention is that this synthesis subband signal with index n is generated in a block with multiple inputs and one output from the first and second analyzed subband signals. The first signal of the analyzed subband is associated with the analyzed subband with index np 1 , the second signal of the analyzed subband is associated with the analyzed subband with index n+p 2 .
Ниже описано несколько способов выбора пары смещений индексов (р1, р2). Выбор может выполняться т.н. блоком выбора индексов. Как правило, оптимальная пара индексов выбирается с целью генерирования сигнала синтезируемого поддиапазона с заранее определенной синтезируемой частотой. В первом способе смещения индексов p1 и p2 выбираются из ограниченного перечня пар (р1, р2), хранящегося в блоке хранения индексов. Пара (р1, р2) может быть выбрана из этого ограниченного перечня пар смещений индексов так, чтобы максимизировать минимальное значение из набора, включающего амплитуду первого анализируемого поддиапазона и амплитуду второго анализируемого поддиапазона. Иными словами, для каждой возможной пары смещений индексов p1 и p2 может быть определена амплитуда соответствующих сигналов анализируемых поддиапазонов. В случае комплексных сигналов анализируемых поддиапазонов амплитуда соответствует абсолютному значению. Амплитуда может быть определена для каждого дискретного значения или для набора дискретных значений сигнала анализируемого поддиапазона, например, путем определения среднего по времени или среднего скользящего окна по ряду смежных дискретных значений. На выходе получаются первая и вторая амплитуды, соответственно, для первого и второго сигналов анализируемых поддиапазонов. Рассматриваются минимальные значения первой и второй амплитуд, и пара смещений индексов (р1, р2) выбирается для того значения, где минимальное значение амплитуды является наибольшим.Several methods for selecting a pair of index offsets (p 1 , p 2 ) are described below. The choice can be made by the so-called. index selection block. Typically, an optimal index pair is selected to generate a synthesis subband signal at a predetermined synthesis frequency. In the first method, index offsets p 1 and p 2 are selected from a limited list of pairs (p 1 , p 2 ) stored in the index storage unit. The pair (p 1 , p 2 ) may be selected from this limited list of index offset pairs so as to maximize the minimum value from the set of the first analysis subband amplitude and the second analysis subband amplitude. In other words, for each possible pair of index offsets p 1 and p 2 the amplitude of the corresponding signals of the analyzed subbands can be determined. In the case of complex signals of the analyzed subbands, the amplitude corresponds to the absolute value. The amplitude can be determined for each sample or for a set of samples of the analyzed subband signal, for example, by determining a time average or an average sliding window over a number of adjacent samples. The output is the first and second amplitudes, respectively, for the first and second signals of the analyzed subbands. The minimum values of the first and second amplitudes are considered, and a pair of index offsets (p 1 , p 2 ) is selected for the value where the minimum amplitude value is the largest.
Во втором способе смещения индексов р1 и р2 выбираются из ограниченного перечня пар (р1, р2), где ограниченный перечень определяется по формулам p1=r⋅I и p2=(T-r)⋅I. В этих формулах I ― положительное целое число, принимающее значения от 1 до 10. Данный способ особенно полезен в тех ситуациях, когда первый порядок преобразования, используемый для преобразования первого анализируемого поддиапазона (n-p1) равен (T-r), а второй порядок преобразования, используемый для преобразования второго анализируемого поддиапазона (n+p2), равен r. Предполагая, что системный порядок преобразования является фиксированным, параметры I и r могут выбираться так, чтобы максимизировать минимальное значение набора, включающего амплитуду сигнала первого анализируемого поддиапазона и амплитуду сигнала второго анализируемого поддиапазона. Иными словами, параметры I и r могут выбираться при помощи вышеописанного подхода (max-min)-оптимизации.In the second offset method, indices p 1 and p 2 are selected from a limited list of pairs (p 1 , p 2 ), where the limited list is determined by the formulas p 1 =r⋅I and p 2 =(Tr)⋅I. In these formulas, I is a positive integer that takes values from 1 to 10. This method is especially useful in situations where the first order of transformation used to transform the first analyzed subrange (np 1 ) is equal to (Tr), and the second order of transformation used for the transformation of the second analyzed subrange (n+p 2 ), is equal to r. Assuming the system transform order is fixed, the parameters I and r may be chosen to maximize the minimum value of the set comprising the first analysis subband signal amplitude and the second analysis subband signal amplitude. In other words, the parameters I and r can be chosen using the (max-min)-optimization approach described above.
В следующем способе выбор первого и второго сигналов анализируемых поддиапазонов может основываться на характеристиках основного сигнала. В особенности в том случае, если сигнал включает основную частоту Ω, т.е. если сигнал является периодическим и имеет характер последовательности импульсов, может оказаться полезным выбирать смещения индексов р1 и р2, принимая во внимание характеристики указанного сигнала. Основная частота Ω может определяться из низкочастотной составляющей сигнала или из оригинального сигнала, включающего обе, низкочастотную и высокочастотную составляющие. В первом случае, основная частота Ω может определяться в декодере сигнала с использованием высокочастотной реконструкции, в то время как во втором случае основная частота Ω, как правило, может определяться в кодировщике сигнала и затем передаваться в декодер сигнала. Если используется блок анализирующих фильтров с расстоянием между поддиапазонами Δω, и если первым порядком преобразования, используемым для преобразования первого анализируемого поддиапазона (n-p1), является(T-r), а вторым порядком преобразования, используемым для преобразования второго анализируемого поддиапазона (n+p2), является r, то р1 и р2 могут быть выбраны так, чтобы их сумма p1 + p2 приближенно равнялась частному Ω/Δω, а их частное p1/p2 приближенно равнялось r/(T-r). В частном случае p1 и p2 выбираются, так чтобы частное p1/p2 было равно r/(T-r).In the following method, the selection of the first and second signals of the analyzed subbands may be based on the characteristics of the main signal. Especially if the signal includes the fundamental frequency Ω, i.e. if the signal is periodic and has the nature of a pulse train, it may be useful to choose the offset indexes p 1 and p 2 , taking into account the characteristics of the specified signal. The fundamental frequency Ω can be determined from the low-frequency component of the signal, or from the original signal, which includes both the low-frequency and high-frequency components. In the first case, the fundamental frequency Ω may be determined in the signal decoder using high frequency reconstruction, while in the second case the fundamental frequency Ω may generally be determined in the signal encoder and then transmitted to the signal decoder. If an analysis filter bank with subband spacing Δω is used, and if the first transform order used to transform the first analysis subband (np 1 ) is (Tr) and the second transform order used to transform the second analysis subband (n+p 2 ) , is r, then p 1 and p 2 can be chosen so that their sum p 1 + p 2 is approximately equal to the quotient Ω/Δω, and their quotient p 1 /p 2 is approximately equal to r/(Tr). In the particular case, p 1 and p 2 are chosen so that the quotient p 1 /p 2 is equal to r/(Tr).
Согласно еще одной особенности изобретения, система для генерирования высокочастотной составляющей сигнала также включает окно анализа, которое выделяет заранее определенный временной интервал низкочастотной составляющей около заранее определенного момента времени k. Система также может включать окно синтеза, которое выделяет заранее определенный интервал времени высокочастотной составляющей около заранее определенного момента времени k. Эти окна особенно полезны для сигналов с частотными компонентами, которые изменяются во времени. Они позволяют анализировать мгновенный частотный состав сигнала. В сочетании с блоками фильтров, типичный пример такого частотного анализа с временной зависимостью представляет кратковременное преобразование Фурье (STFT). Следует отметить, что часто окно анализа представляет собой версию окна синтеза с разбросом по времени. Для системы с системным порядком преобразования Т окно анализа во временной области может являться версией окна синтеза во временной области с разбросом по времени с коэффициентом расширения Т. According to another feature of the invention, the system for generating the high frequency component of the signal also includes an analysis window that highlights a predetermined time interval of the low frequency component around a predetermined time k. The system may also include a synthesis window that highlights a predetermined time interval of the high frequency component around a predetermined time k. These windows are especially useful for signals with frequency components that change over time. They allow you to analyze the instantaneous frequency content of the signal. In combination with filter banks, a typical example of such time dependent frequency analysis is the short time Fourier transform (STFT). It should be noted that often the analysis window is a time-scattered version of the synthesis window. For a system with a system transform order T, the time-domain analysis window may be a time-spread version of the time-domain synthesis window with a spreading factor T.
Согласно еще одному варианту осуществления изобретения описывается система для декодирования сигнала. Система принимает кодированную версию низкочастотной составляющей сигнала и включает блок преобразования, соответствующий системе, которая описана выше, и предназначенный для генерирования высокочастотной составляющей сигнала из низкочастотной составляющей сигнала. Как правило, подобные системы декодирования также включают базовый декодер, предназначенный для декодирования низкочастотной составляющей сигнала. Система декодирования также может включать повышающий дискретизатор, предназначенный для выполнения повышающей дискретизации низкочастотной составляющей, чтобы получить на выходе низкочастотную составляющую с повышенной дискретизацией. Это может потребоваться в случае, когда низкочастотная составляющая сигнала была подвергнута понижающей дискретизации в кодировщике, и использует тот факт, что низкочастотная составляющая, в сравнении с оригинальным сигналом, охватывает только диапазон пониженных частот. Кроме того, система декодирования может включать блок ввода, который предназначен для приема кодированного сигнала, включающего низкочастотную составляющую, и блок вывода, предназначенный для создания декодированного сигнала, включающего низкочастотную и генерированную высокочастотную составляющие.According to another embodiment of the invention, a system for decoding a signal is described. The system receives an encoded version of the low frequency signal component and includes a conversion unit corresponding to the system described above for generating the high frequency signal component from the low frequency signal component. Typically, such decoding systems also include a basic decoder for decoding the low frequency component of the signal. The decoding system may also include an upsampler for upsampling the low frequency component to output an upsampled low frequency component. This may be required when the low frequency component of the signal has been downsampled in the encoder and takes advantage of the fact that the low frequency component, compared to the original signal, covers only the reduced frequency range. In addition, the decoding system may include an input section that is for receiving an encoded signal including a low frequency component and an output unit for generating a decoded signal including a low frequency component and a generated high frequency component.
Система декодирования также может включать регулятор огибающей, предназначенный для придания формы высокочастотной составляющей. Поскольку высокие частоты сигнала могут быть регенерированы из низкочастотного диапазона сигнала с использованием систем и способов высокочастотной реконструкции, описанных в настоящем документе, может оказаться полезным извлечение из оригинального сигнала информации, относящейся к огибающей спектра его высокочастотной составляющей. Информация об огибающей может затем передаваться в декодер с целью генерирования высокочастотной составляющей, являющейся хорошим приближением огибающей спектра высокочастотной составляющей оригинального сигнала. Эта операция, как правило, выполняется в регуляторе огибающей системы декодирования. Для приема информации, относящейся к огибающей высокочастотной составляющей сигнала, система декодирования может включать блок приема данных об огибающей. Регенерированная высокочастотная составляющая и декодированная и, возможно, подвергнутая повышающей дискретизации низкочастотная составляющая могут затем суммироваться в блоке суммирования составляющих, определяющем декодированный сигнал.The decoding system may also include an envelope control for shaping the high frequency component. Since the high frequencies of a signal can be regenerated from the low frequency range of the signal using the high frequency reconstruction systems and methods described herein, it may be useful to extract from the original signal information relating to the spectral envelope of its high frequency component. The envelope information may then be passed to a decoder to generate a high frequency component that is a good approximation of the spectral envelope of the original signal's high frequency component. This operation is typically performed in the envelope control of the decoding system. To receive information related to the envelope of the high frequency component of the signal, the decoding system may include an envelope data receiving unit. The regenerated high frequency component and the decoded and optionally upsampled low frequency component may then be summed in a component adder determining a decoded signal.
Как описано выше, система для генерирования высокочастотной составляющей может использовать информацию, относящуюся к сигналам анализируемых поддиапазонов, которые подвергаются преобразованию и комбинированию с целью генерирования индивидуального сигнала синтезируемого поддиапазона. Для этого система декодирования может дополнительно включать блок приема данных о выборе поддиапазона, предназначенный для приема информации, которая позволяет осуществлять выбор первого и второго сигналов анализируемых поддиапазонов, из которых будет генерироваться сигнал синтезируемого поддиапазона. Эта информация может относиться к определенным характеристикам кодированного сигнала, например, информация может быть связана с основной частотой Ω сигнала. Информация также может быть непосредственно связанной с анализируемыми поддиапазонами, которые нужно выбрать. Например, информация может включать перечень возможных пар первых и вторых сигналов анализируемых поддиапазонов или перечень пар (p1, p2) возможных смещений индексов.As described above, the system for generating the high frequency component may use information related to the analyzed subband signals, which are transformed and combined to generate an individual synthesis subband signal. To this end, the decoding system may further include a subband selection data receiving unit for receiving information that allows selection of the first and second analysis subband signals from which the synthesis subband signal will be generated. This information may relate to certain characteristics of the encoded signal, for example, the information may be related to the fundamental frequency Ω of the signal. The information may also be directly related to the analyzed subranges to be selected. For example, the information may include a list of possible pairs of first and second analyzed subband signals, or a list of pairs (p 1 , p 2 ) of possible index offsets.
Согласно еще одной особенности изобретения описывается кодированный сигнал. Кодированный сигнал включает информацию, относящуюся к низкочастотной составляющей кодированного сигнала, где низкочастотная составляющая включает набор сигналов анализируемых поддиапазонов. Кроме того, кодированный сигнал включает информацию, относящуюся к тем двум сигналам анализируемых поддиапазонов, которые должны быть выбраны для генерирования высокочастотной составляющей декодированного сигнала путем преобразования двух выбранных сигналов анализируемых поддиапазонов. Иными словами, кодированный сигнал включает, возможно, кодированную версию низкочастотной составляющей сигнала. Кроме того, он предоставляет информацию, такую как основная частота Ω сигнала или перечень возможных пар смещений индексов (p1, p2), которая позволяет декодеру генерировать высокочастотную составляющую сигнала на основе способа гармонического преобразования, усовершенствованного перекрестным произведением, которое описано в настоящем документе.According to another aspect of the invention, an encoded signal is described. The encoded signal includes information related to the low frequency component of the encoded signal, where the low frequency component includes a set of analyzed subband signals. In addition, the encoded signal includes information related to those two analysis subband signals to be selected to generate the high frequency component of the decoded signal by converting the two selected analysis subband signals. In other words, the encoded signal includes possibly an encoded version of the low frequency component of the signal. In addition, it provides information such as the fundamental frequency Ω of the signal or a list of possible pairs of index offsets (p 1 , p 2 ) that allows the decoder to generate the high frequency component of the signal based on the cross product enhanced harmonic transformation method described herein.
Согласно еще одной особенности изобретения описана система для кодирования сигнала. Эта система кодирования включает блок разделения, предназначенный для разделения сигнала на низкочастотную составляющую и высокочастотную составляющую, и базовый кодировщик, предназначенный для кодирования низкочастотной составляющей. Он также включает блок определения частоты, предназначенный для определения основной частоты Ω сигнала, и кодировщик параметров, предназначенный для кодирования основной частоты Ω, где основная частота Ω используется в декодере для регенерирования высокочастотной составляющей сигнала. Система также может включать блок определения огибающей, предназначенный для определения огибающей спектра высокочастотной составляющей, и кодировщик огибающей, предназначенный для кодирования огибающей спектра. Иными словами, система кодирования удаляет высокочастотную составляющую оригинального сигнала и кодирует низкочастотную составляющую при помощи базового кодировщика, например, кодировщика AAC или Dolby D. Кроме того, система кодирования анализирует высокочастотную составляющую оригинального сигнала и определяет набор информации, которая используется в декодере для регенерирования высокочастотной составляющей декодированного сигнала. Набор информации может включать основную частоту Ω сигнала и/или огибающую спектра высокочастотной составляющей.According to another aspect of the invention, a system for encoding a signal is described. This coding system includes a splitter for separating a signal into a low frequency component and a high frequency component, and a basic encoder for encoding a low frequency component. It also includes a frequency determination unit for determining the fundamental frequency Ω of the signal, and a parameter encoder for encoding the fundamental frequency Ω, where the fundamental frequency Ω is used in the decoder to regenerate the high frequency component of the signal. The system may also include an envelope determiner for determining the spectrum envelope of the high frequency component and an envelope encoder for encoding the spectrum envelope. In other words, the encoding system removes the high frequency content of the original signal and encodes the low frequency content using a basic encoder such as an AAC or Dolby D encoder. In addition, the encoding system analyzes the high frequency content of the original signal and determines a set of information that is used in the decoder to regenerate the high frequency content. decoded signal. The set of information may include the fundamental frequency Ω of the signal and/or the envelope of the spectrum of the high frequency component.
Система кодирования также может включать блок анализирующих фильтров, создающий набор сигналов анализируемых поддиапазонов низкочастотной составляющей сигнала. Кроме того, она может включать блок определения пары поддиапазонов, предназначенный для определения первого и второго сигналов поддиапазонов для генерирования высокочастотной составляющей сигнала, и кодировщик индексов, предназначенный для кодирования порядковых номеров, представляющих определенные первый и второй сигналы поддиапазонов. Иными словами, система кодирования может использовать способ высокочастотной реконструкции и систему, описанные в настоящем документе, для определения анализируемых поддиапазонов, из которых могут генерироваться высокочастотные поддиапазоны и, в конечном счете, высокочастотная составляющая сигнала. Информация об этих поддиапазонах, например ограниченный перечень пар смещений индексов, может затем кодироваться и передаваться в декодер.The coding system may also include an analysis filter bank that generates a signal set of analyzed subbands of the low frequency component of the signal. In addition, it may include a subband pair determiner for determining the first and second subband signals to generate a high frequency component of the signal, and an index encoder for encoding sequence numbers representing the determined first and second subband signals. In other words, the coding system may use the high frequency reconstruction method and system described herein to determine analysis subbands from which high frequency subbands and ultimately the high frequency signal component can be generated. Information about these subbands, such as a limited list of index offset pairs, may then be encoded and transmitted to the decoder.
Как подчеркивалось выше, изобретение также охватывает способы генерирования высокочастотной составляющей сигнала, а также способы декодирования и кодирования сигналов. Особенности, описанные выше в контексте систем, равным образом применимы к соответствующим способам. Ниже описываются некоторые особенности способов согласно изобретению. Аналогично эти особенности также применимы к системам, описанным в настоящем документе.As emphasized above, the invention also covers methods for generating a high frequency component of a signal, as well as methods for decoding and encoding signals. The features described above in the context of systems are equally applicable to the respective methods. Some features of the methods according to the invention are described below. Similarly, these features also apply to the systems described in this document.
Согласно еще одной особенности настоящего изобретения описан способ выполнения высокочастотной реконструкции высокочастотной составляющей сигнала из низкочастотной составляющей сигнала. Этот способ включает этап создания первого сигнала поддиапазона низкочастотной составляющей из первого частотного диапазона и второго сигнала поддиапазона низкочастотной составляющей — из второго частотного диапазона. Иными словами, два сигнала поддиапазонов выделяются из низкочастотной составляющей сигнала, первый сигнал поддиапазона охватывает первый частотный диапазон, а второй сигнал поддиапазона охватывает второй частотный диапазон. Предпочтительно, частотные поддиапазоны отличаются. На следующем этапе сигналы первого и второго поддиапазонов преобразуются посредством, соответственно, первого и второго коэффициентов преобразования. Преобразование каждого из сигналов поддиапазонов может выполняться в соответствии с известными способами преобразования сигналов. В случае комплексных сигналов поддиапазонов преобразование может выполняться путем модификации фазы, или умножения фазы на соответствующий коэффициент преобразования или порядок преобразования. На следующем этапе преобразованные первый и второй сигналы поддиапазонов комбинируются, давая на выходе высокочастотную составляющую, которая включает частоты из высокочастотного диапазона.According to another aspect of the present invention, a method is described for performing high frequency reconstruction of a high frequency signal component from a low frequency signal component. This method includes the step of generating a first low frequency component subband signal from a first frequency band and a second low frequency component subband signal from a second frequency band. In other words, two subband signals are extracted from the low frequency component of the signal, the first subband signal spans the first frequency band, and the second subband signal spans the second frequency band. Preferably, the frequency subbands are different. In the next step, the signals of the first and second subbands are transformed by means of the first and second transformation coefficients, respectively. The conversion of each of the subband signals may be performed in accordance with known signal conversion techniques. In the case of complex subband signals, the transform may be performed by modifying the phase, or by multiplying the phase by the appropriate transform factor or transform order. In the next step, the converted first and second subband signals are combined to give the output a high frequency component that includes frequencies from the high frequency range.
Преобразование может выполняться так, чтобы высокочастотный диапазон соответствовал сумме первого частотного диапазона, умноженного на первый коэффициент преобразования, и второго частотного диапазона, умноженного на второй коэффициент преобразования. Кроме того, этап преобразования может включать этапы умножения первого частотного диапазона первого сигнала поддиапазона на первый коэффициент преобразования и умножения второго частотного диапазона второго сигнала поддиапазона на второй коэффициент преобразования. Для упрощения объяснения без ограничения объема изобретения изобретение иллюстрируется преобразованием отдельных частот. Следует, однако, отметить, что преобразование выполняется не только для отдельных частот, но и для целых частотных диапазонов, т.е. для множества частот, заключенных в пределах частотного диапазона. По существу, преобразование частот и преобразование диапазонов частот в данном документе следует понимать как равнозначные. Однако, следует отдавать себе отчет в том, что частотные разрешения для блоков анализирующих и синтезирующих фильтров различны.The transformation may be performed such that the high frequency band corresponds to the sum of the first frequency band multiplied by the first transform factor and the second frequency band multiplied by the second transform factor. In addition, the transform step may include the steps of multiplying the first frequency band of the first subband signal by the first transform factor and multiplying the second frequency band of the second subband signal by the second transform factor. To simplify the explanation without limiting the scope of the invention, the invention is illustrated by converting individual frequencies. However, it should be noted that the conversion is performed not only for individual frequencies, but also for entire frequency ranges, i.e. for a plurality of frequencies contained within a frequency range. As such, frequency conversion and frequency band conversion in this document should be understood as equivalent. However, you should be aware that the frequency resolutions for analysis and synthesis filter banks are different.
В вышеупомянутом способе этап создания может включать фильтрацию низкочастотной составляющей блоком анализирующих фильтров с целью генерирования первого и второго сигналов поддиапазонов. С другой стороны, этап комбинирования может включать перемножение первого и второго преобразованных сигналов поддиапазонов с получением сигнала высокого поддиапазона и ввод сигнала высокого поддиапазона в блок синтезирующих фильтров с целью генерирования высокочастотной составляющей. Другие преобразования сигнала в частотное представление и из частотного представления также возможны и находятся в пределах объема изобретения. Указанные преобразования сигналов включают преобразования Фурье (FFT, DCT), вейвлетные преобразования, квадратурные зеркальные фильтры (QMF) и т.д. Кроме того, эти преобразования также включают оконные функции, предназначенные для выделения уменьшенного временного интервала сигнала, предназначенного для преобразования. Возможные оконные функции включают взвешивающие функции Гаусса, косинусные взвешивающие функции, взвешивающие функции Хэмминга, взвешивающие функции Ханна, прямоугольные оконные функции, взвешивающие функции Барлетта, взвешивающие функции Блэкмана и др. В данном документе термин «блок фильтров» может включать любое из указанных преобразований, возможно, комбинированное с любой из указанных оконных функций.In the above method, the generation step may include filtering the low frequency component with an analysis filter bank to generate the first and second subband signals. On the other hand, the combining step may include multiplying the first and second converted subband signals to obtain a high subband signal, and inputting the high subband signal to a synthesis filter bank to generate a high frequency component. Other signal conversions to and from frequency representation are also possible and are within the scope of the invention. These signal transforms include Fourier transforms (FFT, DCT), wavelet transforms, quadrature mirror filters (QMF), etc. In addition, these transforms also include window functions for extracting a reduced time interval of the signal to be transformed. Possible window functions include Gaussian weighting functions, cosine weighting functions, Hamming weighting functions, Hann weighting functions, rectangular window functions, Barlett weighting functions, Blackman weighting functions, and others. combined with any of the specified window functions.
Согласно другой особенности изобретения описан способ декодирования кодированного сигнала. Кодированный сигнал получается из оригинального сигнала и представляет только часть частотных поддиапазонов оригинального сигнала, расположенных ниже частоты перехода. Способ описывает этапы создания первого и второго поддиапазонов кодированного сигнала. Это может осуществляться путем использования блока анализирующих фильтров. Затем частотные поддиапазоны преобразуются посредством, соответственно, первого коэффициента преобразования и второго коэффициента преобразования. Это может осуществляться путем выполнения модификации фазы, или умножения фазы сигнала в первом частотном поддиапазоне на первый коэффициент преобразования, и путем выполнения модификации фазы, или умножения фазы сигнала во втором частотном поддиапазоне на второй коэффициент преобразования. В конечном итоге, из первого и второго преобразованных частотных поддиапазонов генерируется высокочастотный поддиапазон, который находится выше частоты перехода. Высокочастотный поддиапазон может соответствовать сумме первого частотного поддиапазона, умноженного на первый коэффициент преобразования, и второго частотного поддиапазона, умноженного на второй коэффициент преобразования.According to another aspect of the invention, a method for decoding an encoded signal is described. The encoded signal is derived from the original signal and represents only a portion of the original signal's frequency subbands below the transition frequency. The method describes the steps for creating the first and second subbands of the encoded signal. This can be done by using an analysis filter bank. Then, the frequency subbands are transformed by the first transform coefficient and the second transform coefficient, respectively. This can be done by performing a phase modification, or multiplying the phase of the signal in the first frequency subband by the first transform factor, and by performing a phase modification, or multiplying the phase of the signal in the second frequency subband by the second transform factor. Ultimately, a high frequency subband is generated from the first and second converted frequency subbands, which is above the transition frequency. The high frequency subband may correspond to the sum of the first frequency subband times the first transform factor and the second frequency subband times the second transform factor.
Согласно еще одной особенности изобретения описан способ кодирования сигнала. Этот способ включает этапы фильтрации сигнала для выделения низкой частоты сигнала и кодирования низкочастотной составляющей сигнала. Кроме того, создается набор сигналов анализируемых поддиапазонов низкочастотной составляющей сигнала. Это может осуществляться с использованием блока анализирующих фильтров так, как описано в настоящем документе. Затем определяются первый и второй сигналы поддиапазонов, предназначенные для генерирования высокочастотной составляющей сигнала. Это может осуществляться с использованием способов высокочастотной реконструкции и систем, описанных в настоящем документе. В конечном итоге, информация, представляющая определенные первый и второй сигналы поддиапазонов, кодируется. Указанной информацией могут быть характеристики оригинального сигнала, например основная частота Ω сигнала, или информация, относящаяся к выбранным анализируемым поддиапазонам, например пары смещений индексов (p1,p2).According to another aspect of the invention, a method for encoding a signal is described. This method includes the steps of filtering the signal to isolate the low frequency of the signal and encoding the low frequency component of the signal. In addition, a set of signals of the analyzed subbands of the low-frequency component of the signal is created. This can be done using an analysis filter bank as described herein. Then, the first and second subband signals are determined to generate the high frequency component of the signal. This can be done using the high frequency reconstruction methods and systems described herein. Ultimately, information representing the determined first and second subband signals is encoded. Said information may be characteristics of the original signal, such as the fundamental frequency Ω of the signal, or information relating to selected subbands to be analyzed, such as pairs of index offsets (p 1 ,p 2 ).
Следует отметить, что вышеупомянутые варианты осуществления и особенности изобретения могут произвольно комбинироваться. В частности, следует отметить, что особенности, описанные для системы, так же применимы и к соответствующему способу, охватываемому настоящим изобретением. Кроме того, следует отметить, что раскрытие изобретения также охватывает и другие сочетания пунктов формулы изобретения, а не только те сочетания пунктов формулы изобретения, которые в прямой форме даны обратными ссылками в зависимых пунктах формулы изобретения, т.е. пункты формулы изобретения и их технические особенности могут комбинироваться в любом порядке и любом сочетании.It should be noted that the above embodiments and features of the invention can be arbitrarily combined. In particular, it should be noted that the features described for the system also apply to the corresponding method covered by the present invention. In addition, it should be noted that the disclosure also covers other combinations of claims, and not only those combinations of claims that are expressly given by back-references in dependent claims, i.e. the claims and their technical details may be combined in any order and in any combination.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКОГО МАТЕРИАЛАBRIEF DESCRIPTION OF THE GRAPHIC MATERIAL
Настоящее изобретение далее будет описано при помощи иллюстративных примеров, не ограничивающих объем изобретения. Оно будет описано с отсылкой к сопроводительным иллюстрациям, на которых:The present invention will now be described by way of non-limiting illustrative examples. It will be described with reference to the accompanying illustrations, in which:
фиг. 1 иллюстрирует функционирование декодера звуковых сигналов, усовершенствованного посредством HFR;fig. 1 illustrates the operation of an audio decoder enhanced with HFR;
фиг. 2 иллюстрирует функционирование гармонического преобразователя, использующего несколько порядков;fig. 2 illustrates the operation of a harmonic transducer using multiple orders;
фиг. 3 иллюстрирует функционирование гармонического преобразователя в частотной области (FD);fig. 3 illustrates the operation of a harmonic converter in the frequency domain (FD);
фиг. 4 иллюстрирует функционирование использования обработки скрещивающихся членов согласно изобретению;fig. 4 illustrates the operation of using cross member processing according to the invention;
фиг. 5 иллюстрирует прямую обработку на текущем уровне техники;fig. 5 illustrates direct processing in the current state of the art;
фиг. 6 иллюстрирует нелинейную обработку единичного поддиапазона на текущем уровне техники;fig. 6 illustrates non-linear single subband processing in the current state of the art;
фиг. 7 иллюстрирует составляющие обработки скрещивающихся членов согласно изобретению;fig. 7 illustrates the components of the treatment of cross members according to the invention;
фиг. 8 иллюстрирует функционирование блока обработки скрещивающихся членов;fig. 8 illustrates the operation of the cross member processing unit;
фиг. 9 иллюстрирует нелинейную обработку согласно изобретению, содержащуюся в каждой из систем MISO по фиг. 8;fig. 9 illustrates the non-linear processing according to the invention contained in each of the MISO systems of FIG. eight;
фиг. 10―18 иллюстрируют осуществление изобретения для гармонического преобразования иллюстративных периодических сигналов;fig. 10-18 illustrate an implementation of the invention for harmonic transforming exemplary periodic signals;
фиг. 19 иллюстрирует частотно-временное разрешение кратковременного преобразования Фурье (STFT);fig. 19 illustrates the time-frequency resolution of the short-time Fourier transform (STFT);
фиг. 20 иллюстрирует иллюстративную временную прогрессию оконной функции и ее Фурье-преобразования, используемые на стороне синтеза;fig. 20 illustrates an exemplary window function time progression and its Fourier transform used on the synthesis side;
фиг. 21 иллюстрирует STFT синусоидального входного сигнала;fig. 21 illustrates the STFT of a sinusoidal input signal;
фиг. 22 иллюстрирует оконную функцию и ее Фурье-преобразование по фиг. 20, используемые на стороне анализа;fig. 22 illustrates the window function and its Fourier transform of FIG. 20 used on the analysis side;
фиг. 23 и 24 иллюстрируют определение надлежащих поддиапазонов блока анализирующих фильтров, предназначенных для усовершенствования поддиапазона диапазона синтезирующего фильтра посредством скрещивающихся членов;fig. 23 and 24 illustrate the determination of appropriate analysis filterbank subbands for improving the synthesis filter band subband by crossover terms;
фиг. 25, 26 и 27 иллюстрируют экспериментальные результаты cпособа гармонического преобразования прямых членов и скрещивающихся членов;fig. 25, 26 and 27 illustrate the experimental results of the method of harmonic transformation of direct terms and crossing terms;
фиг. 28 и 29 иллюстрируют варианты осуществления, соответственно, кодировщика и декодера с использованием схем усовершенствованного гармонического преобразования, описанных в настоящем документе;fig. 28 and 29 illustrate encoder and decoder embodiments, respectively, using the enhanced harmonic transform circuits described herein;
фиг. 30 иллюстрирует вариант осуществления блока преобразования, показанного на фиг. 28 и 29.fig. 30 illustrates an embodiment of the transform block shown in FIG. 28 and 29.
ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯDESCRIPTION OF THE PREFERRED EMBODIMENTS
Описываемые ниже варианты осуществления изобретения являются лишь иллюстрациями принципов настоящего изобретения в отношении так называемого гармонического преобразования, усовершенствованного перекрестным произведением. Следует понимать, что модификации и изменения описанных здесь компоновок и деталей будут понятны специалистам в данной области. Поэтому имеется намерение ограничиться только объемом предстоящей формулы изобретения, а не конкретными деталями, представленными здесь с целью описания и разъяснения вариантов осуществления изобретения.The embodiments of the invention described below are merely illustrative of the principles of the present invention with respect to the so-called cross product enhanced harmonic transformation. It should be understood that modifications and changes to the arrangements and details described herein will be apparent to those skilled in the art. Therefore, it is intended to be limited only by the scope of the following claims, and not by the specific details presented here for the purpose of describing and explaining embodiments of the invention.
Фиг. 1 иллюстрирует функционирование декодера звуковых сигналов, усовершенствованного HFR. Базовый декодер звуковых сигналов 101 выводит звуковой сигнал с низкочастотной полосой пропускания, который подается в повышающий дискретизатор 104, который может требоваться для получения вклада в конечный выходной звуковой сигнал с требуемой полной частотой дискретизации. Повышающая дискретизация требуется для систем с двумя частотами дискретизации, где базовый аудиокодек с ограниченным диапазоном функционирует на половине внешней частоты дискретизации звукового сигнала, в то время как подсистема HFR обрабатывается на полной частоте дискретизации. Соответственно, в системе с одной частотой дискретизации повышающий дискретизатор 104 опускается. Выходной сигнал с низкочастотной полосой пропускания из 101 также направляется к преобразователю, или блоку преобразования 102, который выводит преобразованный сигнал, т.е. сигнал, включающий требуемый высокочастотный диапазон. Форма преобразованного сигнала может корректироваться по времени и частоте регулятором огибающей 103. Конечный выходной звуковой сигнал представляет собой сумму базового сигнала с низкочастотной полосой пропускания и преобразованного сигнала со скорректированной огибающей.Fig. 1 illustrates the operation of an HFR-enhanced audio decoder. The
Фиг. 2 иллюстрирует функционирование гармонического преобразователя 201, который соответствует преобразователю 102 по фиг. 1, включающему несколько преобразователей с различным порядком преобразования Т. Сигнал, который подвергается преобразованию, проходит к блоку отдельных преобразователей 201-2, 201-3,…,201-Tmax, имеющих порядки преобразования Т = 2, 3,…, Tmax cоответственно. Как правило, порядок преобразования Tmax = 3 является достаточным для большинства приложений, связанных с кодированием звуковых сигналов. Вклады от различных преобразователей 201-2, 201-3,…,201-Tmax суммируются в 202, давая на выходе комбинированный выходной сигнал преобразователя. В первом варианте осуществления указанная операция суммирования может включать сложение отдельных вкладов. В другом варианте осуществления вклады взвешиваются с различными весами так, чтобы уменьшить влияние добавления нескольких вкладов в определенные частоты. Например, вклады третьего порядка могут добавляться с меньшим коэффициентом усиления, чем вклады второго порядка. Наконец, блок 202 суммирования может добавлять вклады селективно в зависимости от выходной частоты. Например, преобразование первого порядка может использоваться для первого, самого низкого целевого частотного диапазона, а преобразование третьего порядка может использоваться для второго, более высокого целевого частотного диапазона.Fig. 2 illustrates the operation of the
Фиг. 3 иллюстрирует функционирование такого гармонического преобразователя в частотной области (FD) как одного из индивидуальных блоков 201, т.е. одного из преобразователей 201-Т порядка преобразования Т. Блок 301 анализирующих фильтров выводит комплексные поддиапазоны, которые подвергаются нелинейной обработке 302, которая модифицирует фазу и/или амплитуду сигнала поддиапазона в соответствии с выбранным порядком преобразования Т. Модифицированные поддиапазоны подаются к блоку 303 синтезирующих фильтров, который выводит преобразованные сигналы во временной области. В случае нескольких параллельных преобразователей с разными порядками преобразования, как показано на фиг. 2, некоторые операции блока фильтров могут быть разделены между различными преобразователями 201-2, 201-3,…,201-Tmax. Разделение операций блока фильтров может осуществляться для анализа или синтеза. В случае совместного синтеза 303, суммирование 202 может выполняться в области поддиапазона, т.е. перед синтезом 303.Fig. 3 illustrates the operation of such a harmonic frequency domain (FD) converter as one of the
Фиг. 4 иллюстрирует функционирование обработки скрещивающихся членов 402 в дополнение к прямой обработке 401. Обработка скрещивающихся членов 402 и прямая обработка 401 выполняются параллельно в блоке нелинейной обработки 302 гармонического преобразователя в частотной области по фиг. 3. Преобразованные выходные сигналы комбинируются, например, складываются, обеспечивая совокупный преобразованный сигнал. Комбинирование преобразованных выходных сигналов может заключаться в суперпозиции преобразованных выходных сигналов. Факультативно селективное добавление скрещивающихся членов может быть реализовано при вычислении коэффициента усиления. Fig. 4 illustrates the operation of
Фиг. 5 более подробно иллюстрирует функционирование блока прямой обработки 401 по фиг. 4. в гармоническом преобразователе в частотной области по фиг. 3. Блоки (SISO) 401-1,..., 401-n,..., 401-N с одним входом и одним выходом отображают каждый анализируемый поддиапазон из исходного диапазона в один синтезируемый поддиапазон в целевом диапазоне. Согласно фиг. 5 анализируемый поддиапазон с индексом n отображается блоком SISO 401-n в синтезируемый поддиапазон с тем же индексом n. Следует отметить, что частотный диапазон поддиапазона с индексом n в блоке синтезирующих фильтров может варьироваться в зависимости от точной версии, или типа, гармонического преобразования. В версии или типе, показанных на фиг. 5, разнос частот анализирующего блока 301 в Т раз меньше, чем разнос частот в синтезирующем блоке 303. Поэтому индекс n в синтезирующем блоке 303 соответствует частоте, которая в Т раз больше, чем частота поддиапазона с тем же индексом n в анализируемом диапазоне 301. Например, анализируемый поддиапазон [(n-1)ω,nω] преобразовывается в синтезируемый поддиапазон [(n-1)Tω,nTω].Fig. 5 illustrates the operation of the
Фиг. 6 иллюстрирует прямую нелинейную обработку единичного поддиапазона, содержащегося в каждом из блоков SISO 401-n. Нелинейная часть блока 601 выполняет умножение фазы комплексного сигнала поддиапазона на коэффициент, равный порядку преобразования Т. Необязательный блок усиления 602 модифицирует амплитуду сигнала поддиапазона с модифицированной фазой. В математическом выражении выходной сигнал блока SISO 401-n может быть записан как функция входного сигнала х системы SISO 401-n и коэффициента усиления g следующим образом:Fig. 6 illustrates direct non-linear processing of a single subband contained in each of the SISO blocks 401-n. The non-linear portion of
y=g⋅vT, где v=x/|x|1-1/T (1)y=g⋅v T , where v=x/|x| 1-1/T (1)
Это выражение также может быть записано какThis expression can also be written as
. .
Иными словами, фаза комплексного сигнала поддиапазона х умножается на порядок преобразования Т, а амплитуда комплексного сигнала поддиапазона х модифицируется посредством коэффициента усиления g.In other words, the phase of the complex subband signal x is multiplied by the transform order T and the amplitude of the complex subband signal x is modified by the gain g .
Фиг. 7 иллюстрирует составляющие обработки скрещивающихся членов 402 для гармонического преобразования порядка Т. Присутствует Т – 1 параллельных блоков обработки перекрестных членов 701-1,..., 701-r,... 701-(T – 1), выходные сигналы которых суммируются в блоке суммирования 702, давая комбинированный выходной сигнал. Как уже указывалось во вводной части, целью является отображение пары синусоид с частотами (ω,ω+Ω) в синусоиду с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ, где переменная r изменяется в пределах от 1 до T – 1. Иными словами, два поддиапазона из блока анализирующих фильтров 301 должны отображаться в один поддиапазон высокочастотного диапазона. Для каждого отдельного значения r и данного порядка преобразования Т этап отображения выполняется в блоке скрещивающихся членов 701-r.Fig. 7 illustrates the processing components of the
Фиг. 8 иллюстрирует функционирование блока обработки скрещивающихся членов 701-r для фиксированного значения r = 1, 2,...,T – 1. Каждый выходной поддиапазон 803 получается в блоке с множеством входов и одним выходом (MISO) 800-n из двух входных поддиапазонов 801 и 802. Для выходного поддиапазона 803 с индексом n два входных сигнала блока MISO 800-n представляют собой поддиапазоны n-p1 801 и n+p2 802, где р1 и р2 — целые положительные смещения индексов, которые зависят от порядка преобразования Т, переменной r и параметра Ω основного тона для усовершенствования посредством перекрестного произведения. Правило нумерации анализируемых и синтезируемых поддиапазонов поддерживается в соответствии с таковым по фиг. 5, т.е. расстояние между частотами анализирующего блока 301 в Т раз меньше, чем расстояние между частотами синтезирующего блока 303, и, соответственно, приведенные выше комментарии, касающиеся изменений коэффициента Т, сохраняют свое значение.Fig. 8 illustrates the operation of the 701- r cross-term processing block for a fixed value of r = 1, 2,..., T – 1. Each
В связи с применением обработки скрещивающихся членов следует рассмотреть следующие замечания. Параметр основного тона Ω не может быть известен с высокой точностью и, конечно, с лучшим частотным разрешением, чем частотное разрешение, получаемое блоком анализирующих фильтров 301. Фактически, в некоторых вариантах осуществления настоящего изобретения лежащий в основе основного тона для усовершенствования посредством перекрестного произведения параметр Ω вообще не вводится в декодер. Вместо этого из перечня возможных кандидатов выбирается избранная пара целочисленных смещений индексов (p1, p2) в соответствии с таким критерием оптимизации, как максимизация выходной амплитуды перекрестного произведения, т.е. максимизация энергии выходного сигнала перекрестного произведения. Например, для заданных значений Т и r может использоваться перечень кандидатов, задаваемый формулой (p1,p2)=(rl, (T-r)l), l ∈ L, где L — перечень положительных целых чисел. Это более подробно показано ниже в контексте формулы (11). Пригодными в качестве кандидатов, в принципе, являются все положительные целые числа. В некоторых случаях информация об основном тоне может помочь идентифицировать, какой из l следует выбрать в качестве надлежащих смещений индексов.In connection with the application of the treatment of crossing terms, the following remarks should be considered. The pitch parameter Ω cannot be known with high accuracy and certainly with a better frequency resolution than the frequency resolution obtained by the
Кроме того, несмотря на то, что пример обработки перекрестного произведения, показанный на фиг. 8, предполагает, что применяемые смещения индексов (p1, p2) одинаковы для определенного диапазона выходных поддиапазонов, например, синтезируемые поддиапазоны (n – 1), n и (n + 1) составляются из анализируемых поддиапазонов, находящихся на фиксированном расстоянии p1+ p2, это требование не является обязательным. В сущности, смещения индексов (p1, p2) могут отличаться для всех без исключения выходных поддиапазонов. Это означает, что для каждого поддиапазона n может выбираться отличающийся от всех остальных параметр Ω основного тона для усовершенствования посредством перекрестного произведения.Also, although the cross product processing example shown in FIG. 8 assumes that the applied index offsets (p 1 , p 2 ) are the same for a given range of output subbands, e.g. synthesized subbands (n – 1), n and (n + 1) are composed of analyzed subbands that are at a fixed distance p 1 + p 2 , this requirement is optional. In essence, index offsets (p 1 , p 2 ) may be different for all output subbands without exception. This means that for each subband n a different pitch parameter Ω can be selected for cross product improvement.
Фиг. 9 иллюстрирует нелинейную обработку, содержащуюся в каждом из блоков MISO 800-n. Операция перемножения 901создает сигнал поддиапазона с фазой, равной взвешенной сумме фаз двух комплексных входных сигналов поддиапазонов, и амплитудой, равной обобщенному среднему значению амплитуд двух дискретных входных значений поддиапазонов. Необязательный блок усиления 902 модифицирует амплитуду дискретных значений поддиапазонов с модифицированной фазой. В математическом описании выходной сигнал y может быть записан как функция входных сигналов блока MISO 800-n u 1 801 и u 1 802 и коэффициента усиления g следующим образом:Fig. 9 illustrates the non-linear processing contained in each of the MISO 800-n blocks. The
, где для m=1, 2 (2) , where for m=1, 2 (2)
Это также можно записать как This can also be written as
, ,
где μ(|u1|,|u2|) — функция генерирования амплитуды. Иными словами, фаза комплексного сигнала поддиапазона u 1 умножается на порядок преобразования T-r, а фаза комплексного сигнала поддиапазона u 2 умножается на порядок преобразования r. Сумма этих двух фаз используется в качестве фазы выходного сигнала y, амплитуда которого получается посредством функции генерирования амплитуды. В сравнении с формулой (2), функция генерирования амплитуды выражается как геометрическое среднее амплитуд, модифицированное коэффициентом усиления g, т.е.
. Если допустить, что коэффициент усиления зависит от входных сигналов, она, несомненно, охватывает все возможные варианты.where μ(|u 1 |,|u 2 |) is the amplitude generation function. In other words, the phase of the complex subband signal u 1 is multiplied by the transform order Tr, and the phase of the complex subband signal u 2 is multiplied by the transform order r . The sum of these two phases is used as the phase of the output signal y , whose amplitude is obtained by the amplitude generation function. Compared to formula (2), the amplitude generation function is expressed as the geometric mean of the amplitudes modified by the gain g , i.e. . Assuming that the gain depends on the input signals, it certainly covers all possible options.Следует отметить, что формула (2) получается в результате лежащей в основе цели ― отображения пары синусоид с частотами (ω,ω+Ω) в синусоиду с частотой Tω+rΩ, которая также может быть записана как (T-r)ω+r(ω+Ω).It should be noted that formula (2) is obtained as a result of the underlying goal - mapping a pair of sinusoids with frequencies (ω,ω+Ω) into a sinusoid with frequency Tω+rΩ, which can also be written as (T-r)ω+r(ω +Ω).
В нижеследующем тексте будет дано математическое описание настоящего изобретения. Для простоты будут рассматриваться непрерывные во времени сигналы. Предполагается, что блок синтезирующих фильтров 303 достигает совершенной реконструкции из блока 301 комплексных модулированных анализирующих фильтров с симметричной оконной функцией вещественных значений, или фильтром-прототипом,
. Блок синтезирующих фильтров в процессе синтеза часто, но не всегда, будет использовать такое же окно. Предполагается, что модуляция относится к равномерно пакетированному типу, при этом шаг по индексу нормируется на единицу, а разнос угловых частот синтезируемых поддиапазонов нормируется на n. Следовательно, целевой сигнал будет достигаться на выходе блока синтезирующих фильтров, если сигналы поддиапазонов на входе блока синтезирующих фильтров задаются сигналами синтезируемых поддиапазонов :In the following text, a mathematical description of the present invention will be given. For simplicity, time-continuous signals will be considered. It is assumed that the
Следует отметить, что формула (3) представляет собой нормированную стационарную математическую модель традиционных операций в обычном блоке анализирующих фильтров для комплексных модулированных поддиапазонов, такую как обрабатываемое методом окна дискретное преобразование Фурье (DFT), также известное как кратковременное преобразование Фурье (STFT). При небольшой модификации в аргументе комплексного показателя экспоненты в формуле (3) получаются стационарные модели для блока комплексных модулированных квадратурных зеркальных фильтров (QMF) и комплексифицированного модифицированного дискретного косинусного преобразования (Modified Discrete Cosine Transform, CMDCT), также называемого обрабатываемым методом окна неравномерным пакетированным DFT. Для случая непрерывного времени индекс поддиапазона n пробегает по всем неотрицательным целым числам. Для дискретных временных аналогов переменная времени t дискретизируется на этапе 1/N, а индекс поддиапазона n ограничивается N, где N — количество поддиапазонов в блоке фильтров, которое равно шагу блока фильтров по индексу дискретного времени. В случае дискретного времени для операции преобразования также требуется отнесенный к N нормировочный множитель, если он не вводится в масштабирование окна.It should be noted that formula (3) is a normalized stationary mathematical model of conventional operations in a conventional analysis filter bank for complex modulated subbands, such as a windowed Discrete Fourier Transform (DFT), also known as a Short Time Fourier Transform (STFT). With a slight modification in the argument of the complex exponential exponent in formula (3), stationary models are obtained for the block of complex modulated quadrature mirror filters (QMF) and the complexified modified discrete cosine transform (Modified Discrete Cosine Transform, CMDCT), also called the non-uniform packetized DFT processed window method. For the case of continuous time, the subrange index n runs over all non-negative integers. For discrete time analogs, the time variable t is sampled in a 1/N step, and the subband index n is limited to N , where N is the number of subbands in the filter bank, which is equal to the filter bank step by the discrete time index. In the case of discrete time, the transformation operation also requires an N-referred normalization factor if it is not introduced in the window scaling.
Для сигнала с вещественным значением существует столько же комплексных выходных дискретных значений поддиапазонов, сколько существует вещественных входных дискретных значений для выбранной модели блока фильтров. Поэтому существует общая двукратная передискретизация (или избыточность). Также могут использоваться блоки фильтров с бóльшим уровнем передискретизации, однако в настоящем описании для ясности объяснения поддерживается небольшая передискретизация.For a real signal, there are as many complex subband output samples as there are real input samples for the selected filter bank model. Therefore, there is a general two-fold oversampling (or redundancy). Higher oversampling filter banks may also be used, however, slight oversampling is supported in the present description for clarity of explanation.
Основные этапы, включаемые в анализ блока модулированных фильтров, соответствующий формуле (3), заключаются в том, что сигнал умножается на окно, центрированное около времени t = k, и результирующий обработанный методом окна сигнал является коррелированным с каждой из комплексных синусоид exp[-inπ(t-k)]. В реализациях с дискретным временем эта корреляция эффективно реализуется посредством быстрого преобразования Фурье. Соответствующие алгоритмические этапы блока синтезирующих фильтров хорошо известны специалистам в данной области, и состоят из модуляции синтеза, обработки синтеза методом окна и операций сложения перекрываний.The main steps involved in the analysis of the modulated filter bank corresponding to formula (3) are that the signal is multiplied by a window centered around time t = k , and the resulting windowed signal is correlated with each of the complex sinusoids exp[- inπ (tk )]. In discrete-time implementations, this correlation is effectively implemented through the fast Fourier transform. The corresponding algorithmic steps of the synthesis filter bank are well known to those skilled in the art, and consist of synthesis modulation, synthesis windowing, and overlap addition operations.
Фиг. 19 иллюстрирует положение во времени и с частотой, соответствующей информации, которую несет дискретное значение поддиапазона yn(k), для выбора значений индекса времени k и индекса поддиапазона n. Например, дискретное значение поддиапазона
представлено темным прямоугольником 1901.Fig. 19 illustrates the position in time and frequency corresponding to the information carried by the sampled subband value y n (k) for selecting the values of the time index k and the subband index n . For example, a discrete subrange value represented by aДля синусоиды s(t)=Acos(ωt+θ)=Re{Cexp(iωt)} сигналы поддиапазонов по формуле (3) для достаточно больших n с хорошим приближением задаются формулой For a sinusoid s(t)=A cos (ωt+θ)=Re{C exp (iωt)}, the subband signals according to formula (3) for sufficiently large n with a good approximation are given by the formula
где «шляпка» обозначает Фурье-преобразование, т.е. ŵ — это Фурье-преобразование оконной функции w.where "hat" denotes the Fourier transform, i.e. ŵ is the Fourier transform of the window function w.
Строго говоря, формула (4) является истинной, если добавить член с -ω вместо ω. Этим членом пренебрегают на основе предположения о том, что частотная характеристика окна затухает достаточно быстро, и что сумма ω и n не стремится к нулю.Strictly speaking, formula (4) is true if we add a term with -ω instead of ω. This term is neglected based on the assumption that the frequency response of the window decays sufficiently quickly and that the sum of ω and n does not tend to zero.
Фиг. 20 изображает типичный вид окна w, 2001 и его Фурье-преобразования ŵ 2002.Fig. 20 shows a typical window w , 2001 and its
Фиг. 21 иллюстрирует анализ единичной синусоиды, соответствующей формуле (4). Поддиапазонами, которые главным образом затрагиваются синусоидой ω, являются поддиапазоны с индексом n, и, таким образом, nπ-ω мал. Для примера по фиг. 21 частота составляет ω=6,25π, что показано горизонтальной штриховой линией 2101. В этом случае три поддиапазона с n = 5, 6, 7, представленные, соответственно, ссылочными позициями 2102, 2103, 2104, содержат существенно ненулевые сигналы поддиапазонов. Затенение этих трех поддиапазонов отражает относительную амплитуду комплексных синусоид внутри каждого из поддиапазонов, полученных по формуле (4). Более темный фон означает бóльшую амплитуду. В конкретном примере это означает, что амплитуда поддиапазона 5, т.е. 2102, меньше в сравнении с амплитудой поддиапазона 7, т.е. 2104, которая, в свою очередь, меньше амплитуды поддиапазона 6, т.е. 2103. Важно отметить, что наличие нескольких ненулевых поддиапазонов может вообще являться необходимым для того, чтобы иметь возможность синтезировать высококачественную синусоиду на выходе блока синтезирующих фильтров, особенно в тех случаях, когда окно имеет вид, аналогичный виду окна 2001 на фиг. 20, с относительно короткой длительностью и значительными боковыми лепестками в частоте.Fig. 21 illustrates the analysis of a single sinusoid corresponding to formula (4). The subbands that are mainly affected by the sinusoid ω are the subbands with index n , and thus nπ-ω is small. For the example in FIG. 21, the frequency is ω=6.25π as shown by the horizontal dashed
Сигналы синтезируемых поддиапазонов yn(k) также могут быть определены в результате блока анализирующих фильтров 301 и нелинейной обработки, т.е. гармонического преобразователя 302, показанного на фиг. 3. На стороне блока анализирующих фильтров сигналы анализируемых поддиапазонов могут быть представлены как функция исходного сигнала z(t). Для преобразования порядка Т к исходному сигналу z(t) прилагается блок комплексных модулированных анализирующих фильтров с окном w T (t)=w(t/T)/T, единичным шагом по индексу и шагом частоты модуляции, который в Т раз меньше, чем шаг частоты на синтезирующем блоке. Фиг. 22 иллюстрирует вид масштабированного окна w T 2201 и его Фурье-преобразования ŵ T 2202. По сравнению с фиг. 20, временное окно 2201 растянуто, а частотное окно 2202 сжато.The synthesis subband signals y n (k) can also be determined as a result of the
Анализ посредством блока модифицированных фильтров в результате дает сигналы анализируемых поддиапазонов x n (k):Analysis by the modified filter bank results in analyzed subband signals x n (k) :
Для синусоиды z(t)=Bcos(ξt+ϕ)=Re{Dexp(iξt)}, как можно убедиться, сигналы поддиапазонов по формуле (5) для достаточно больших n в хорошем приближении задаются формулой:For the sinusoid z(t)=Bcos(ξt+ϕ)=Re{Dexp(iξt)}, as can be seen, the subband signals according to formula (5) for sufficiently large n are given in a good approximation by the formula:
Xn(k)=Dexp(ikξ)ŵ(nπ-Tξ) (6)X n (k)=Dexp(ikξ)ŵ(nπ-Tξ) (6)
Тогда подача этих сигналов поддиапазонов в гармонический преобразователь 302 и применение закона прямого преобразования по формулам (1)—(6) приводит к формуле:Then feeding these subband signals into the
Сигналы синтезируемых поддиапазонов y n (k), задаваемые формулой (4), и сигналы нелинейных поддиапазонов, получаемые посредством гармонического преобразования ỹ n (k) и задаваемые формулой (7), в идеале должны совпадать.Synthesized subband signals y n (k) given by formula (4) and non-linear subband signals obtained by harmonic transformation ỹ n (k) and given by formula (7) should ideally match.
Для нечетных порядков преобразования Т коэффициент в формуле (7), содержащий влияние окна, равен единице, поскольку предполагается, что значение Фурье-преобразование окна является вещественным, а Т – 1 — четное число. Поэтому формула (7) может быть точно совмещена с формулой (4) с ω=Tξ для всех поддиапазонов так, чтобы выходной сигнал блока синтезирующих фильтров с входными сигналами поддиапазонов, соответствующими формуле (7), представлял собой синусоиду с частотой ω=Tξ, амплитудой A=gB и фазой θ=Tϕ, где В и θ определяются по формуле D=B exp(iϕ), которая при подстановке дает
. Таким образом, получается гармоническое преобразование порядка Т исходного синусоидального сигнала z(t).For odd orders of the T transformation, the coefficient in formula (7) containing the window effect is equal to one, since it is assumed that the value of the Fourier transform of the window is real, and T - 1 is an even number. Therefore, formula (7) can be exactly combined with formula (4) with ω=Tξ for all subbands so that the output signal of the synthesis filter bank with the input signals of subbands corresponding to formula (7) is a sinusoid with frequency ω=Tξ , amplitude A=gB and phase θ=Tϕ , where B and θ are determined by the formula D=B exp ( iϕ ), which, when substituted, gives . Thus, a harmonic transformation of the order T of the original sinusoidal signal z(t) is obtained.Для четных Т совпадение более приблизительно, но оно по-прежнему основывается на части частотной характеристики окна ŵ с положительным значением, которое для симметричного окна с вещественными значениями включает наиболее важный главный лепесток. Это означает, что гармоническое преобразование исходного синусоидального сигнала z(t) получено также и для четных значений Т. В частном случае оконной функции Гаусса, ŵ всегда положительно, и, следовательно, для четных и нечетных порядков преобразования отличий в действиях нет.For even T , the match is more approximate, but is still based on the positive portion of the frequency response of the ŵ window, which for a symmetrical real window includes the most important main lobe. This means that the harmonic transformation of the original sinusoidal signal z(t) was also obtained for even values of Т. In the special case of the windowed Gaussian function, ŵ is always positive, and therefore there are no differences in operations for even and odd orders of transformation.
Аналогично формуле (6), анализ синусоиды с частотой ξ+Ω, т.е. исходного синусоидального сигнала z(t)=B’ cos((ξ+Ω)t+ϕ’)=Re{E exp(i(ξ+Ω)t)} представляет собойSimilarly to formula (6), the analysis of a sinusoid with a frequency ξ + Ω, i.e. of the original sinusoidal signal z ( t ) =B' cos ((ξ+Ω) t+ϕ' ) =Re { E exp ( i (ξ+Ω) t )} is
x’n(k)=Eexp(ik(ξ+Ω))ŵ(nπ-T(ξ+Ω)) (8)x' n (k)=Eexp(ik(ξ+Ω))ŵ(nπ-T(ξ+Ω)) (8)
Поэтому подача двух сигналов поддиапазонов, u1=xn-p1(k), который соответствует сигналу 801 по фиг. 8, и u2=x’n+p2(k), который соответствует сигналу 802 по фиг. 8, в обработку скрещивающихся членов 800-n, показанную на фиг. 8, и приложение формулы скрещивающихся членов (2), дает выходной сигнал поддиапазона:Therefore, feeding two subband signals, u 1 =x n-p1 (k), which corresponds to signal 801 of FIG. 8 and u 2 =x' n+p2 (k), which corresponds to signal 802 of FIG. 8 to cross member processing 800-n shown in FIG. 8, and applying the cross-term formula (2), gives the subband output:
ỹn(k)=g exp[ik(Tξ+rΩ)]M(n,ξ) (9)ỹn(k)=g exp[ik(Tξ+rΩ)]M(n,ξ) (9)
гдеwhere
Как видно из формулы (9), эволюция фазы выходного сигнала поддиапазона 803 системы MISO 800-n следует за эволюцией фазы при анализе синусоиды с частотой Tξ+rΩ. Это происходит независимо от выбора смещений индексов p1 и p2. Фактически, если сигнал поддиапазона по формуле (9) подается в канал поддиапазона n, соответствующий Tξ+rΩ, т.е. nπ≈Tξ+rΩ, тогда выходной сигнал будет являться вкладом в генерирование синусоиды с частотой Tξ+rΩ. Однако, преимущественно, необходимо удостовериться, что каждый из вкладов является существенным, и что сложение вкладов происходит благоприятным образом. Эти особенности будут обсуждены ниже.As can be seen from formula (9), the evolution of the phase of the output signal of the
При данном параметре Ω основного тона для усовершенствования посредством перекрестного произведения выбор подходящих смещений индексов p1 и p2 можно сделать так, чтобы комплексная амплитуда M(n,ξ) по формуле (10) приближенно равнялась ŵ(nπ-(Tξ+rΩ)) для некоторого диапазона поддиапазонов n, и в этом случае конечный выходной сигнал будет приближенно равняться синусоиду на частоте Tξ+rΩ. Первое рассмотрение главных лепестков одновременно задает все три значения (n-p1)π-Tξ, (n+p2)π-T(ξ+Ω) и nπ-(Tξ+rΩ) как малые, что приводит к приближенным равенствам:With a given pitch parameter Ω for cross product improvement, the choice of suitable index offsets p 1 and p 2 can be made such that the complex amplitude M(n,ξ) according to formula (10) is approximately equal to ŵ(nπ-(Tξ+rΩ)) for some range of subbands n , in which case the final output will be approximately equal to a sinusoid at the frequency Tξ+rΩ. The first consideration of the main lobes simultaneously sets all three values (np 1 )π-Tξ, (n+p 2 )π-T(ξ+Ω) and nπ-(Tξ+rΩ) as small, which leads to approximate equalities:
Это означает, что при известном параметре
основного тона для усовершенствования посредством перекрестного произведения смещения индексов могут приближенно выражаться формулой (11), что, таким образом, позволяет осуществлять простой выбор анализируемых поддиапазонов. Более доскональный анализ влияния выбора смещений индексов p1 и p2 согласно формуле (11) на амплитуду параметра M(n,ξ) согласно формуле (10) может выполняться в важных специфических случаях оконных функций, таких как оконная функция Гаусса и синусоидальная оконная функция. Нетрудно установить, что требуемая аппроксимация ŵ(nπ-(Tξ+rΩ)) чрезвычайно хороша для нескольких поддиапазонов с nπ≈Tξ+rΩ.This means that for a known parameter the pitch for cross product improvement index offsets can be approximated by formula (11), thus allowing a simple selection of subbands to be analyzed. A more thorough analysis of the influence of the choice of index offsets p 1 and p 2 according to formula (11) on the amplitude of the parameter M(n,ξ) according to formula (10) can be performed in important specific cases of window functions, such as the Gaussian window function and the sinusoidal window function. It is easy to see that the required approximation ŵ(nπ-(Tξ+rΩ)) is extremely good for several subranges with nπ≈Tξ+rΩ.
Следует отметить, что соотношение (11) калибровано для иллюстративной ситуации, в которой Блок 301 анализирующих фильтров имеет разнос угловых частот поддиапазонов π/T. В общем случае результирующая интерпретация формулы (11) состоит в том, что исходная разница между скрещивающимися членами p1 + p2 является целым числом, которое приближенно равно базовой основной частоте Ω, измеренной в единицах расстояния между поддиапазонами в блоке анализирующих фильтров, а пара (p1, p2) выбирается как кратная (r,T – r).It should be noted that relation (11) is calibrated for an exemplary situation in which the
Для определения пары смещений индексов (p1, p2) в декодере могут использоваться следующие режимы:To determine a pair of index offsets (p 1 , p 2 ) in the decoder, the following modes can be used:
1. Значение Ω может быть получено в процессе кодирования и в прямой форме, с достаточной точностью передано в декодер для получения целочисленных значений p1 и p2 посредством подходящей процедуры округления, которая может следовать следующим принципам: 1. The value of Ω can be obtained during the encoding process and in direct form, with sufficient accuracy, passed to the decoder to obtain integer values p 1 and p 2 through a suitable rounding procedure, which can follow the following principles:
сумма p1 + p2 приближенно равна Ω/Δω, где Δω ― разнос угловых частот блока анализирующих фильтров; иthe sum p 1 + p 2 is approximately equal to Ω/Δω, where Δω is the separation of the corner frequencies of the block of analyzing filters; and
частное p1/p2 выбирается так, чтобы оно было приближенно равно r/(T-r).the quotient p 1 /p 2 is chosen so that it is approximately equal to r/(Tr).
2. Для каждого целевого дискретного значения поддиапазона пара смещений индексов (p1, p2) может быть получена в декодере из заранее определенного перечня значений-кандидатов так, чтобы (p1, p2)=(rl,(T-r)l), l∈L, r∈{1,2,…,T-1}, где L ― перечень положительных целых чисел. Выбор может основываться на оптимизации выходных амплитуд скрещивающихся членов, например на максимизации энергии выходных сигналов скрещивающихся членов.2. For each target subband sample value, a pair of index offsets (p 1 , p 2 ) can be obtained at the decoder from a predetermined list of candidate values such that (p 1 , p 2 )=(rl,(Tr)l), l∈L, r∈{1,2,…,T-1}, where L is a list of positive integers. The choice may be based on optimizing the output amplitudes of the cross terms, such as maximizing the energy of the output signals of the cross terms.
3. Для каждого целевого дискретного значения поддиапазона пара смещений индексов (p1, p2) должна быть получена из сокращенного перечня значений-кандидатов путем оптимизации выходной амплитуды скрещивающихся членов, где сокращенный перечень значений-кандидатов получается в процессе кодирования и передается в декодер.3. For each target subrange sample, a pair of index offsets (p 1 , p 2 ) shall be obtained from the reduced list of candidate values by optimizing the output amplitude of the crossed terms, where the reduced list of candidate values is obtained during the encoding process and passed to the decoder.
Следует отметить, что модификация фазы сигналов поддиапазонов u1 и u2 выполняется с взвешиванием, соответственно, (T – r) и r, но расстояние между индексами p1 и p2 выбирается пропорционально, соответственно, r и (T – r). Поэтому поддиапазон, ближайший к синтезируемому поддиапазону n, подвергается наиболее сильной модификации фазы.It should be noted that the modification of the phase of the signals of the subbands u 1 and u 2 is carried out with weighting, respectively, ( T – r ) and r , but the distance between the indices p 1 and p 2 is chosen proportionally to r and ( T – r ), respectively. Therefore, the subband closest to the synthesized subband n undergoes the strongest phase modification.
Преимущественный способ осуществления процедуры оптимизации в описанных выше режимах 2 и 3 может заключаться в рассмотрении (max-min)-оптимизации:An advantageous way of performing the optimization procedure in
и в использовании победившей пары совместно с соответствующим значением r для построения вклада перекрестного произведения в данный индекс целевого поддиапазона n. В ориентированных на поиск режимах декодера 2 и, частично, 3 добавление скрещивающихся членов для различных значений r, предпочтительно, осуществляется независимо, поскольку существует риск добавления содержимого к каждому диапазону по нескольку раз. Если же, с другой стороны, для выбора поддиапазонов используется основная частота Ω, как в режиме 1, или в допустимых пределах находится лишь узкий диапазон расстояний между индексами поддиапазонов, как может быть в случае режима 2, частного случая многократного добавления содержимого в один и тот же диапазон можно избежать.and in using the winning pair in conjunction with the corresponding value of r to construct the cross product contribution to a given target subband index n . In the search-oriented modes of
Кроме того, также следует отметить, что для описанных выше вариантов осуществления схем обработки скрещивающихся членов может оказаться полезной дополнительная модификация декодером коэффициента усиления перекрестного произведения g. Например, она относится к входным сигналам поддиапазонов u 1 и u 2 в блок скрещивающихся произведений MISO, задаваемый формулой (2), и к входному сигналу поддиапазона х в блок преобразования SISO, задаваемый формулой (1). Если все три сигнала должны подаваться к одному и тому же выходному синтезируемому поддиапазону, как показано на фиг. 4, где прямая обработка 401 и обработка перекрестного произведения 402 обеспечивают составляющие одного и того же выходного синтезируемого поддиапазона, может оказаться желательным приравнивание коэффициента усиления перекрестного произведения g нулю, т.е. приравнивание нулю блока усиления 902 по фиг. 9, если In addition, it should also be noted that for the above-described embodiments of the cross-term processing schemes, it may be beneficial for the decoder to further modify the cross-product gain g . For example, it refers to the subband inputs u 1 and u 2 to the MISO cross product block given by formula (2), and to the subband signal input x to the SISO transform block given by formula (1). If all three signals are to be applied to the same output synthesis subband, as shown in FIG. 4, where
min(|u1|,|u2|)<q|x| (13)min(|u 1 |,|u 2 |)<q|x| (13)
для заранее заданного порогового значения q > 1. Иными словами, добавление перекрестного произведения выполняется только в том случае, когда амплитуда прямого члена входного диапазона |x| мала по сравнению с обоими входными членами перекрестного произведения. В этом контексте x представляет собой дискретное значение анализируемого поддиапазона для прямой обработки членов, которая приводит к выходному сигналу того же синтезируемого поддиапазона, что и рассматриваемое перекрестное произведение. Это может представлять собой предосторожность с целью не допустить дополнительного усиления гармонической составляющей, которая уже была доставлена путем прямого преобразования.for a predetermined threshold q > 1. In other words, the addition of the cross product is performed only if the amplitude of the direct term of the input range |x| is small compared to both input terms of the cross product. In this context, x is a sampled value of the parsed subband for direct term processing that results in an output of the same synthesized subband as the cross product in question. This may be a precaution to avoid additional amplification of the harmonic content that has already been delivered by direct conversion.
Ниже способ гармонического преобразования, описанный в настоящем документе, будет описан для иллюстративных спектральных конфигураций с целью иллюстрации улучшений относительно текущего уровня техники. Фиг. 10 иллюстрирует осуществление прямого гармонического преобразования порядка Т = 2. Верхняя диаграмма 1001 описывает парциальные частотные составляющие оригинального сигнала вертикальными стрелками, расположенными на уровнях, кратных основной частоте Ω. Она иллюстрирует исходный сигнал, например, на стороне кодировщика. Диаграмма 1001 сегментирована на левосторонний исходный частотный диапазон с парциальными частотами Ω, 2Ω, 3Ω, 4Ω, 5Ω и правосторонний целевой частотный диапазон с парциальными частотами 6Ω, 7Ω, 8Ω. Исходный частотный диапазон, как правило, кодируется и передается в декодер. С другой стороны, правосторонний целевой частотный диапазон, который включает парциальные частоты 6Ω, 7Ω, 8Ω, превышающие частоту перехода 1005 способа HFR, как правило, в декодер не передается. Целью способа гармонического преобразования является реконструкция целевого частотного диапазона, находящегося выше частоты перехода 1005 из исходного сигнала в исходном частотном диапазоне. Соответственно, целевой частотный диапазон и, в частности, парциальные частоты 6Ω, 7Ω, 8Ω на диаграмме 1001 недоступны в качестве входного сигнала в преобразователь.Below, the harmonic transformation method described herein will be described for illustrative spectral configurations in order to illustrate improvements over the current state of the art. Fig. 10 illustrates the implementation of a direct harmonic transformation of the order T = 2. The upper diagram 1001 describes the partial frequency components of the original signal with vertical arrows located at multiples of the fundamental frequency Ω. It illustrates the original signal, for example, on the side of the encoder. The diagram 1001 is segmented into a left side source frequency band with partial frequencies Ω, 2Ω, 3Ω, 4Ω, 5Ω and a right side target frequency band with partial frequencies 6Ω, 7Ω, 8Ω. The original frequency range is usually encoded and transmitted to the decoder. On the other hand, the right side target frequency range, which includes the partial frequencies 6Ω, 7Ω, 8Ω, exceeding the
Как описано выше, целью способа гармонического преобразования является регенерирование составляющих сигнала 6Ω, 7Ω, 8Ω исходного сигнала из частотных составляющих, доступных из исходного частотного диапазона. Нижняя диаграмма 1002 показывает выходной сигнал преобразователя в правостороннем целевом частотном диапазоне. Указанный преобразователь может, например, располагаться на стороне декодера. Парциальные частоты 6Ω и 8Ω регенерируются из парциальных частот 3Ω и 4Ω посредством гармонического преобразования с использованием порядка преобразования T = 2. В результате эффекта растягивания спектра при гармоническом преобразовании, показанного здесь пунктирными стрелками 1003 и 1004, целевая парциальная частота 7Ω теряется. Парциальная частота 7Ω не может быть регенерирована с использованием способа гармонического преобразования, на котором базируется текущий уровень техники.As described above, the purpose of the harmonic transformation method is to regenerate the 6Ω, 7Ω, 8Ω signal components of the original signal from the frequency components available from the original frequency band. The lower diagram 1002 shows the output of the transducer in the right hand target frequency range. Said converter may, for example, be located on the decoder side. The 6Ω and 8Ω partials are regenerated from the 3Ω and 4Ω partials by harmonic transform using the transform order T = 2. As a result of the harmonic transform stretching effect shown here by dotted
Фигура 11 иллюстрирует осуществление изобретения для гармонического преобразования периодического сигнала в случае, когда гармонический преобразователь второго порядка усовершенствуется единичным скрещивающимся членом, т.е. когда Т = 2, r = 1. Как описано в контексте фиг. 10, преобразователь используется для генерирования парциальных частот 6Ω, 7Ω, 8Ω в целевом частотном диапазоне выше частоты перехода 1105 на нижней диаграмме 1102 из парциальных частот Ω, 2Ω, 3Ω, 4Ω, 5Ω в исходном частотном диапазоне ниже частоты перехода 1105 по диаграмме 1101. В дополнение к выходному сигналу преобразователя на текущем уровне техники по фиг. 10, при комбинировании исходных парциальных частот 3Ω и 4Ω регенерируется парциальная частотная составляющая 7Ω. Осуществление добавления перекрестного произведения отображено штриховыми стрелками 1103 и 1104. В формульном выражении имеется ω=3Ω, поэтому (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω. Как можно видеть на данном примере, с использованием описанного в данном документе способа высокочастотной реконструкции согласно изобретению могут быть регенерированы все целевые парциальные частоты.Figure 11 illustrates an embodiment of the invention for the harmonic transformation of a periodic signal in the case where the second order harmonic converter is improved by a single cross member, i.e. when T=2, r=1. As described in the context of FIG. 10, the converter is used to generate partial frequencies 6Ω, 7Ω, 8Ω in the target frequency range above the
Фиг. 12 иллюстрирует возможную реализацию гармонического преобразователя второго порядка в блоке модулированных фильтров для конфигурации спектра по фиг. 10. Условно изображенные частотные характеристики поддиапазонов блока анализирующих фильтров показаны пунктирными линиями, как, например, ссылочная позиция 1206, на верхней диаграмме 1201. Поддиапазоны нумеруются согласно индексам поддиапазонов, некоторые из которых, 5, 10 и 15, показаны на фиг. 12. Для данного примера основная частота Ω равна разносу частот анализируемых поддиапазонов, умноженному на 3,5. Это иллюстрируется тем фактом, что парциальная частота Ω на диаграмме 1201 располагается между двумя поддиапазонами с индексами 3 и 4. Парциальная частота 2Ω располагается в центре поддиапазона с индексом поддиапазона 7 и т.д.Fig. 12 illustrates a possible implementation of a second order harmonic transducer in a modulated filter bank for the spectrum configuration of FIG. 10. The schematically depicted frequency responses of the analysis filter bank subbands are shown in dotted lines, such as 1206 in the upper diagram 1201. The subbands are numbered according to the subband indices, some of which, 5, 10, and 15, are shown in FIG. 12. For this example, the fundamental frequency Ω is equal to the frequency spacing of the analyzed subbands multiplied by 3.5. This is illustrated by the fact that the partial frequency Ω in diagram 1201 is located between two subbands with
Нижняя диаграмма 1202 показывает регенерированные парциальные частоты 6Ω и 8Ω с условно изображенными частотными характеристиками, как, например, ссылочная позиция 1207, выбранных поддиапазонов блока синтезирующих фильтров. Как описывалось ранее, эти поддиапазоны имеют в Т = в 2 раза более грубый разнос частот. Соответственно, частотные характеристики также масштабируются на коэффициент Т = 2. Как будет описано ниже, способ прямой обработки членов на текущем уровне техники модифицирует фазу каждого анализируемого поддиапазона, т.е. каждого поддиапазона ниже частоты перехода 1205 на диаграмме 1201, на коэффициент Т = 2 и отображает результат в синтезируемый поддиапазон с тем же индексом, т.е. в поддиапазон выше частоты перехода 1205 на диаграмме 1202. Это символически изображается на фиг. 12 диагональными пунктирными стрелками, например, стрелкой 1208 для анализируемого поддиапазона 1206 и синтезируемого поддиапазона 1207. Результатом прямой обработки членов для поддиапазонов с индексами поддиапазонов 9―16 из анализируемого поддиапазона 1201 является регенерирование двух целевых парциальных частот 6Ω и 8Ω в синтезируемом поддиапазоне 1202 из исходных парциальных частот 3Ω и 4Ω. Как видно из фиг. 12, основной вклад в целевую парциальную частоту 6Ω вносится поддиапазонами с индексами поддиапазонов 10 и 11, т.е. ссылочными позициями 1209 и 1210, а основной вклад в целевую парциальную частоту 8Ω вносится поддиапазоном с индексом поддиапазона 14, т.е. ссылочной позицией 1211.The lower diagram 1202 shows the regenerated 6Ω and 8Ω partial frequencies with schematically depicted frequency responses, such as 1207, of selected synthesis filterbank subbands. As described earlier, these subbands have T = 2 times coarser frequency spacing. Accordingly, the frequency responses are also scaled by a factor T = 2. As will be described below, the direct term processing method of the current state of the art modifies the phase of each analyzed subband, i.e. of each subband below the
Фиг. 13 иллюстрирует возможную реализацию дополнительного этапа обработки скрещивающихся членов в блоке модулированных фильтров по фиг. 12. Этап обработки скрещивающихся членов соответствует этапу, описанному в связи с фиг. 11 для периодических сигналов с основной частотой Ω. Верхняя диаграмма 1301 иллюстрирует анализируемые поддиапазоны, исходный частотный диапазон которых нужно преобразовать в целевой частотный диапазон синтезируемых поддиапазонов на нижней диаграмме 1302. В частном случае рассматривается генерирование синтезируемых поддиапазонов 1315 и 1316, которые окружают парциальную частоту 7Ω. Для порядка преобразования Т = 2 можно выбрать возможное значение r = 1. Выбор перечня значений-кандидатов (р1, р2) как кратных (r,T – r) = (1,1) так, чтобы сумма р1 + р2 приближенно равнялась
3,5, т.е. основной частоте Ω в единицах разноса частот анализируемых поддиапазонов, приводит к выбору p1 = p2 = 2. Как было описано в контексте фиг. 8, синтезируемый поддиапазон с индексом поддиапазона n может генерироваться из произведения перекрестных членов анализируемых поддиапазонов с индексами поддиапазонов (n-p1) и (n+p2). Следовательно, для синтезируемого поддиапазона с индексом поддиапазона 12, т.е. для ссылочной позиции 1315, перекрестное произведение формируется из анализируемых поддиапазонов с индексами поддиапазонов (n - p1) = 12 -2 = 10, т.е. из ссылочной позиции 1311, и (n + p2) = 12 + 2 = 14, т.е. из ссылочной позиции 1313. Для синтезируемого поддиапазона с индексом поддиапазона 13 перекрестное произведение формируется из анализируемых поддиапазонов с индексами поддиапазонов (n - p1) = 13 -2 = 11, т.е. из ссылочной позиции 1312, и (n + p2) = 13 + 2 = 15, т.е. из ссылочной позиции 1314. Процесс генерирования перекрестного произведения символически изображается парами штриховых/пунктирных стрелок, т.е. парами ссылочных позиций, соответственно, 1308, 1309 и 1306, 1307.Fig. 13 illustrates a possible implementation of an additional crossover term processing step in the modulated filter bank of FIG. 12. The step of processing cross members corresponds to the step described in connection with FIG. 11 for periodic signals with fundamental frequency Ω. Upper diagram 1301 illustrates the analyzed subbands whose source frequency range is to be converted to the target synthesis subband frequency range in lower diagram 1302. In a particular case, the generation of
Как видно из фиг. 13, парциальная частота 7Ω первоначально размещается в поддиапазоне 1315 с индексом 12 и только во вторую очередь ― в поддиапазоне 1316 с индексом 13. Следовательно, для получения более реалистичных частотных характеристик, около синтезируемого поддиапазона 1315 с индексом 12 будет больше прямых и/или скрещивающихся членов, добавление которых к высококачественной синусоиде с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω более выгодно, чем добавление членов около синтезируемого поддиапазона 1316 с индексом 13. Кроме того, как подчеркивалось в контексте формулы (13), добавление всех скрещивающихся членов с p1 = p2 = 2 вслепую может приводить к нежелательным составляющим сигнала для менее периодических и теоретических входных сигналов. Соответственно, явление неблагоприятных составляющих сигнала может потребовать применения такого адаптивного правила компенсации перекрестных произведений, как, например, правило, даваемое формулой (13).As can be seen from FIG. 13, the 7Ω partial frequency is initially placed in
Фиг. 14 иллюстрирует осуществление гармонического преобразования порядка Т = 3 согласно текущему уровню техники. Верхняя диаграмма 1401 изображает парциальные частотные составляющие оригинального сигнала вертикальными стрелками, расположенными на уровнях, кратных основной частоте Ω. Парциальные частоты 6Ω, 7Ω, 8Ω, 9Ω находятся в целевом диапазоне выше частоты перехода 1405 способа высокочастотной реконструкции и поэтому недоступны в качестве входных сигналов преобразователя. Целью гармонического преобразования является регенерирование этих составляющих из сигнала в исходном диапазоне. Нижняя диаграмма 1402 показывает выходной сигнал преобразователя в целевом частотном диапазоне. Парциальные частоты 6Ω, т.е. ссылочная позиция 1407, и 9Ω, т.е. ссылочная позиция 1410, регенерируются из парциальных частот 2Ω, т.е. из ссылочной позиции 1406, и 3Ω, т.е. из ссылочной позиции 1409. В результате эффекта растягивания спектра при гармоническом преобразовании, показанного здесь пунктирными стрелками, соответственно, 1408 и 1411, целевые парциальные частоты 7Ω и 8Ω теряются. Fig. 14 illustrates the implementation of a harmonic transformation of order T=3 according to the current state of the art. The upper diagram 1401 depicts the partial frequency components of the original signal with vertical arrows located at multiples of the fundamental frequency Ω. Partial frequencies 6Ω, 7Ω, 8Ω, 9Ω are in the target range above the
Фиг. 15 иллюстрирует осуществление изобретения для гармонического преобразования периодического сигнала в случае, когда гармонический преобразователь третьего порядка усовершенствуется двумя отличающимися скрещивающимися членами, т.е. Т = 3, r = 1, 2. В дополнение к преобразователю согласно текущему уровню техники по фиг. 14 из комбинации исходных парциальных частот 1506 с частотой 2Ω и 1507 с частотой 3Ω посредством скрещивающегося члена для r = 1 регенерируется парциальная частотная составляющая 1508 с частотой 7Ω. Выполнение добавления перекрестного произведения изображено штриховыми стрелками 1510 и 1511. В формульном выражении имеется ω=2Ω, (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω. Аналогично парциальная частотная составляющая 1509 с частотой 8Ω регенерируется посредством скрещивающегося члена для r = 2. Парциальная частотная составляющая 1509 в целевом диапазоне нижней диаграммы 1502 генерируется из парциальных частотных составляющих 1506 с частотой 2Ω и 1507 с частотой 3Ω в исходном частотном диапазоне верхней диаграммы 1501. Генерирование произведения скрещивающихся членов изображено стрелками 1512 и 1513. В формульном выражении имеется (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+2Ω=8Ω. Как можно видеть, с использованием описанного в настоящем документе способа высокочастотной реконструкции могут быть регенерированы все целевые парциальные частоты. Fig. 15 illustrates an embodiment of the invention for the harmonic transformation of a periodic signal in the case where the third order harmonic converter is enhanced by two different crossover terms, i.e. T = 3, r = 1, 2. In addition to the converter according to the current state of the art in FIG. 14, from the combination of the
Фиг. 16 иллюстрирует возможную реализацию гармонического преобразователя третьего порядка согласно текущему уровню техники в блоке модулированных фильтров для спектральной ситуации по фиг. 14. Условно изображенные частотные характеристики поддиапазонов блока анализирующих фильтров показаны пунктирными линиями на верхней диаграмме 1601. Поддиапазоны пронумерованы в соответствии с индексами поддиапазонов 1―17, из которых с целью иллюстрации производится отсылка к поддиапазонам 1606 с индексом 7, 1607 с индексом 10 и 1608 с индексом 11. Для данного примера основная частота Ω равна разносу частот анализируемых поддиапазонов Δω, умноженному на 3,5. Нижняя диаграмма 1602 показывает регенерированные парциальные частоты в суперпозиции с условно обозначаемыми частотными характеристиками выбранных поддиапазонов блока синтезирующих фильтров. Например, производится отсылка к поддиапазонам 1609 с индексом поддиапазона 7, 1610 с индексом поддиапазона 10 и 1611 с индексом поддиапазона 11. Как было описано выше, эти поддиапазоны имеют в Т = 3 раза более грубый разнос частот
. Соответственно, надлежащим образом масштабированы частотные характеристики.Fig. 16 illustrates a possible implementation of a third order harmonic transducer according to the state of the art in the modulated filter bank for the spectral situation of FIG. 14. The conventionally depicted frequency responses of the analysis filter bank subbands are shown as dotted lines in the upper diagram 1601. The subbands are numbered according to subband indices 1-17, of which, for illustration purposes,
Прямая обработка членов согласно текущему уровню техники модифицирует фазу сигналов поддиапазонов посредством коэффициента Т = 3 для каждого анализируемого поддиапазона и отображает результат в синтезируемый поддиапазон с тем же индексом, что символически изображается диагональными пунктирными стрелками. Результатом прямой обработки членов для поддиапазонов 6―11 является регенерирование двух целевых парциальных частот 6Ω и 9Ω из исходных парциальных частот 2Ω и 3Ω. Как видно из фиг. 16, основной вклад в целевую парциальную частоту 6Ω вносится поддиапазоном с индексом 7, т.е. ссылочной позицией 1606, а основные вклады в целевую парциальную частоту 9Ω вносятся поддиапазонами с индексами 10 и 11, т.е. ссылочными позициями 1607 и 1608 соответственно.The direct term processing according to the current state of the art modifies the phase of the subband signals by a factor T=3 for each analyzed subband and maps the result to a synthesized subband with the same index, which is symbolized by the diagonal dotted arrows. The direct processing of the terms for
Фиг. 17 иллюстрирует возможную реализацию дополнительного этапа обработки скрещивающихся членов для r = 1 в блоке модулированных фильтров по фиг. 16, который приводит к регенерированию парциальной частоты 7Ω. Как было описано в контексте фиг. 8, смещения индексов (p1, p2) могут быть выбраны как кратные (r,T-r)=(1,2) так, чтобы сумма р1 + р2 приближенно равнялась 3,5, т.е. основной частоте Ω в единицах разноса частот анализируемых поддиапазонов Δω. Иными словами, относительное расстояние, т.е. расстояние на оси частот, разделенной разносом частот анализируемых поддиапазонов Δω, между двумя анализируемыми поддиапазонами, вносящими вклад в синтетический поддиапазон, который необходимо генерировать, должно наилучшим образом аппроксимировать основную частоту, т.е. основную частоту Ω, деленную на разнос частот анализируемых поддиапазонов Δω. Это также описывается формулами (11) и приводит к выбору p1 = 1, p2 = 2.Fig. 17 illustrates a possible implementation of an additional cross-term processing step for r = 1 in the modulated filter bank of FIG. 16, which results in the regeneration of a partial frequency of 7Ω. As has been described in the context of FIG. 8, index offsets (p 1 , p 2 ) can be chosen as multiples of (r,Tr)=(1.2) so that the sum of p 1 + p 2 is approximately 3.5, i.e. fundamental frequency Ω in units of the frequency separation of the analyzed subbands Δω. In other words, the relative distance, i.e. the distance on the frequency axis divided by the analysis subband frequency spacing Δω between the two analysis subbands contributing to the synthetic subband to be generated should best approximate the fundamental frequency, i.e. the fundamental frequency Ω divided by the frequency spacing of the analyzed subbands Δω. This is also described by formulas (11) and leads to the choice of p 1 = 1, p 2 = 2.
Как показано на фиг. 17, синтезируемый поддиапазон с индексом 8, т.е. ссылочная позиция 1710, получается из перекрестного произведения, сформированного из аналитических поддиапазонов с индексами (n – p1) = 8 – 1 = 7, т.е. из ссылочной позиции 1706, и (n + p2) = 8 + 2 = 10, т.е. из ссылочной позиции 1708. Для синтезируемого поддиапазона с индексом 9 перекрестное произведение формируется из анализируемых поддиапазонов с индексами (n – p1) = 9 – 1 = 8, т.е. из ссылочной позиции 1707, и (n + p2) = 9 + 2 = 11, т.е. из ссылочной позиции 1709. Процесс формирования перекрестных произведений символически изображен парами диагональных штриховых/пунктирных стрелок, т.е. парами стрелок 1712, 1713 и 1714, 1715 соответственно. Из фиг. 17 можно видеть, что парциальная частота 7Ω более выражено располагается в поддиапазоне 1710, чем в поддиапазоне 1711. Следовательно, можно ожидать, что, при реалистичных характеристиках фильтров, около синтезируемого поддиапазона с индексом 8, т.е. поддиапазона 1710, будет больше скрещивающихся членов, добавление которых к высококачественной синусоиде с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+Ω=7Ω будет более выгодно.As shown in FIG. 17,
Фиг. 18 иллюстрирует возможную реализацию дополнительного этапа обработки скрещивающихся членов для r = 2 в блоке модулированных фильтров по фиг. 16, который приводит к регенерированию парциальной частоты 8Ω. Смещения индексов (p1, p2) могут быть выбраны как кратные (r,T-r)=(2,1) так, чтобы сумма р1 + р2 приближенно равнялась 3,5, т.е. основной частоте Ω в единицах разноса частот анализируемых поддиапазонов Δω. Это приводит к выбору p1 = 2, p2 = 1. Как показано на фиг. 18, синтезируемый поддиапазон с индексом 9, т.е. ссылочная позиция 1810, получается из перекрестного произведения, сформированного из аналитических поддиапазонов с индексами (n – p1) = 9 – 2 = 7, т.е. из ссылочной позиции 1806, и (n + p2) = 9 + 1 = 10, т.е. из ссылочной позиции 1808. Для синтезируемого поддиапазона с индексом 10 перекрестное произведение формируется из анализируемых поддиапазонов с индексами (n – p1) = 10 – 2 = 8, т.е. из ссылочной позиции 1807, и (n + p2) = 10 + 1 = 11, т.е. из ссылочной позиции 1809. Процесс формирования перекрестных произведений символически изображен парами диагональных штриховых/пунктирных стрелок, т.е. парами стрелок 1812, 1813 и 1814, 1815 соответственно. Из фиг. 18 можно видеть, что парциальная частота 8Ω несколько более выражено располагается в поддиапазоне 1810, чем в поддиапазоне 1811. Следовательно, можно ожидать, что, при реалистичных характеристиках фильтров, около синтезируемого поддиапазона с индексом 9, т.е. поддиапазона 1810, будет больше прямых и/или скрещивающихся членов, добавление которых к высококачественной синусоиде с частотой (T-r)ω+r(ω+Ω)=Tω+rΩ=6Ω+2Ω=8Ω будет более выгодно.Fig. 18 illustrates a possible implementation of an additional cross-term processing step for r = 2 in the modulated filter bank of FIG. 16, which results in 8Ω partial frequency regeneration. Index offsets (p 1 , p 2 ) can be chosen as multiples of (r,Tr)=(2,1) so that the sum of p 1 + p 2 is approximately equal to 3.5, i.e. fundamental frequency Ω in units of the frequency separation of the analyzed subbands Δω. This results in p 1 = 2, p 2 = 1 being selected. As shown in FIG. 18, a synthesis subband with
Ниже производится отсылка к Фигурам 23 и 24, которые иллюстрируют процедуру выбора на основе (max-min)-оптимизации по формуле (12) для пары смещений индексов (p1, p2) и r согласно этому правилу для Т = 3. Выбранный индекс целевого поддиапазона n = 18, а верхняя диаграмма показывает пример амплитуды сигнала поддиапазона для заданного временнóго индекса. Перечень положительных целых чисел задается здесь семью значениями L={2,3,…,8}.Reference is made below to Figures 23 and 24, which illustrate the selection procedure based on (max-min)-optimization according to formula (12) for a pair of index offsets (p 1 , p 2 ) and r according to this rule for T = 3. Selected index target subband n = 18, and the upper diagram shows an example of the subband signal amplitude for a given time index. The list of positive integers is given here by seven values L={2,3,…,8}.
Фиг. 23 иллюстрирует поиск кандидатов при r = 1. Целевой, или синтезируемый, поддиапазон показан с индексом n = 18. Пунктирная линия 2301 выделяет поддиапазон с индексом n = 18 в высоком диапазоне анализируемых поддиапазонов и нижнем диапазоне синтезируемых поддиапазонов. Возможными парами смещений индексов являются пары (p1, p2) = {(2,4),(3,6),…,(8,16)} для l = 2, 3,..., 8, соответственно, и соответствующими парами индексов дискретных значений амплитуды анализируемых поддиапазонов, т.е. перечнем пар индексов поддиапазонов, которые рассматриваются как определяющие оптимальный скрещивающийся член, являются {(16,22),(15,24),…,(10,34)}. Ряд стрелок иллюстрирует рассматриваемые пары. Например, показана пара (15, 24), обозначенная ссылочными позициями 2302 и 2303. Нахождение минимума для этих пар амплитуд дает перечень (0, 4, 1, 0, 0, 0, 0) соответствующих минимальных пар амплитуд для перечня возможных скрещивающихся членов. Поскольку второй элемент для l = 3 является максимальным, пара (15, 24) побеждает среди кандидатов с r = 1, и выбор изображен толстыми стрелками.Fig. 23 illustrates the search for candidates at r = 1. The target or synthesis subband is shown at index n = 18. The dotted
Фиг. 24 сходным образом иллюстрирует поиск кандидатов с r = 2. Целевой, или синтезируемый, поддиапазон показан с индексом n = 18. Пунктирная линия 2401 выделяет поддиапазон с индексом n = 18 в высоком диапазоне анализируемых поддиапазонов и в нижнем диапазоне синтезируемых поддиапазонов. В этом случае, возможными парами смещений индексов являются пары (p1, р2) = {(4,2),(6,3),…,(16,8)}, и соответствующими парами индексов дискретных амплитуд анализируемых поддиапазонов являются пары {(14,20),(12,21),…,(2,26)}, среди которых пара (6, 24) представлена ссылочными позициями 2402 и 2403. Нахождение минимума для этих пар амплитуд дает перечень (0, 0, 0, 0, 3, 1, 0). Поскольку пятый элемент является максимальным, т.е. l = 6, пара (6, 24) побеждает среди кандидатов с r = 2, как показано толстыми стрелками. В целом, поскольку минимум соответствующей пары амплитуд меньше, чем минимум для выбранной пары поддиапазонов при r = 1, окончательный выбор для индекса целевого поддиапазона n = 18 падает на пару (15, 24) и r = 1.Fig. 24 similarly illustrates the search for candidates with r = 2. The target or synthesized subband is shown at index n = 18. The dashed
Кроме того, следует отметить, что, когда входной сигнал z(t) представляет собой гармонический ряд с основной частотой Ω, т.е. с основной частотой, которая соответствует параметру основного тона для усовершенствования посредством перекрестного произведения, и Ω достаточно велика по сравнению с разрешением по частоте блока анализирующих фильтров, сигналы анализируемых поддиапазонов x’n(k),, задаваемые формулой (8), являются хорошими приближениями анализа входного сигнала z(t), где приближение является действительным в различных диапазонах поддиапазонов. Из сопоставления формулы (6) и формул (8―10) следует, что эволюция фазы гармоники вдоль оси частот входного сигнала z(t) будет корректно экстраполироваться настоящим изобретением. С точки зрения качества выходного звукового сигнала это является привлекательной особенностью для сигналов, имеющих характер последовательности импульсов, как, например, сигналы, вызванные человеческими голосами и некоторыми музыкальными инструментами.In addition, it should be noted that when the input signal z(t) is a harmonic series with a fundamental frequency Ω, i.e. with a fundamental frequency that corresponds to the pitch parameter for cross product improvement, and Ω is large enough compared to the frequency resolution of the analysis filter bank, the analysis subband signals x' n (k), given by formula (8), are good approximations of the analysis input signal z(t), where the approximation is valid in different ranges of subbands. From a comparison of formulas (6) and formulas (8–10), it follows that the evolution of the harmonic phase along the frequency axis of the input signal z(t) will be correctly extrapolated by the present invention. In terms of audio output quality, this is an attractive feature for pulse train signals, such as those caused by human voices and some musical instruments.
Фиг. 25, 26 и 27 иллюстрируют функционирование иллюстративной реализации преобразования согласно изобретению для гармонического сигнала в случае Т = 3. Сигнал имеет основную частоту 282,35 Гц, спектр его амплитуды в рассматриваемом целевом диапазоне 10―15 кГц изображен на фиг. 25. Для реализации преобразований используется блок фильтров из N = 512 поддиапазонов на частоте дискретизации 48 КГц. Спектр амплитуды выходного сигнала прямого преобразователя (Т = 3) изображен на фиг. 26. Как можно видеть, каждая третья гармоника воспроизводится с высокой точностью, как и предсказывает описанная выше теория, и воспринимаемым основным тоном будет основной тон 847 Гц, в три раза больший оригинального тона. Фиг. 27 показывает выходной сигнал преобразователя, применяющего произведения скрещивающихся членов. Все гармоники воссоздаются вплоть до дефектов, связанных с особенностями приближений теории. В этом случае боковые лепестки находятся примерно на 40 Дб ниже уровня сигнала, и этого более чем достаточно для регенерации высокочастотного содержимого, которое воспринимается неотличимо от оригинального гармонического сигнала.Fig. 25, 26 and 27 illustrate the operation of an exemplary implementation of the conversion according to the invention for a harmonic signal in the case of T = 3. The signal has a fundamental frequency of 282.35 Hz, its amplitude spectrum in the considered target range of 10–15 kHz is shown in Figs. 25. To implement the transformations, a filter block of N = 512 subbands is used at a sampling frequency of 48 kHz. The amplitude spectrum of the output signal of the direct converter (T = 3) is shown in Fig. 26. As can be seen, every third harmonic is reproduced with high fidelity, as predicted by the theory described above, and the perceived pitch will be a pitch of 847 Hz, three times the original pitch. Fig. 27 shows the output of a converter using products of the cross terms. All harmonics are recreated up to the defects associated with the peculiarities of the approximations of the theory. In this case, the sidelobes are about 40 dB below the signal level, which is more than enough to regenerate high frequency content that is perceived to be indistinguishable from the original harmonic signal.
Ниже делается отсылка к фиг. 28 и фиг. 29, которые иллюстрируют, соответственно, иллюстративный кодировщик 2800 и иллюстративный декодер 2900 для унифицированного кодирования речи и звука (USAC). Общая конструкция кодировщика USAC 2800 и декодера 2900 описывается следующим образом: в первую очередь ― традиционная пред / постобработка, содержащая функциональный блок MPEG Surround (MPEGS), предназначенный для операций по обработке стереофонических и многоканальных сигналов, и усовершенствованные блоки SBR (eSBR) 2801 и 2901 соответственно, которые оперируют с параметрическим представлением более высоких звуковых частот входного сигнала и могут применять способы гармонического преобразования, описываемые в настоящем документе. Затем ― две ветви, одна из которых состоит из траектории инструмента модифицированного перспективного звукового кодирования (Advanced Audio Coding, AAC), а вторая состоит из траектории на основе линейного предсказания (в области LP или LPC), которое, в свою очередь, характеризуется представлением остаточного продукта кодирования с линейным предсказанием (LPC) в частотной и временной областях. Все передаваемые спектры, как AAC, так и LPC, могут быть представлены в области MDCT с последующим квантованием и арифметическим кодированием. Представление во временной области использует схему кодового возбуждения ACELP.Reference is made below to FIG. 28 and FIG. 29 which illustrate, respectively, an exemplary unified speech and audio coding (USAC)
Усовершенствованный блок репликации спектральных полос (eSBR) 2801 кодировщика 2800 может включать системы высокочастотной реконструкции, описанные в настоящем документе. В частности, блок eSBR 2801 может включать Блок 301 анализирующих фильтров, предназначенный для генерирования ряда сигналов анализируемых поддиапазонов. Сигналы анализируемых поддиапазонов могут затем преобразовываться в блоке нелинейной обработки 302, генерируя ряд сигналов синтезируемых поддиапазонов, которые затем могут вводиться в блок синтезирующих фильтров 303 для генерирования высокочастотной составляющей. В блоке eSBR 2801 на стороне кодирования может определяться набор информации о том, как генерировать высокочастотную составляющую из низкочастотной составляющей так, чтобы высокочастотная составляющая наилучшим образом совпадала з высокочастотной составляющей оригинального сигнала. Набор информации может включать информацию о характеристиках сигнала, таких как преобладающая основная частота Ω, огибающая спектра высокочастотной составляющей, и информацию о том, как лучше всего комбинировать сигналы анализируемых поддиапазонов, т.е. такую информацию, как ограниченный набор пар смещений индексов (p1, p2). Кодированные данные, относящиеся к указанному набору информации, объединяются с другой кодированной информацией в мультиплексоре битового потока и направляются в виде кодированного потока аудиоданных в соответствующий декодер 2900.The enhanced spectral band replication (eSBR) 2801
Декодер 2900, показанный на фиг. 29, также включает усовершенствованный блок репликации спектральных полос (eSBR) 2901. Блок eSBR 2901 принимает кодированный поток аудиоданных, или кодированный сигнал, из кодировщика 2800 и использует способы, описанные в настоящем документе, для генерирования высокочастотной составляющей сигнала, которая объединена с кодированной низкочастотной составляющей, давая на выходе декодированный сигнал. Блок eSBR 2901 может включать различные компоненты, описанные в настоящем документе. В частности, он может включать Блок 301 анализирующих фильтров, блок нелинейной обработки 302 и блок синтезирующих фильтров 303. Блок eSBR 2901 может использовать информацию о высокочастотной составляющей, предоставляемую кодировщиком 2800, для выполнения высокочастотной реконструкции. Эта информация может представлять собой основную частоту Ω сигнала, огибающую спектра оригинальной высокочастотной составляющей и/или информацию об анализируемых поддиапазонах, которые будут использоваться для генерирования сигналов синтезируемых поддиапазонов и, в особенности, высокочастотной составляющей декодированного сигнала.
Кроме того, фиг. 28 и 29 иллюстрируют возможные дополнительные компоненты кодировщика/декодера USAC, такие как: In addition, FIG. 28 and 29 illustrate possible additional USAC encoder/decoder components such as:
инструмент демультиплексора полезной нагрузки битового потока, который разделяет полезную нагрузку битового потока на части для каждого инструмента и обеспечивает каждый из инструментов информацией о полезной нагрузке битового потока, связанной с данным инструментом;a bitstream payload demultiplexer tool that separates the bitstream payload into parts for each tool and provides each of the tools with information about the bitstream payload associated with the tool;
инструмент декодирования масштабных коэффициентов с пониженным уровнем шума, который получает информацию из демультиплексора полезной нагрузки битового потока, выполняет грамматический разбор этой информации и декодирует масштабные коэффициенты, кодированные методами Хаффмана и DPCM;a noise-reduced scalefactor decoding tool that receives information from the bitstream payload demultiplexer, parses the information, and decodes the Huffman and DPCM encoded scalefactors;
инструмент декодирования спектра с пониженным уровнем шума, который получает информацию из демультиплексора полезной нагрузки битового потока, выполняет грамматический разбор этой информации, декодирует арифметически кодированные данные и реконструирует квантованные спектры;a noise reduced spectrum decoding tool that receives information from the bitstream payload demultiplexer, parses the information, decodes the arithmetically encoded data, and reconstructs the quantized spectra;
инструмент обратного квантователя, который получает квантованные значения спектра и преобразовывает целочисленные значения в немасштабированные реконструированные спектры; данный квантователь предпочительно представляет собой компандирующий квантователь, коэффициент компандирования которого зависит от выбранного режима базового кодирования;an inverse quantizer tool that takes the quantized spectrum values and converts the integer values to unscaled reconstructed spectra; this quantizer is preferably a companding quantizer whose companding factor depends on the selected base coding mode;
инструмент заполнения шума, который используется для заполнения спектральных разрывов в декодированных спектрах, которые возникают при квантовании спектральных значений в нуль, например, из-за сильного ограничения, налагаемого в кодировщике на битовые требования;a noise filling tool that is used to fill in spectral discontinuities in decoded spectra that occur when spectral values are quantized to zero, for example, due to a strong constraint placed in the encoder on the bit requirements;
инструмент изменения масштаба, который преобразовывает целочисленное представление масштабных коэффициентов в фактические значения и умножает немасштабированные спектры, подвергнутые обратному квантованию, на соответствующие масштабные коэффициенты;a scaling tool that converts the integer representation of the scaling factors to actual values and multiplies the unscaled inverse quantized spectra by the corresponding scaling factors;
инструмент M/S, описанный в стандарте ISO/IEC 14496-3;M/S tool as described in ISO/IEC 14496-3;
инструмент временнóй фильтрации и преобразования шума (TNS), описанный в стандарте ISO/IEC 14496-3;temporal filtering and noise transformation (TNS) tool, described in ISO/IEC 14496-3;
блок фильтров / инструмент коммутатора блокировки, который применяет инверсию отображения частот, которая была проведена в кодировщике; для инструмента блока фильтров предпочтительно используется обратное модифицированное дискретное косинусное преобразование (IMDCT);a filter block/block switch tool that applies the frequency mapping inversion that was done in the encoder; for the filter bank tool, the inverse modified discrete cosine transform (IMDCT) is preferably used;
блок фильтров с деформацией шкалы времени / инструмент коммутатора блокировки, который замещает нормальный инструмент переключения блока фильтров при активации режима деформации шкалы времени; данный блок фильтров, предпочтительно, аналогичен (IMDCT) нормальному блоку фильтров с добавлением отображения дискретных значений во временной области, обрабатываемых методом окна, из области деформированной шкалы времени в линейную временную область путем зависящей от времени передискретизации;time warp filter bank/lock switch tool that replaces the normal filter bank switch tool when the time warp mode is activated; this filter bank is preferably similar to the (IMDCT) normal filter bank with the addition of mapping time domain discrete values processed by a windowing method from the deformed time scale region to the linear time domain by time-dependent resampling;
инструмент MPEG Surround (MPEGS), который создает набор сигналов из одного или нескольких входных сигналов, применяя к входному (входным) сигналу (сигналам) сложную процедуру повышающего микширования, управляемую соответствующими пространственными параметрами; в контексте USAC, MPEGS предпочтительно используется для кодирования многоканального сигнала путем передачи сопутствующей параметрической информации совместно с передаваемым низведенным сигналом;an MPEG Surround (MPEGS) tool that creates a set of signals from one or more input signals by applying a complex upmix procedure to the input signal(s) controlled by appropriate spatial parameters; in the context of USAC, MPEGS is preferably used to encode a multi-channel signal by transmitting associated parametric information along with the transmitted downmix signal;
инструмент классификатора сигналов, который анализирует оригинальный входной сигнал и генерирует из него управляющую информацию, которая запускает выбор различных режимов кодирования; анализ входного сигнала, как правило, зависит от реализации и будет пытаться выбрать оптимальный режим базового кодирования для данного цикла входного сигнала; выходной сигнал классификатора сигналов может, необязательно, использоваться также и для влияния на поведение других инструментов, например, MPEG Surround, усовершенствованного SBR, блока фильтров с деформацией шкалы времени и др.;a signal classifier tool that analyzes the original input signal and generates control information from it that triggers the selection of different coding modes; analysis of the input signal is typically implementation dependent and will attempt to select the optimal base coding mode for a given cycle of the input signal; the output of the signal classifier can optionally also be used to influence the behavior of other tools such as MPEG Surround, advanced SBR, time warp filter bank, etc.;
инструмент фильтра LPC, который создает сигнал во временной области из сигнала в области возбуждений путем фильтрации реконструированного сигнала возбуждения через фильтр синтеза с линейным предсказанием; иan LPC filter tool that creates a time domain signal from an excitation domain signal by filtering the reconstructed excitation signal through a linear prediction synthesis filter; and
инструмент ACELP, который обеспечивает способ эффективного представления сигнала возбуждения во временной области путем комбинирования долговременного предсказателя (адаптивного кодового слова) с импульсовидной последовательностью (порождающего кодового слова).an ACELP tool that provides a way to efficiently represent an excitation signal in the time domain by combining a long-term predictor (adaptive codeword) with a pulse pattern (generator codeword).
Фиг. 30 иллюстрирует вариант осуществления блоков eSBR, показанных на фиг. 28 и 29. Блок eSBR 3000 ниже будет описан в контексте декодера, где входной сигнал блока eSBR 3000 представляет собой низкочастотную составляющую, также известную как нижний диапазон, сигнала и, возможно, дополнительную информацию, относящуюся к специфическим характеристикам сигнала, таким как, например, основная частота Ω и/или возможные значения смещений индексов (p1, p2). На стороне кодировщика входной сигнал блока eSBR, как правило, будет представлять собой полный сигнал, в то время как выходным сигналом будет дополнительная информация, относящаяся к характеристикам сигнала и/или значениям смещений индексов. Fig. 30 illustrates an embodiment of the eSBRs shown in FIG. 28 and 29. The
На фиг. 30 низкочастотная составляющая 3013 подается в блок фильтров QMF с целью генерирования частотных диапазонов QMF. Частотные диапазоны QMF не следует ошибочно принимать за анализируемые поддиапазоны, описываемые в настоящем документе. Частотные диапазоны QMF используются с целью манипуляций и объединения низко- и высокочастотной составляющих сигнала в частотной области, а не во временной. Низкочастотная составляющая 3014 подается в блок преобразования 3004, который относится к системам высокочастотной реконструкции, описанным в настоящем документе. Блок преобразования также может получать дополнительную информацию 3011, такую как основная частота Ω кодированного сигнала и/или возможные значения пар смещений индексов (p1, p2) для выбора поддиапазонов. Блок преобразования 3004 генерирует высокочастотную составляющую 3012, также известную как высокий диапазон, сигнала, которая преобразовывается в частотную область блоком фильтров QMF 3003. Обе преобразованные в область QMF составляющие, низкочастотная и высокочастотная, подаются в блок манипуляций и объединения 3005. Блок 3005 может выполнять коррекцию огибающей высокочастотной составляющей и комбинирует скорректированную высокочастотную составляющую и низкочастотную составляющую. Комбинированный выходной сигнал преобразовывается обратно во временную область блоком обратных фильтров QMF 3001.In FIG. 30, the
Как правило, блоки фильтров QMF включают 64 частотных диапазона QMF. Следует, однако, отметить, что может оказаться полезной понижающая дискретизация низкочастотной составляющей 3013 так, чтобы блок фильтров QMF 3002 требовал лишь 32 частотных диапазона QMF. В этом случае низкочастотная составляющая 3013 имеет ширину полосы пропускания fs/4, где fs ― частота дискретизации сигнала. С другой стороны, высокочастотная составляющая 3012 имеет полосу пропускания fs/2.Typically, QMF filter banks include 64 QMF frequency bands. It should be noted, however, that downsampling the
Способ и система, описанные в настоящем документе, могут быть реализованы как программное обеспечение, встроенное программное обеспечение и/или аппаратное обеспечение. Некоторые компоненты могут, например, быть реализованы как программное обеспечение, которое запускается в процессоре или микропроцессоре цифровой обработки сигналов. Другие компоненты могут, например, быть реализованы как аппаратные средства и/или специализированные интегральные микросхемы. Сигналы, встречающиеся в описанных способах и системах, могут храниться на носителях данных, таких как память с произвольным доступом (оперативная память) или оптические запоминающие устройства. Они могут передаваться посредством сетей, таких как радиосеть, спутниковые сети связи, беспроводные сети или проводные сети, например, через интернет. Типичные устройства, использующие способ и систему, описанные в настоящем документе, представляют собой дополнительные внешние устройства и другое оборудование на территории пользователя, которое декодирует звуковые сигналы. На стороне кодирования способ и система могут использоваться как радиовещательные станции, например, в головных узлах видеосистем.The method and system described herein may be implemented as software, firmware, and/or hardware. Some components may, for example, be implemented as software that runs on a digital signal processor or microprocessor. Other components may, for example, be implemented as hardware and/or ASICs. The signals encountered in the described methods and systems may be stored on storage media such as random access memory (RAM) or optical storage devices. They may be transmitted over networks such as a radio network, satellite networks, wireless networks, or wired networks, such as over the Internet. Typical devices using the method and system described herein are additional external devices and other equipment at the user's premises that decode audio signals. On the coding side, the method and system can be used as broadcast stations, for example, in video headends.
Настоящий документ описывает способ и систему для выполнения высокочастотной реконструкции сигнала на основе низкочастотной составляющей сигнала. Используя комбинации поддиапазонов из низкочастотной составляющей, способ и система позволяют реконструировать частоты и диапазоны частот, которые не могут быть генерированы способами преобразования, известными на текущем уровне техники. Кроме того, описанные способ и система HTR позволяют использовать низкие частоты перехода и/или генерирование больших высокочастотных диапазонов из узких низкочастотных диапазонов.The present document describes a method and system for performing high frequency signal reconstruction based on a low frequency signal component. By using combinations of subbands from the low frequency component, the method and system make it possible to reconstruct frequencies and frequency bands that cannot be generated by the transformation methods known in the art. In addition, the disclosed HTR method and system allows the use of low crossover frequencies and/or the generation of large high frequency ranges from narrow low frequency ranges.
Claims (44)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
USUS/61/145,223 | 2009-01-16 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2018130424A Division RU2765618C2 (en) | 2009-01-16 | 2018-08-22 | Harmonic transformation enhanced by cross product |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2022122583A Division RU2806621C1 (en) | 2009-01-16 | 2022-08-22 | Harmonic transformation improved by cross product |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2778834C1 true RU2778834C1 (en) | 2022-08-25 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2127912C1 (en) * | 1993-05-26 | 1999-03-20 | Телефонактиеболагет Лм Эрикссон | Method for detection and encoding and/or decoding of stationary background sounds and device for detection and encoding and/or decoding of stationary background sounds |
US20030014241A1 (en) * | 2000-02-18 | 2003-01-16 | Ferris Gavin Robert | Method of and apparatus for converting an audio signal between data compression formats |
US20040083094A1 (en) * | 2002-10-29 | 2004-04-29 | Texas Instruments Incorporated | Wavelet-based compression and decompression of audio sample sets |
US7333929B1 (en) * | 2001-09-13 | 2008-02-19 | Chmounk Dmitri V | Modular scalable compressed audio data stream |
US20080243518A1 (en) * | 2006-11-16 | 2008-10-02 | Alexey Oraevsky | System And Method For Compressing And Reconstructing Audio Files |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2127912C1 (en) * | 1993-05-26 | 1999-03-20 | Телефонактиеболагет Лм Эрикссон | Method for detection and encoding and/or decoding of stationary background sounds and device for detection and encoding and/or decoding of stationary background sounds |
US20030014241A1 (en) * | 2000-02-18 | 2003-01-16 | Ferris Gavin Robert | Method of and apparatus for converting an audio signal between data compression formats |
US7333929B1 (en) * | 2001-09-13 | 2008-02-19 | Chmounk Dmitri V | Modular scalable compressed audio data stream |
US20040083094A1 (en) * | 2002-10-29 | 2004-04-29 | Texas Instruments Incorporated | Wavelet-based compression and decompression of audio sample sets |
US20080243518A1 (en) * | 2006-11-16 | 2008-10-02 | Alexey Oraevsky | System And Method For Compressing And Reconstructing Audio Files |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2765618C2 (en) | Harmonic transformation enhanced by cross product | |
RU2778834C1 (en) | Harmonic transformation improved by the cross product | |
RU2806621C1 (en) | Harmonic transformation improved by cross product | |
RU2825717C1 (en) | Harmonic conversion improved by cross product |