TWI755901B

TWI755901B - 包括移頻功能之即時音訊處理系統以及包括移頻功能之即時音訊處理程序

Info

Publication number: TWI755901B
Application number: TW109136459A
Authority: TW
Inventors: 劉明倫
Original assignee: 美商音美得股份有限公司
Priority date: 2020-10-21
Filing date: 2020-10-21
Publication date: 2022-02-21
Also published as: TW202217800A

Abstract

一種混合式音訊處理系統，其包括：一成幀與時-頻轉換器，其將一輸入音訊分成多個音訊幀，並將該等音訊幀分別作一時-頻轉換運算以產生多個輸入頻譜；相應多個低頻子帶之一低分析濾波器組，其將該輸入音訊作濾波分頻以產生多個低子帶信號，其中該等低頻子帶之頻率範圍不高於一起始頻率；一個核心數位信號處理單元，其對該等輸入頻譜執行一頻域信號處理以產生多個被修改頻譜，並利用該等輸入頻譜與該等被修改頻譜決定該等低子帶信號相應之多個子帶權重；一個頻-時轉換器，其以該等被修改頻譜之每一者於該等低頻子帶頻率範圍以上的多個頻點作一頻-時轉換運算以產生一第一被修改信號；一子帶組合器，其將該等低子帶信號以相應之該等子帶權重作一加權和運算以產生一第二被修改信號；以及一加法器，其將該第一被修改信號與該第二被修改信號加總以產生之一輸出音訊。

Description

包括移頻功能之即時音訊處理系統以及包括移頻功能之即時音訊處理程序

本發明有關於音訊信號處理與移頻處理領域，特別有關於一種支援移頻功能之混合式即時音訊處理系統以及其一種支援移頻功能之混合式即時音訊處理程序。

移頻(frequency shifting)處理是常見的一種音效處理，其將一輸入音訊的各頻率成份依相應之指定量移頻以滿足特定的應用目標，例如對語音/樂音之移調(key shifting or pitch shifting)處理，又或為增加語音可聽度(audibility)或可懂度(intelligibility)而對音訊之部份或全頻段的降頻(frequency lowering)處理。移頻處理的概念可以用圖1典型之輸入-輸出頻率特性曲線解釋(以下簡稱為移頻特性；圖中

f _SAM為該輸入音訊取樣頻率f _SAM的一半，其為該數位音訊之最高頻率，又稱為Nyquist頻率)。若移頻系統將該輸入音訊中各頻率成份隨該成份頻率高低等比例移頻以產生輸出音訊，則該系統具有一線性映射特性，或稱為線性移頻，常見的語音/樂音之移調或語音變聲皆屬於此類。線性移頻的特點是改變語音信號的基礎頻率(foundamental frequency)，因此將造成語音特性(speech identity)的改變，亦即其輸出語音像是由不同人說出來的語音。欲避免該效應可採用非線性移頻。非線性移頻一般操作方式為：保持輸入音訊中低頻頻段不作移頻，自一起始頻率f _START以上之較高頻率語音成份隨該成份頻率高低以非等比例移頻以產生輸出信號。非線性移頻特性廣見於助聽器(hearing aids)或輔聽裝置(hearing assistive devices)，其因多數聽障者有高頻聽損問題，實施非線性移頻可維持語音音調不變並有助於部份聽障者感知高頻語音資訊。本發明著重在支援該非線性移頻型態之移頻系統設計。又，若考量支援不同類型之應用，非線性移頻特性之設定應可擁有更多彈性，例如可設定為多對一特性(即非單調特性，其亦適合用於聽覺頻率範圍縮減的狀況)，一對多特性(由一頻率成份的多個複製品移頻至多個相異頻率)，甚至視輸入音訊動態改變輸入-輸出頻率特性曲線，以上這些都可視為變化輸入-輸出頻率特性的衍生設計。

習知移頻算法/架構有很多，包括：於時域對音訊波形之部份頻段以一移頻量作頻率移轉(frequency transposition)(參照參考文獻1)、調整音訊波形如同步疊加(synchronized overlap-add,or SOLA)法及其之各式變型並搭配再取樣(resampling)處理(參照參考文獻2)、將音訊波形轉換成頻域表示(頻譜)並採用如相位聲碼器(phase vocoders)及其之各式變型算法作處理(參照參考文獻3)、或於時域對音訊作(即作多個中心頻率相異之濾波處理以分離相異頻率之成份)以及移頻之轉子(Rollers)算法(參照參考文獻4)等。這些算法差異非常大，其適合搭配的系統架構相異(時域處理或頻域處理架構)，處理過程各自衍生多種不同型的人造音(artifacts)，並且面對不同的應用限制，如適合在線(on-line)或離線(off-line)應用，適合處理單音型(monophonic)或多音型(polyphonic之輸入音訊等，也各有不同的運算量需求。若目標是廣泛支援非線性移頻特性，適合處理複雜環境/多音型輸入音訊並產生音質穩定/自然的輸出音訊，則系統可能需採用如相位聲碼器或轉子算法或其衍生設計。基於濾波器組之轉子算法之處理延時較低並能產生良好音質/自然的輸出音訊，缺點則是運算量高，較不適合應用於低功耗之行動/穿戴裝置。另一方面，相位聲碼器及其之各式變型算法屬於頻域信號處理。在運算量或系統功耗的考量上，因時-頻轉換運算如離散傅利葉轉換(discrete Fourier transform,or DFT)，短時傅利葉轉換(short-time Fourier transform,or STFT)等存在快速運算方式，其效率通常遠高於一般基於時域濾波器組之分頻濾波運算，且在頻率解析度越高時優勢越強，這使頻域信號處理在系統實作上相當具有競爭力。然而頻域信號處理為基於幀的運算(frame-based)，其系統整體之算法延時(假設運算時間為零所得之處理延時，亦即理論上之最低處理延時)往往不低於一幀的時間長度。但為配合移頻之應用，其幀長又必須足夠長，使頻譜之頻率解析度滿足頻域信號處理需求。因此該頻率解析度與延時之需求在即時之音訊移頻處理中是一個兩難問題。

參考文獻

參考文獻1：Dillon, H. Hearing aids, Sydney. Australia: Boomerang Press, 2012.

參考文獻2：Dorran, David. "Audio time-scale modification." Dublin Institute of Technology Doctoral Thesis (2005).

參考文獻3：Laroche, Jean, and Mark Dolson. "New phase-vocoder techniques for pitch-shifting, harmonizing and other exotic effects." Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics. WASPAA'99 (Cat. No. 99TH8452). IEEE, 1999.

參考文獻4：Juillerat, Nicolas, Simon Schubiger-Banz, and Stefan Muller Arisona. "Low latency audio pitch shifting in the time domain." 2008 International Conference on Audio, Language and Image Processing. IEEE, 2008.

參考文獻5：Dutoit, Thierry,and Ferran Marques. Applied Signal Processing: A MATLAB^TM-based proof of concept. Springer Science & Business Media, 2010.

參考文獻6：Kates, James M. Digital hearing aids. Plural publishing, 2008.

參考文獻7：Williamson, Malcolm J., Kenneth L. Cummins, and Kurt E. Hecox. "Adaptive, programmable signal processing and filtering for hearing aids." U.S. Patent No. 5,027,410. 25 Jun. 1991.

鑑於上述不同系統設計的優點與限制，本發明之目的在於提供合併時域與頻域音訊處理之一系統架構(以下稱混合式音訊處理系統架構)，由其衍生之二混合式音訊處理系統架構，以及與該等音訊處理系統功能等效之三音訊處理程序。該等音訊處理系統以及該等音訊處理程序利用人耳聽覺的特性，嘗試在運算量與音訊處理延時之間取得折衷方案~其以低於時域音訊處理系統或時域音訊處理程序的運算量支援非線性音訊移頻功能，並使聽者感知相較頻域音訊處理系統或頻域音訊處理程序更低的處理延時。該等音訊處理系統以及該等音訊處理程序可能適合應用在低功耗行動裝置，穿戴裝置，或以即時軟體施行之系統應用。

本發明之第一態樣提供一種混合式音訊處理系統，其包括：

一個成幀與時-頻轉換器，其將一輸入音訊分成多個音訊幀，並將該等音訊幀分別作一時-頻轉換運算以產生多個輸入頻譜；

相應多個低頻子帶之一低分析濾波器組，其將該輸入音訊作濾波分頻以產生多個低子帶信號，其中該等低頻子帶之頻率範圍不高於一起始頻率；一個核心數位信號處理單元，其對該等輸入頻譜執行一頻域信號處理以產生多個被修改頻譜，並利用該等輸入頻譜與該等被修改頻譜決定該等低子帶信號相應之多個子帶權重；一個頻-時轉換器，其以該等被修改頻譜之每一者於該等低頻子帶頻率範圍以上的多個頻點作一頻-時轉換運算以產生一第一被修改信號；一個子帶組合器，其將多個子帶組合器輸入信號以相應之該等子帶權重作一加權和運算以產生一第二被修改信號，其中該等子帶組合器輸入信號包括該等低子帶信號；以及一個加法器，其將該第一被修改信號與該第二被修改信號相加以產生一輸出音訊。

本發明之第二態樣提供一種如第一態樣之混合式音訊處理系統，其中該等子帶組合器輸入信號還包括多個被移頻子帶信號，該核心數位信號處理單元還利用該被修改頻譜與相應之該輸入頻譜決定相應該等被移頻子帶信號的多個子帶權重，該混合式音訊處理系統還包括：一個相應多個高頻子帶之高分析濾波器組，其將該輸入音訊作濾波分頻以產生多個高子帶信號，其中該等高頻子帶之頻率範圍高於一交界頻率；以及多個移頻器，其分別將該等高子帶信號依相應之多個子帶移頻量作移頻處理以產生該等被移頻子帶信號，其中該等子帶移頻量分別依該等高頻子帶之中心頻率決定。

本發明之第三態樣提供一種混合式音訊處理系統，其包括：一個第一成幀與時-頻轉換器，其將一輸入音訊分成多個長音訊幀，並將其每一長音訊幀作一第一時-頻轉換運算以產生多個輸入頻譜之一輸入頻譜；一個第二成幀與時-頻轉換器，其將該輸入音訊分成多個短音訊幀，並將其每一短音訊幀作一第二時-頻轉換運算以產生相應至少一頻帶之至少一帶信號，其中該至少一頻帶之頻率範圍不高於一起始頻率；至少一分析濾波器組，其分別將該等帶信號作濾波分頻以產生相應該至少一帶信號之多個子帶信號；一個核心數位信號處理單元，其對該等輸入頻譜之每一者執行一頻域信號處理以產生多個被修改頻譜之一被修改頻譜，並利用該被修改頻譜與相應之該輸入頻譜決定相應該至少一帶信號之該等子帶信號之多個子帶權重；

一個第一頻-時轉換器，其以該等被修改頻譜之每一者於該等帶信號相應頻率範圍以上的多個頻點作一第一頻-時轉換運算以產生一第一被修改信號；

至少一子帶組合器，其每一者將相應該至少一頻帶之一頻帶之該等子帶信號以相應之該等子帶權重進行一加權和運算以產生至少一被修改帶信號之一被修改帶信號；

一個第二頻-時轉換器，其提取該至少一被修改帶信號相應於同一時間之至少一取樣點作一第二頻-時轉換以產生一第二被修改信號；以及

一個加法器，其將該第一被修改信號與該第二被修改信號相加以產生之一輸出音訊。

本發明之第四態樣提供一種混合式音訊處理程序，其包括下列步驟：

將一輸入音訊之至少一取樣點計入多個音訊幀，並對該輸入音訊之該至少一取樣點執行相應多個低頻子帶之一濾波器組運算程序以得到多個低子帶信號，其每一者包括至少一取樣點，該等低頻子帶之頻率範圍不高於一起始頻率；

若該等音訊幀之任一者就緒，則對該已就緒之音訊幀進行一時-頻轉換運算以得到一輸入頻譜，對該輸入頻譜執行一頻域信號處理程序以得到一被修改頻譜，利用該被修改頻譜與該輸入頻譜決定該等低子帶信號相應之多個子帶權重，以及以該被修改頻譜於該等低頻子帶頻率範圍以上的多個頻點進行一頻-時轉換運算以得到一第一被修改信號之多個取樣點；將多個子帶組合程序輸入信號以相應之該等子帶權重進行一加權和運算以得到一第二被修改信號之至少一取樣點，其中該等子帶組合程序輸入信號包括該等低子帶信號；以及對該第二被修改信號之該至少一取樣點與該第一被修改信號於相應時間之至少一取樣點進行一加法運算以得到一輸出音訊之至少一取樣點。

本發明之第五態樣提供一種如第四態樣之混合式音訊處理程序，其中該等子帶組合程序輸入信號還包括多個被移頻子帶信號，該頻域信號處理程序還利用該被修改頻譜與相應之該輸入頻譜決定相應該等被移頻子帶信號的多個子帶權重，該混合式音訊處理程序於進行該加權和運算前還包括下列步驟：對該輸入音訊之該至少一取樣點執行相應多個高頻子帶之一高濾波器組運算程序以得到多個高子帶信號，其每一者包括至少一取樣點，該等高頻子帶之頻率範圍高於一交界頻率；以及

對該等高子帶信號依相應之多個子帶移頻量進行一移頻運算以得到該等被移頻子帶信號，其每一者包括至少一取樣點。

本發明之第六態樣提供一種混合式音訊處理程序，其包括下列步驟：

將一輸入音訊之至少一短音訊幀之計入多個長音訊幀，並對該輸入音訊之該至少一短音訊幀分別執行一第二時-頻轉換運算以得到相應至少一頻帶之至少一帶信號，其中該至少一頻帶之頻率範圍不高於一起始頻率；

對該至少一帶信號分別執行一濾波器組運算程序以得到相應該至少一帶信號之多個子帶信號；

若該等長音訊幀之任一者就緒，則對該已就緒之長音訊幀進行一第一時-頻轉換運算以得到一輸入頻譜，對該輸入頻譜執行一頻域信號處理程序以得到一被修改頻譜，利用該被修改頻譜與相應之該輸入頻譜決定相應該至少一帶信號之該等子帶信號之多個子帶權重，以及以該被修改頻譜於該等帶信號相應頻率範圍以上的多個頻點進行一第一頻-時轉換運算以得到一第一被修改信號之多個取樣點；

對相應該至少一頻帶之每一頻帶之該等子帶信號以相應之該等子帶權重進行一加權和運算以得到至少一被修改帶信號之一被修改帶信號；

對該至少一被修改帶信號相應同一時間之至少一取樣點進行一第二頻-時轉換運算以得到一第二被修改信號之多個取樣點；以及對該第二被修改信號之該等取樣點與該第一被修改信號於相應時間之多個取樣點進行一加法運算以得到一輸出音訊之多個取樣點。

200:混合式音訊處理系統

201:成幀與時-頻轉換器

202:低分析濾波器組

203:核心信號處理單元

204:頻-時轉換器

205:子帶組合器

206:加法器

400:分析濾波器組

401:子帶響應預補償器

402:多個一階IIR子濾波器

403:多個二項式組合與旋轉器

700:混合式音訊處理系統

701:高分析濾波器組

702:多個移頻器

703:核心信號處理單元

704:子帶組合器

900:混合式音訊處理系統

901-1:第一成幀與時-頻轉換器

901-2:第二成幀與時-頻轉換器

902:至少一分析濾波器組

903:核心信號處理單元

904:至少一子帶組合器

905-1:第一頻-時轉換器

905-2:第二頻-時轉換器

906:加法器

〔圖1〕係習知之一典型之靜態輸入-輸出頻率特性曲線。

〔圖2〕係本發明之第一實施例之一混合式音訊處理系統之方塊圖。

〔圖3〕係本發明之第二實施例之一混合式音訊處理程序之流程圖。

〔圖4〕係本發明之一分析濾波器組之方塊圖。

〔圖5〕係本發明之一濾波器組運算程序之流程圖。

〔圖6〕係本發明之採二階二項式組合與旋轉器的分析濾波器組之響應圖。

〔圖7〕係本發明之第三實施例之一混合式音訊處理系統方塊圖。

〔圖8〕係本發明之第四實施例之一混合式音訊處理程序之流程圖。

〔圖9〕係本發明之第五實施例之一混合式音訊處理系統之方塊圖。

〔圖10〕係本發明之第六實施例之一混合式音訊處理程序之流程圖。

為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明，下文特列舉本發明之較佳實施例，並配合所附圖式，詳細說明本發明的構成內容及所欲達成之功效。

人耳聽覺有濾波分頻的結構，一般稱為聽覺濾波器，其特性是越高頻的信號其相應的濾波處理有越寬頻的表現，該濾波處理之頻寬通常被稱為臨界帶(critical band)寬。而對較低頻的信號(如500Hz或以下)其相應的臨界帶寬約略維持不變。因此，文獻中音訊處理系統之濾波器組通常被設計成近似於聽覺濾波器之組態，即在低頻處配置窄頻之子帶濾波器，越高頻處則配置越寬頻之子帶濾波器。該設計之組態導致系統對高頻聲處理延時短，反應速度很快，但對越低頻聲處理延時越長。然而從聽覺實驗及一般生活經驗中可得，人耳聽覺對音訊延遲的主觀感受大致受所聽到之音訊中各頻率音訊延遲對各頻率音量的加權和影響。自然界常見的聲音能量有相當高比例集中在中低頻段(約在數百Hz至1kHz間)。因此除非刻意留意聆聽高頻音，聽者對一音訊延遲長短的印象通常由該音訊之該中低頻成份主導。

相較於習知音訊處理系統近似於聽覺濾波器之組態，本發明之第一實施例之一混合式音訊處理系統200之設計理念則是逆向操作，嘗試合併時域音訊處理以獨立調整(放寬)低頻濾波頻寬。該混合式音訊處理系統200包括一頻域音訊處理路徑與一時域音訊處理路徑。其中該時域音訊處理路徑以相對較短處理延時，較低的頻率解析度之運算處理該輸入音訊之頻率較低，相對能量強的成份，該頻域音訊處理路徑以相對較長處理延時，較高的頻率解析度之運算處理該輸入音訊之中高頻率，相對能量弱的成份。又，不論採用頻域處理或時域處理，若系統實施的移頻處理支援前述之多種移頻特性，則需要較高頻率解析度的濾波分頻以對各頻率音訊成份作較準確的移頻，尤其在該移頻特性曲線斜率遠離1的區段。而不論採用頻域或時域信號處理，提升頻率解析度都會增加信號處理延時。我們認為，若選用的算法對於較低頻處之頻率解析度的需求可以降低，音訊處理系統之處理延時對人耳聽覺的影響即可有效降低。限制移頻運算在低頻的操作，並搭配濾波器組作低頻音訊處理的設計，是本發明降低系統之低頻音訊延時之對策的核心，其可有效改善聽者對整體音訊延時的觀感。

該混合式音訊處理系統200架構圖揭示於圖2，其包括一成幀與時-頻轉換器201、一低分析濾波器組202(註)、一核心數位信號處理單元203、一頻-時轉換器204、一子帶組合器205、以及一加法器206。以下說明該混合式音訊處理系統200各部件實施細節。註：一分析濾波器組是由多個平行的濾波器(以下稱為子帶濾波器)構成，該等子帶濾波器分別相應多個相異頻段(以下稱為子帶)，其含蓋該輸入信號之部份頻段或者全頻段。該等子帶濾波器的輸入信號皆為該分析濾波器組之一輸入信號。相應各子帶之子帶濾波器輸出信號則稱為子帶信號。

該成幀與時-頻轉換器201將一輸入音訊(註)依時間劃分成幀長為R個取樣點，幀間距為N個取樣點之多個音訊幀(N

R/2)，並將該等音訊幀分別作一時-頻轉換運算以產生多個輸入頻譜。若採用一R點之短時傅利葉轉換，其可表示為：

其中g為頻點(frequency bin)編號，h為幀編號，X _g為該輸入頻譜之編號g頻點值，x為該輸入音訊，W _ANA為該R點之短時傅利葉轉換之分析窗函數，其參數在[0,R-1]範圍內有非零值。該R點之時-頻轉換運算將頻譜以相應於等距頻點之R個複數型頻譜值表示，其頻譜之幀率為f _SAM/N。該短時傅利葉轉換及其逆轉換方式可參照參考文獻5。又，因音訊為實數型信號，其頻譜於Nyquist頻率(相應編號R/2頻點)之兩側互為複數型共軛(complex conjugate)，故後級各式頻域信號處理僅需對音訊頻譜之單側頻譜進行，再取其共軛值產生另一側頻譜值。註：該輸入音訊通常為一數位化之波形，其可能來自一類比-數位轉換器輸出或來自一音訊儲存裝置，或者再經降取樣器降低取樣頻率至僅保留聆聽者之可聽頻率範圍後輸入該混合式音訊處理系統200。降取樣除避免運算浪費在處理聽者感知不到的高頻聲，也可避免聽者感知不到的高頻聲的波形佔用有限的數值運算動態範圍。

該低分析濾波器組202相應S _L個低頻子帶，其頻率範圍介於零頻(DC)至一起始頻率f _START間，並依中心頻率由低至高編號。該低分析濾波器組202將該輸入音訊依該等子帶作濾波分頻以產生S _L個低子帶信號。該低分析濾波器組202可以採用習知濾波器組設計，亦可採用本發明提出之分析濾波器組設計，其實施細節於段落[0039]~[0043]介紹。

該核心數位信號處理單元203對該等輸入頻譜執行包含一移頻處理之頻域信號處理以產生多個被修改頻譜。該核心數位信號處理單元203還利用該等輸入頻譜與該等被修改頻譜決定該等低子帶信號相應之多個子帶權重。例如，若該核心數位信號處理單元203之該移頻處理不會把頻率高於f _START的頻譜成份移至低於f _START之頻率(此假設於一般非線性移頻設計通常成立)，則可用該等被修改頻譜與相應之該等輸入頻譜中最接每一低頻子帶之中心頻率之頻點的譜值決定該等子帶權重。此運算可以表示為：

其中n為取樣時間足標，h為相應取樣時間n之幀編號或頻譜編號，w _L,s為相應編號s低子帶信號之一子帶權重，round為四捨五入之取整函數，f _LSB,s為編號s低頻子帶之中心頻率，g為頻譜上相應f _LSB,s之整數頻點編號，X _g、Y _g分別為該輸入頻譜以及該被修改頻譜於編號g頻點之相應譜值，△為一正實數小值，其用以避免分母過小造成該子帶權重過大，其餘符號同前述。

公式(2)之子帶權重w _L,s在相應同一幀編號之N個取樣週期中維持相同值，此相當於零階保持(zero-order hold)之特性在子帶權重迅速改變時易產生混疊失真(aliasing distortion)。欲減低該效應，可在計算子帶權重時加入一抗混疊(anti-aliasing)之低通濾波運算。又，若算法需保留相位資訊於該等子帶權重，則省略公式(2)之絕對值運算。

上述該混合式架構對低頻音訊的處理仍保有足夠的算法彈性，因為相當多頻域音訊處理運算法如等化(equalization)、動態範圍壓縮(dynamic range compression)、降噪(noise reduction)、去殘響(dereverberation)、音源分離(source separation)、回授/嘯音抑制(feedback/howling reduction)等皆可等效於將一頻譜之各頻率成份以一權重調整其強度或相位以得到一輸出之頻譜。

另外就移頻處理而言，該核心數位信號處理單元203僅對該等輸入頻譜中該起始頻率以上區段實施移頻處理。該移頻處理之細節可參考如相位聲碼器之移調處理算法[3]，其分析一頻譜以轉換成分音表示(partial representation)，即將該頻譜表示為在頻域分佈之多個分音，其每一者相應該頻譜中包括一區域最大值之一頻段；接著將該等頻段之譜值分別依其相應之分音之中心頻率移頻，補償相位與增益後實施疊加(overlap-add)運算以產生一被移頻頻譜。此類移頻算法可廣泛支援線性移頻特性以及非線性移頻特性，並適合處理複雜環境/多音型輸入音訊，惟其對該輸入頻譜之頻譜解析度有較高要求。

該頻-時轉換器204以該等被修改頻譜之每一者於該等低頻子帶頻率範圍以上的多個頻點作一R點之頻-時轉換運算，如採用一R點之加權疊加法(weighted overlap-add method，其為公式(1)之該R點之短時傅利葉轉換之一種逆轉換方法)以產生一第一被修改信號。此運算可表示為：

其中h為幀編號，g _START為頻譜上相應於該等低頻子帶之頻率範圍上限之頻點編號，y _h為編號h被修改信號幀，real為取實部之函數，y _MOD1為該第一被修改信號，W _SYN為該R點之加權疊加法之合成窗函數，其參數在[0,R-1]範圍內有非零值，其餘符號同前述。因音訊頻譜於DC或Nyquist頻率作共軛對稱，該核心數位信號處理單元203可僅計算公式(3)中該被修改頻譜之單側頻譜，即g

[0,R/2]範圍內之譜值，對側頻譜各頻點值則表示為：

其符號皆同前述。

該子帶組合器205將多個子帶組合器輸入信號以相應之該等子帶權重作一加權和運算以產生一第二被修改信號，其中該等子帶組合器輸入信號包括該等低子帶信號。該加權和運算可表示為：

其中n為取樣時間足標，y _MOD2為該第二被修改信號，S _L為該低分析濾波器組202之子帶個數，y _FB,s為該分析濾波器組202的編號s低子帶信號，其餘符號同前述。因系統輸出為音訊信號，其僅針對該等子帶信號加權後之實部信號作加總。又w _L,s的型態視該核心數位信號處理單元203的運算而定。如果為不對信號作相位修改，則w _L,s為實數型態，公式(6)之該等子帶信號可僅保留實部運算如：

其符號皆同前述。

該加法器206將該第一被修改信號與該第二被修改信號相加以產生該混合式音訊處理系統200之一輸出音訊，其可表示為：

y[n]=y _MOD1[n]+y _MOD2[n] (8)其中y為該濾波器組系統400之該輸出音訊，其餘符號同前述。該輸出音訊可能輸出至一數位-類比轉換器轉換為類比波形，可能輸出至儲存裝置或用以執行其它系統應用，也可能通過升取樣(up-sampling)後再提供給上述應用。

該混合式音訊處理系統200可與採用一側分枝架構之系統(參照參考文獻6、參考文獻7)相比較。該側分枝架構的特點也在縮短系統之信號處理延時。該側分枝架構是基於該頻域信號處理對於一輸入音訊之頻譜施予一組與頻率相依之增益。如此，將其被修改之頻譜轉換回時域後所得一輸出音訊可近似為將該輸入音訊通過一時域濾波器之一輸出音訊，其中該時域濾波器之係數近似該組與頻率相依之增益通過一頻-時轉換所得之一衝激響應。實務上該時域濾波器一般為一有限衝激響應(finite impulse response,or FIR)濾波器，其以該衝激響應之中相對功率夠高之一段響應為其係數，並捨棄該衝激響應頭尾端之微弱響應值以縮短該時域濾波器之響應長度與群延時。

採用該側分枝架構之音訊處理系統與該混合式音訊處理系統200之差異在於：

- 時域濾波器響應不同：實務上，該側分枝架構之該時域濾波器係數是由該衝激響應裁切後所得。因須較佳近似各頻點之頻域信號處理增益，該衝激響應不能被捨棄太多，因此該時域濾波器階數與群延時的縮短均受限。該衝激響應階數可能很高，拉高系統整體運算量。相對的，該混合式音訊處理系統200依子帶權值動態調整該分析濾波器組整體響應。因其不對時域響應操作，沒有縮短時域響應造成的精確度問題。

- 運算量不同：該混合式音訊處理系統200之該分析濾波器組僅含蓋低頻範圍，子帶濾波器組數不多。若加上採用本發明之基於無限衝激響應(infinite impulse response，or IIR)子濾波器之分析濾波器組，其運算量需求明顯低於該側分枝架構之該時域濾波器。

- 輸出音訊的來源不同：在該側分枝架構中，該輸出音訊由該時域濾波器產生。該頻域信號處理僅提供該時域濾波器之係數，不產生輸出音訊。在該混合式音訊處理系統200中，時域濾波器與頻域信號處理兩路徑分別負責產生屬於不同頻段之被修改信號後，該二被修改信號再被合併成為一輸出音訊。

- 支援功能不同：該側分枝架構原則上不支援移頻功能，因該頻域信號處理不產生音訊，且該時域濾波器沒有移頻效果。該混合式音訊處理系統200則支援移頻功能，因有頻域信號處理路徑提供移頻處理並產生音訊。

除以一實體裝置實施外，該混合式音訊處理系統200之功能亦可用執行於至少一處理器之一等效程序實施。圖3為本發明之第二實施例之混合式音訊移頻程序之流程圖。因在即時音訊處理應用需儘量縮短處理延時，該流程步驟將一連續輸入音訊作重覆之分段處理；前面步驟得到之一輸出信號片段隨即供後面步驟進行運算，無需等待前面步驟得到完整輸出信號。以下在說明該混合式音訊處理程序之流程步驟時參考公式(1)~(8)及其相應文字。

在圖3中，準備一輸入音訊之至少一取樣點(步驟S100)，其為後續基於點之運算程序之輸入。該至少一取樣點相應的時間長度低於一音訊幀的時間長度。

將該輸入音訊之該至少一取樣點計入多個音訊幀(即在該等音訊幀之每一者現存音訊之尾端續接該至少一取樣點)，並對該輸入音訊之該至少一取樣點執行相應多個低頻子帶之一濾波器組運算程序以得到多個低子帶信號，其每一者包括至少一取樣點，該等低頻子帶之頻率範圍不高於一起始頻率(步驟S101)。參考段落[0016]之描述，該輸入音訊被分切成時間重疊之音訊幀，因此一取樣點對應多個音訊幀。該等音訊幀之每一者需累積取樣點至一完整幀長，其相應之頻域信號處理才能開始進行。該濾波器組運算程序可以採用習知之濾波器組運算方式，亦可採用本發明提出之一濾波器組運算程序，其可參考段落[0044]~[0047]說明。

檢查是否有一音訊幀就緒(步驟S102)，即其取樣點數累積滿一幀。若有任一音訊幀就緒則從步驟S103繼續執行，否則從步驟S106繼續執行。

對該已就緒之音訊幀進行一時-頻轉換運算以得到一輸入頻譜(步驟S103)。該時-頻轉換運算可採用相應公式(1)之運算，其可參考段落[0016]之說明。

對該輸入頻譜執行一頻域信號處理程序以得到一被修改頻譜，並利用該被修改頻譜與該輸入頻譜決定該等低子帶信號相應之多個子帶權重(步驟S104)。該頻域信號處理程序可參考段落[0018]~[0021]之說明。

以該被修改頻譜於該等低頻子帶頻率範圍以上的多個頻點進行一頻-時轉換運算以得到一第一被修改信號之多個取樣點(步驟S105)。該頻-時轉換運算採用相應公式(3)~(5)之運算，其可參考段落[0022]之說明。

將多個子帶組合程序輸入信號以相應之該等子帶權重進行一加權和運算以得到一第二被修改信號之至少一取樣點(步驟 S106)，其中該等子帶組合程序輸入信號包括該等低子帶信號。參考段落[0023]之說明，該加權和運算採用相應公式(6)之運算，因系統輸出為音訊信號，其僅針對該等子帶信號加權後之實部信號作加總。若該等子帶權重為實數型態，該加權和運算可再化簡成相應公式(7)之運算。

對該第二被修改信號之該至少一取樣點與該第一被修改信號於相應時間之至少一取樣點進行一加法運算以得到一輸出音訊之至少一取樣點(步驟S107)。其後，回到步驟S100。

在該混合式音訊處理系統200中，該低分析濾波器組202雖然僅處理低頻段音訊，但其運算量仍佔該系統整體運算量的一個顯著比例。欲降低該時域音訊處理路徑之運算量，除了實施多率處理 (註)外還可優化該濾波器組架構設計仍可獲得相當的效益。註：降低窄頻之子帶之音訊處理速率，在此處即降低從該低分析濾波器組202至該子帶組合器205間之音訊取樣率。此方式運作之前提為該起始頻率低於Nyquist頻率的一半。

本發明接下來提出可供該低分析濾波器組202採用或供一濾波器組運算程序採用之一分析濾波器組架構。相較於習知的濾波器組設計，該分析濾波器組設計擁有更低的運算量需求，以及良好的濾波器群延時特性。圖4為該分析濾波器組方塊圖。該相應S個子帶之分析濾波器組400包括一子帶響應預補償器(sub-band response pre-compensator)401、K個平行的一階IIR子濾波器402、以及S個平行之基於一組M階二項式權重的組合器與旋轉器(以下稱為M階二項式組合與旋轉器)403。又為便於說明，該等子帶依其中心頻率由低至高編號

該分析濾波器組400產生之每一個子帶信號係由一相應的M階二項式組合與旋轉器將該等IIR子濾波器401輸出信號(以下簡稱為子濾波信號)的一子集以該組M階二項式權重加權組合並作相位旋轉所產生的信號。其可等效於將分析濾波器組400的一輸入信號通過多個獨立濾波器(以下稱為子帶等效濾波器)後所產生的信號。

該子帶響應預補償器401作用為改變該分析濾波器組400之該等子帶等效濾波器的頻率響應，其係將該分析濾波器組400的輸入信號作一線性濾波處理產生一響應預補償信號。例如在等寬子帶之分析濾波器組中，該子帶響應預補償器401運算為：

其中x為該分析濾波器組400的輸入信號，

為該響應預補償信號，D為該子帶響應預補償器401的濾波器長度，C _CMP為可調參數，BW _SB為子帶帶寬，其餘符號同前述。C _CMP的調整目標在於抵消該子帶響應預補償器401未作用(即C _CMP=0)時該分析濾波器組400頻率響應的加總(以下稱為總響應)之增益與群延時波動。

該等平行的一階IIR子濾波器402具相異之中心頻率，且依中心頻率由低至高編號。該等IIR子濾波器分別將該響應預補償信號作複數型一階IIR濾波運算，產生多個子濾波信號。該濾波處理可用以下運算表示：

其中k為IIR子濾波器的編號，n為取樣時間足標，y _IIR,k為編號k子濾波信號，a _k、b _k分別為編號k IIR子濾波器之一複數型的反饋係數(feedback coefficient)與一實數型的前饋係數(feedforward coefficient)，其餘符號同前述。a _k、b _k之設定為：

其中f _IIR,k、BW _IIR,k分別為編號k IIR子濾波器的中心頻率與頻寬(註)，其餘符號同前述。μ、ρ是適用於該等IIR子濾波器402之二可調參數，其中μ的調整目標在於讓該分析濾波器組400的總響應在相應之該等子帶含蓋頻率範圍內增益大致維持平坦不傾斜，ρ的調整目標在於使該分析濾波器組400的總響應在相應之該等子帶含蓋頻率範圍內增益平均值維持在0dB左右。註：該等IIR子濾波器402的每一IIR子濾波器頻寬由其相應至少一子帶之頻寬決定。例如在每一子帶等頻寬之設計中，該等IIR子濾波器402具有相同頻寬。

該等M階(M

1)二項式組合與旋轉器403之每一者將該等子濾波信號之M+1個子濾波信號以該組M階二項式權重作一加權和運算，並將該加權和運算結果隨相應子帶之中心頻率旋轉一相位以產生該等子帶信號之一子帶信號(該等子帶依中心頻率由低至高編號，故該相位可設為正比於子帶編號s)。該M+1個子濾波信號由該等IIR子濾波器402之M+1個中心頻率相鄰(即編號連續)之IIR子濾波器產生。該組M階二項式權重的編號m權重，即為(1-x)^M展開成多項式的第m次項係數，其可表示為：

該M階二項式組合與旋轉器403的運算如以下表示：

其中s為組合與旋轉器編號(即相應子帶之編號)，y _FB,s為該分析濾波器組400的編號s子帶信號，θ為相鄰子帶之間的旋轉相位差異，其單位為弧(radian)，k _s為該編號s之M階二項式組合與旋轉器選用的多個IIR子濾波器的最低編號，

為編號k _s+m子濾波信號，其餘符號同前述。

若該等M階二項式組合與旋轉器403中之任兩編號相鄰者共用P個子濾波信號，則k _s可表示為：

該分析濾波器組400的IIR子濾波器個數為K=(M-P+1)．S+P。

公式(14)中隨子帶編號旋轉相位之作用在於調整該分析濾波器組400的總響應，使各子帶信號大致同調(加總時不相互抵消)，並縮小該分析濾波器組400輸出訊號的延時。為節省複數型乘法運算，建議設定相鄰子帶相位差值θ為-π/2的整數倍。又，上述線性運算如該等IIR濾波、基於二項式權重之加權組合、或相位旋轉等，其運算對調順序抑或合併該等運算均不影響其運算結果。圖4及相應公式(10)(14)僅表示其中一種運算順序。

除以一實體裝置實施外，該相應多個子帶之分析濾波器組400之功能亦可用執行於至少一處理器之一等效程序實施。圖5為本發明之相應多個子帶之一濾波器組運算程序之流程圖。該流程步驟著重在對於一連續輸入音訊之一片段的處理方法，此因在即時音訊處理應用中，各步驟均將信號作分段運算處理；後面步驟可採用前面步驟運算得到之一輸出信號片段作為輸入並隨即進行運算，無需等待前步驟得到完整輸出信號。以下在說明該濾波器組運算程序之流程步驟時參考公式(9)~(15)及其相應說明文字。

在圖5中，對一輸入信號之至少一取樣點進行一線性濾波運算以得到一響應預補償信號之至少一取樣點(步驟S201)。參考段落[0039]之說明，該線性濾波運算相應公式(9)運算，其作用在於使子帶等效濾波器之頻率響應更平坦，並抵消總響應之增益與群延時波動。

對該響應預補償信號之該至少一取樣點進行中心頻率相異之多個複數型一階IIR濾波運算以得到多個子濾波信號(步驟S202)。參考段落[0040]之說明，該等濾波運算採用相應公式(10)~(12)運算。該等子濾波信號其每一者包括之至少一取樣點。

從該等子濾波信號中選擇相應該等子帶之多個子集，將該等子集之每一子集相應同一時間之多個子濾波信號取樣點以一組二項式權重進行一加權和運算，並對該加權和運算結果隨相應子帶中心頻率進行一相位旋轉運算以得到多個子帶信號之一子帶信號(步驟S203)。參考段落[0041]~[0043]之說明，該二項式權重相應公式(13)，該加權和運算及該相位旋轉運算相應公式(14)之運算。該等子帶信號之每一者包括之至少一取樣點。

圖6為本發明之一採用二階二項式組合與旋轉器的等寬子帶分析濾波器組範例。其中實線為其子帶等效濾波器響應，虛線為該分析濾波器組的總響應，為使圖示清晰，範例採較少子帶之設定。假設該輸入音訊取樣頻率為12kHz，該起始頻率約為1.67kHz，則該分析濾波器組有5個子帶，每個子帶帶寬為333Hz。該分析濾波器組需11個一階IIR子濾波器，每一子帶信號由三個子濾波信號組成，其中二個IIR子濾波器的中心頻率位於該子帶與相鄰二子帶交界，另一IIR子濾波器的中心頻率位於該子帶中心。從圖示可見，在相鄰子帶中心，該子帶等效濾波器有約18dB左右之衰減。該分析濾波器組的總響應僅在該起始頻率附近有變化，其它頻率普遍算平坦。從衝激響應可看到低頻信號之群延遲約為1.5ms。

另外，若該低分析濾波器組400設定相應非等寬子帶，上述分析濾波器組設計公式均可套用，惟需要注意：

- 在相應之子帶非等寬時，該低分析濾波器組400中的該子帶響應預補償器401不能有效發揮作用，此時可停止使用該子帶響應預補償器401，選擇該低分析濾波器組400之輸入音訊作為該等IIR子濾波器402之輸入信號。

- 若採用等寬子帶之組態的分析濾波器組，則該等平行的IIR子濾波器中各b _k值相同，可移出濾波器公式(10)(如該輸入信號先乘上b _k再進入該低分析濾波器組400)以再減少運算量。但採用非等寬子帶之組態時，因IIR子濾波器頻寬BW _k隨編號k變化，b _k數值亦隨之改變，故不能作上述公式化簡。

以下舉例討論上述二實施例採用本發明提出之該分析濾波器組或該濾波器組運算程序時之算法延時。假設輸入音訊取樣頻率為12kHz，算法頻率解析度需求在50Hz附近，約為人耳之低頻臨界帶寬度之一半。該成幀與時-頻轉換器201的幀長設定為256取樣點。又假設f _START為1kHz，該低分析濾波器組202採用一階二項式組合與旋轉器，從DC至1kHz頻率切分20個子帶。如此該第一被修改信號的延時約為21.3ms，該第二被修改信號的延時(接近該低分析濾波器組202之群延時)約為10ms。該第一被修改信號之處理延時可被常態聽覺(normal hearing)之聽者察覺到。但對於處理一般語樂音而言，整體輸出音訊功率大部份來自該第二被修改信號，因此聽者感受之音訊延時較不明顯(接近10ms)。另外，因不作移頻處理，算法對於該時域處理路徑所需要的頻率解析度應該更低，因此實務上該時域處理路徑可採用更寬頻之子帶，具更低延時之分析濾波器組。

第一實施例以及第二實施例雖然可支援非線性移頻功能並以一時域音訊處理路徑降低聽者對音訊延時的感受，其分析濾波器架構採用階數最低IIR子濾波器以及子帶間共用該等IIR子濾波器，亦使該時域處理路徑所需的運算量得到一定控制。但該混合式音訊處理系統或處理程序仍有待改進之處，如：

- 其對於高頻音訊(如語音之子音)所造成的處理延時相較於時域信號處理系統仍然較高。

- 該分析濾波器組運算量仍是該系統或該處理程序整體運算量的關鍵。假設分析濾波器組之頻帶頻寬為固定(因頻域信號處理對解析度的要求為固定)，則隨該起始頻率設定提高，分析濾波器組之子帶個數隨之上升，該系統或該處理程序整體運算量將迅速增加。因此仍需要嘗試提高該濾波器組之運算效率。本發明接下來提出之多個系統或處理程序之實施例，分別針對上述問題再強化系統設計。

圖7為本發明之第三實施例之一混合式音訊處理系統架構圖。該混合式音訊處理系統700包括一成幀與時-頻轉換器201、一低分析濾波器組202、一高分析濾波器組701、多個移頻器702、一核心數位信號處理單元703、一頻-時轉換器204、一子帶組合器704、以及一加法器206。相較於第一實施例，第三實施例之該混合式音訊處理系統700更包括該高分析濾波器組701及該等移頻器702，其對該輸入音訊於一交界頻率f _BNDH以上之高頻成份增加一低延時之時域處理路徑以提供相應之時域移頻功能。此目的在增加對於非線性移頻功能的支援，使被移頻之高頻音訊成份亦具有低延時的表現。但在既有之頻域處理路徑上原移頻功能仍保留，因此以輸入-輸出移頻特性曲線而言，此設計相當於在f _BNDH至Nyquist頻率之頻率區間提供一對二之映射特性，即該輸入音訊之一頻率成份可有二複製品(replicas) 移頻至二個相異頻率。以下繼續說明該混合式音訊處理系統700各部件實施細節。

該成幀與時-頻轉換器201將一輸入音訊作幀化與時-頻轉換運算以產生一輸入頻譜。其運算方式同第一實施例之該成幀與時-頻轉換器201。

該低分析濾波器組202同第一實施例之該低分析濾波器組202，其相應頻率範圍在DC至該起始頻率間之S _L個低頻子帶，並將該輸入音訊作濾波分頻以產生S _L個低子帶信號。該低分析濾波器組202可採用習知之濾波器組架構，或採用本發明提出之該分析濾波器組架構(參考圖4及其相應公式)。

該高分析濾波器組701相應頻率範圍高於該交界頻率f _BNDH之S _H個高頻子帶，並將該輸入音訊作濾波分頻以產生S _H個高子帶信號。該高分析濾波器組701可採用習知之濾波器組架構，或採用本發明提出之該分析濾波器組架構(參考圖4及其相應公式)。若採用本發明提出之該分析濾波器組架構，為再提高該高分析濾波器組701頻率響應之低頻側衰減，該子帶響應預補償器之運算(原為公式(9))可改為：

其中

為該高分析濾波器組701之子帶響應預補償器的輸出信號，其餘符號同前述。又為搭配公式(16)運算，該高分析濾波器組701之該等平行IIR子濾波器之b _k設定(原為公式(12))相應改為：

其中f _HIIR,k、BW _HIIR,k分別為該高分析濾波器組701之編號k IIR子濾波器之中心頻率與頻寬，其餘符號皆同前述。該等平行的IIR子濾波器依公式(10)(11)(17)運算(式中

以

代入)。又因b _k隨頻率改變，故不能作如前述等頻寬子帶之組態的濾波器公式化簡。

該核心數位信號處理單元703對該輸入頻譜執行包含移頻處理之指定的頻域信號處理以產生相應之一被修改頻譜，並決定相應該等低子帶信號的多個子帶權重以及相應該移頻器702產生之多個被移頻子帶信號的多個子帶權重。參考段落[0018]之說明，相應該等低子帶信號的該等子帶權重之運算可採用如公式(2)之運算。相應該等被移頻子帶信號的該等子帶權重之運算則可表示為：

其中s為高頻子帶編號，f _HSB,s為編號s高頻子帶中心頻率，g為f _HSB,s相應於該輸入頻譜或該被修改頻譜之整數頻點編號，

[h]為未進行移頻之被修改頻譜於編號g頻點之相應譜值，w _H,s為相應編號s被移頻子帶信號之一子帶權重，其餘符號同前述。

該等移頻器702分別將該等高子帶信號依相應之多個子帶移頻量作移頻處理，產生該等被移頻子帶信號，其中相應編號s子帶信號的移頻運算可表示為：

其中y _HFB,s為該高分析濾波器組701產生之編號s高子帶信號，f _SHF,s為編號s子帶移頻量，y _SHF,s為編號s被移頻子帶信號，其餘符號同前述。f _SHF,s為將編號s高頻子帶之中心頻率f _HSB,s代入一輸入-輸出移頻特性產生的固定移頻量。

該子帶組合器704將多個子帶組合器輸入信號以該核心數位信號處理單元703決定之相應子帶權重作一加權和運算以產生該第二被修改信號，其中該等子帶組合器輸入信號包括該等低子帶信號以及該等被移頻子帶信號。該加權和運算可表示為：

其中y _LFB,s為該低分析濾波器組202之編號s低子帶信號，其餘符號同前述。

該頻-時轉換器204將每一被修改頻譜相應頻率高於f _START的成份作一頻-時轉換運算以產生該第一被修改信號。其運算方式參照第一實施例之該頻-時轉換器204。

最後，該加法器206將該第一被修改信號與第二被修改信號相加以產生一輸出音訊。

第三實施例之高頻音訊時域處理路徑作移頻處理時，有一個可能發生的狀況是：當輸入音訊成份落在高頻子帶交界處時，該音訊成份將在相鄰之多個子帶濾波器分別被濾出來，並分別被付予相異的移頻量。如此多個被移頻信號版本相加將產生明顯可被注意的低頻干涉效應，或稱為拍頻(beat)。欲降低拍頻效應，一種解決方式是降低該高分析濾波器組701之各子帶等效濾波器之間的頻率響應重疊度。例如以本發明提出之該分析濾波器設計而言，可以提高二項式階數，並降低被共用之該等IIR子濾波器數量，如此即可降低各子帶等效濾波器之間的頻率響應重疊度。雖然頻率響應重疊度降低會造成輸入信號之部份頻率被該高分析濾波器組701高度衰減，但因該高分析濾波器組701僅處理高頻音訊成份，在被明顯衰減的頻率成份比例不高的狀況下，該缺失不至明顯影響語音/樂音品質。

除以一實體裝置實施外，該混合式音訊處理系統700之功能亦可用執行於至少一處理器之一等效程序實施。圖8為本發明之第四實施例之混合式音訊移頻程序之流程圖。以下在說明該混合式音訊處理程序之流程步驟時參考公式(16)~(20)及其相應文字。

在圖8中，準備一輸入音訊之至少一取樣點(步驟S300)，其為後續基於點之運算程序之輸入。該至少一取樣點相應的時間長度低於一音訊幀的時間長度。

將該輸入音訊之該至少一取樣點計入多個音訊幀，並對該輸入音訊之該至少一取樣點分別進行相應多個低頻子帶之一濾波器組運算程序以及相應多個高頻子帶之一高濾波器組運算程序以分別得到多個低子帶信號以及多個高子帶信號，其中該等低頻子帶之頻率範圍不高於一起始頻率，該等高頻子帶之頻率範圍高於一交界頻率(步驟S301)，該等低子帶信號以及該等高子帶信號之每一者包括至少一取樣點。該濾波器組運算程序及該高濾波器組運算程序可以採用習知之濾波器組運算方式。若採用採用本發明提出之該濾波器組運算程序，其可參考段落[0044]~[0047]之說明，該高濾波器組運算程序可參考公式(16)、(17)以及段落[0044]~[0047]、[0055]說明，其修改該子帶響應預補償器之運算以增加頻率響應之低頻側衰減。

檢查是否有一音訊幀就緒(步驟S302)，即其取樣點數累積滿一幀。若有任一音訊幀就緒，則從步驟S303繼續執行，否則從步驟S306繼續執行。

對該已就緒之音訊幀進行一時-頻轉換運算以得到一輸入頻譜(步驟S303)。該時-頻轉換運算可採用相應公式(1)之運算，其可參考段落[0016]之說明。

對該輸入頻譜執行一頻域信號處理程序以得到一被修改頻譜，並利用該被修改頻譜與該輸入頻譜決定相應該等低頻子帶信號之多個子帶權重以及相應多個被移頻子帶信號之多個子帶權重(步驟S304)。該頻域信號處理程序以及該等子帶權重之決定方式可參考段落[0056]之說明。

以該被修改頻譜於該等低頻子帶頻率範圍以上的多個頻點進行一頻-時轉換運算以得到一第一被修改信號之多個取樣點(步驟S305)。該頻-時轉換運算採用相應公式(3)~(5)之運算，其可參考段落[0022]之說明。

對該等高子帶信號依相應之多個子帶移頻量進行一移頻運算以得到該等被移頻子帶信號(步驟S306)，其每一者包括至少一取樣點。該移頻運算採用相應公式(19)之運算，並參考段落[0057]之說明。

將多個子帶組合程序輸入信號以相應之該等子帶權重進行一加權和運算以得到一第二被修改信號之至少一取樣點(步驟S307)，其中該等子帶組合程序輸入信號包括該等低子帶信號以及該等被移頻子帶信號。該加權和運算採用相應公式(20)之運算，並參考段落[0058]之說明。

對該第二被修改信號之該至少一取樣點與該第一被修改信號於相應時間之至少一取樣點進行一加法運算以得到一輸出音訊之至少一取樣點(步驟S308)。其後，回到步驟S300。

圖9為本發明之第五實施例之一混合式音訊處理系統架構圖。該混合式音訊處理系統900包括一第一成幀與時-頻轉換器901-1、一第二成幀與時-頻轉換器901-2、L+1個(L

0)分析濾波器組902、一個核心數位信號處理單元903、L+1個子帶組合器904、一個第一頻-時轉換器905-1、一個第二頻-時轉換器905-2、以及一個加法器906。相較於第一實施例之該混合式音訊處理系統200，第五實施例之該混合式音訊處理系統900改變濾波器組配置方式以進一步降低運算需求。以下說明該混合式音訊處理系統900各部件實施方法。

該第一成幀與時-頻轉換器901-1將一輸入音訊劃分成幀長為R個取樣點、幀間距為N個取樣點之多個長音訊幀(N

R/2，即相鄰幀彼此部份重疊)，並將其每一長音訊幀作一R點之時-頻轉換運算以產生多個輸入頻譜之一輸入頻譜。該R點之時-頻轉換運算方式參照第一實施例之該成幀與時-頻轉換器201。

該第二成幀與時-頻轉換器901-2將該輸入音訊劃分成幀長為R'個取樣點，幀間距為N'個取樣點之多個短音訊幀(N'

R'/2)，並將其每一短音訊幀作一R'點之時-頻轉換運算以產生多個頻譜之一頻譜。該R'點之時-頻轉換運算相當於將全頻段(DC至該輸入音訊取樣頻率f _SAM)切分為R’個等寬頻帶並作一倍率N'之抽取(各頻帶依其中心頻率由低至高編號)。該等頻譜相應每一頻帶之多個頻譜取樣點成為一帶信號，其取樣頻率降為f _SAM/N'。若採用一R'點之短時傅利葉轉換，其可表示為：

其中g為頻帶編號，L為最高頻帶編號，其頻率範圍不高於該起始頻率f _START，h為短音訊幀之幀編號，亦為該等帶信號之時間足標，x _BAND,g為編號g帶信號，x為該輸入信號，W' _ANA為該R'點之短時傅利葉轉換之分析窗函數，其參數在[0,R'-1]範圍內有非零值，floor為無條件捨去之取整函數，其餘符號同前述。總而言之，該第二成幀與時-頻轉換器901-2產生相應於編號0至L頻帶之L+1個帶信號。該長音訊幀的長度與幀間距分別為該短音訊幀的長度與幀間距之大於一之一整數倍率J(即J=R/R'=N/N',J>1)。

該L+1個分析濾波器組902分別將該L+1個帶信號依相應之多個子帶作濾波分頻以產生相應該L+1個帶信號之多個子帶信號，其中該等子帶為一帶信號相應之一頻帶再分切成之S個等寬子帶(S

J)。該分析濾波器組可採用習知之濾波器組架構，或採用本發明提出之該分析濾波器組架構(參考圖4及公式(9)~(15))。該L+1個分析濾波器組902共產生S _L=S．(L+1)個子帶信號，每一子帶頻寬為f _SAM/(S．R'))。若選擇S使J為S之一整數倍，則該L+1個分析濾波器組902相應之該等子帶之任一者其中心頻率將對齊於該輸入頻譜之一整數頻點。

該核心數位信號處理單元903對該等輸入頻譜之每一者執行包含移頻處理之指定的頻域信號處理以產生多個被修改頻譜之一被修改頻譜，並利用該被修改頻譜與相應之該輸入頻譜決定相應該L+1個帶信號之該等子帶信號之多個子帶權重。其運算參考公式(2)及段落[0018][0019]之說明。該等子帶權重在相應一長音訊幀編號之J個帶信號取樣週期中維持相同值。又，該核心數位信號處理單元903僅對該等輸入頻譜之每一者中高於該起始頻率的部份作移頻處理。該移頻處理的操作細節可參考如相位聲碼器之移調處理算法[3]。

該第一頻-時轉換器905-1以該等被修改頻譜之每一者於該L+1個帶信號相應頻率範圍以上的多個頻點作一R點之頻-時轉換運算以產生該第一被修改信號。其運算方式參照第一實施例之該頻-時轉換器204。

該至少一子帶組合器904之每一者將相應該L+1個頻帶之一頻帶之該等子帶信號以相應之該等子帶權重進行一加權和運算以產生L+1個被修改帶信號之一被修改帶信號。該加權和運算可表示為：

其中h為該等帶信號之時間足標，y _BAND,g為相應頻帶編號g之被修改帶信號，w _g,v為相應帶頻編號g之編號v子帶信號之子帶權重，y _FS,g,v為相應頻帶編號g之編號v子帶信號，其餘符號同前述。

該第二頻-時轉換器905-2提取該L+1個被修改帶信號相應同一時間之至少一取樣點作一R'點之頻-時轉換(其為一R'點之加權疊加法)以產生一第二被修改信號。因該時域信號處理僅針對頻率範圍在DC至該起始頻率間之L+1個頻帶進行，該R'點之頻-時轉換所需之R'個取樣點之中未相應於該L+1個頻帶者可表示為：

其符號皆同前述。該R'點之頻-時轉換運算可表示為：

其中y _h為編號h第二被修改信號幀；y _MOD2為該第二被修改信號；W' _SYN為該R'點之加權疊加法之合成窗函數，其參數在[0,R'-1]範圍內有非零值；其餘符號同前述。

最後，該加法器906將該第一被修改信號與第二被修改信號相加以產生一輸出音訊。

該混合式音訊處理系統900藉由時-頻轉換運算降低各分析濾波器組之取樣頻率R'倍。如此在子帶總數相同之狀況下，R'值與N'值越高，其各子帶的運算量越可大幅降低。然而此系統之算法延時約為一分析濾波器組群延時加上該第二時-頻轉換/逆轉換的延時(其約為一短音訊幀)。提升該第二成幀與時-頻轉換器之幀長R'與幀間距N'之代價仍是提升延時，故該幀長R'的選擇仍有賴設計者在系統層面對運算量與信號處理延時之取捨(選恰當的短音訊幀長，使系統運算量降至接近以短時傅利葉轉換/逆轉換實施的頻域音訊處理系統架構，但改善信號處理延時至可接受程度)。舉例來說，若將取樣率為12kHz之輸入信號，以將正頻譜切分為128子帶之第一實施例之音訊移頻系統而言，其算法延遲約為具相似頻譜解析度之頻域音訊移頻系統的一半或再稍低，但其運算量(以複數型乘法而言)則將近該頻域音訊移頻系統運算量的二十倍。若採第三實施例之音訊移頻系統，其算法延遲較第一實施例之音訊移頻系統高約1~3ms，但其運算量(以複數型乘法而言)則可壓至具相似頻譜解析度之頻域音訊移頻系統運算量的兩倍左右。因此是相當具有應用潛力的架構設計。

除以一實體裝置實施外，該混合式音訊處理系統900之功能亦可用執行於至少一處理器之一等效程序實施。圖10為本發明之第六實施例之混合式音訊移頻程序之流程圖。以下在說明該混合式音訊處理程序之流程步驟時參考公式(21)~(25)及其相應文字。

在圖10中，準備一輸入音訊之至少一短音訊幀(步驟S400)。

將該輸入音訊之該至少一短音訊幀計入多個長音訊幀，並對該輸入音訊之該至少一短音訊幀分別執行一第二時-頻轉換運算以得到相應至少一(L+1個)頻帶之至少一帶信號，其中該至少一頻帶之頻率範圍不高於一起始頻率(步驟S401)。該長音訊幀的長度與幀間距分別為該短音訊幀的長度與幀間距之一大於一之整數倍。該第二時-頻轉換運算採用相應公式(21)之運算，其可參考段落[0074]之說明。該至少一帶信號之每一者包括相應於一頻帶之至少一頻譜取樣點。

對該至少一帶信號分別執行相應多個子帶之一濾波器組運算程序以得到相應該至少一帶信號之多個子帶信號(步驟S402)，其每一者包括至少一取樣點。參考段落[0075]之說明，該等子帶為一帶信號相應之一頻帶再分切之多個子帶，該濾波器組運算程序可採用習知之濾波器組運算方式，或採用本發明提出之該濾波器組運算程序。

檢查是否有一長音訊幀就緒(步驟S403)。若有任一長音訊幀就緒，則從步驟S404繼續執行，否則從步驟S407繼續執行。

對該已就緒之長音訊幀進行一第一時-頻轉換運算以得到一輸入頻譜(步驟S404)。該第一時-頻轉換運算可採用相應公式(1)之運算，其可參考段落[0073]與[0016]之說明。

對該輸入頻譜執行一頻域信號處理程序以得到一被修改頻譜，並利用該被修改頻譜與該輸入頻譜決定相應該至少一帶信號之該等子帶信號之多個子帶權重(步驟S405)。該頻域信號處理程序可參考段落[0076]之說明。

以該被修改頻譜於該等帶信號相應頻率範圍以上的多個頻點進行一第一頻-時轉換運算以得到一第一被修改信號之多個取樣點(步驟S406)。該第一頻-時轉換運算採用相應公式(3)(4)之運算，其可參考段落[0077]與[0022]之說明。

對相應該至少一頻帶之每一頻帶之該等子帶信號以相應之該等子帶權重進行一加權和運算以得到至少一(L+1個)被修改帶信號之一被修改帶信號(步驟S407)。參考段落[0078]之說明，該加權和運算採相應公式(22)之運算。該至少一被修改帶信號之每一者包括至少一取樣點。

對該至少一被修改帶信號相應同一時間之至少一取樣點進行一第二頻-時轉換運算以得到一第二被修改信號之多個取樣點(步驟S408)。參考段落[0079]之說明，該第二頻-時轉換運算採用相應公式(24)(25)之運算。因該時域處理僅限於DC至該起始頻率之至少一頻帶，該第二頻-時轉換所需之多個取樣點之中若有未相應於該至少一頻帶者則採用相應公式(23)之運算。

對該第二被修改信號之該等取樣點與該第一被修改信號於相應時間之多個取樣點進行一加法運算以得到一輸出音訊之多個取樣點(步驟S409)。其後，回到步驟S400。

雖然本發明已參照較佳具體例及舉例性附圖敘述如上，惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化，均不離開本發明之請求項之所主張範圍。