TWI821922B - 用以呈現音訊物件之設備與方法 - Google Patents
用以呈現音訊物件之設備與方法 Download PDFInfo
- Publication number
- TWI821922B TWI821922B TW111107353A TW111107353A TWI821922B TW I821922 B TWI821922 B TW I821922B TW 111107353 A TW111107353 A TW 111107353A TW 111107353 A TW111107353 A TW 111107353A TW I821922 B TWI821922 B TW I821922B
- Authority
- TW
- Taiwan
- Prior art keywords
- loudspeakers
- loudspeaker
- translation
- virtual position
- signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000009877 rendering Methods 0.000 title abstract description 36
- 238000004091 panning Methods 0.000 claims abstract description 39
- 238000013519 translation Methods 0.000 claims description 240
- 230000036961 partial effect Effects 0.000 claims description 142
- 238000007493 shaping process Methods 0.000 claims description 60
- 230000003595 spectral effect Effects 0.000 claims description 59
- 238000001228 spectrum Methods 0.000 claims description 48
- 230000005236 sound signal Effects 0.000 claims description 37
- 230000002238 attenuated effect Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 235000009508 confectionery Nutrition 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000007704 transition Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 13
- 239000010410 layer Substances 0.000 description 194
- 230000014616 translation Effects 0.000 description 164
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
Abstract
藉由分兩個階段執行3D平移來達成允許該平移的音訊物件之更有效呈現,即導致豎直偏移的一第一虛擬(揚聲器)位置及一第二虛擬或真實(揚聲器)位置的至少一個水平層內平移及在該兩個位置之間的另一豎直平移。儘管以此方式起作用似乎增大計算複雜度,但此分階段處理實際上增大該呈現之穩定性及所欲虛擬位置之定位。此外,根據一實施例,該分階段處理使得能夠藉由僅使用振幅平移增益來執行平移,亦即,相位處理並非必需的,藉此使計算複雜度較低。甚至進一步,該呈現可靈活地應用於多種擴音器設置。
Description
發明領域
本發明係關於音訊再現之技術領域。具體言之,本文中描述再現具有升高或降低高度聲音之再現的多聲道音訊。
發明背景
對於聲音再現,存在不同種類的系統,其在其複雜度及再現品質方面不同。電影聲音之參考為影院。影院提供多聲道環繞聲,其中擴音器不僅安裝在收聽者前方(通常在螢幕後方),而且額外安裝在側面及後面,且近年來亦安裝在天花板上。側面及後面擴音器致能水平包封聲音再現,其可藉由使用高度及天花板擴音器豎直地補充聲音來進一步增強。
在最新寫碼技術之情況下,沉浸式、交互式及基於物件之音訊內容不僅可在專業環境中使用,而且亦可方便地傳輸至消費者住宅中,從而添加另外的特徵及維度,諸如高度再現。
用於真實聲音再現的增強型再現設置使用不僅安裝在水平平面中(通常處於或接近於收聽者的耳高度處)的擴音器,而且額外使用亦在豎直方向上散佈的擴音器。彼等擴音器例如升高(安裝在天花板上,或以高於頭部高度之某一角度)或置放於收聽者耳高度下方(例如在地板上,或以某一中間或特定角度)。
通常,在頂部或底部方向安裝擴音器為不方便或不可能的。
在住宅環境中,可能僅愛好者才會安裝複製在專業環境、研究實驗室或影院中使用之擴音器設置所需的數目個擴音器。此處,術語擴音器設置亦包括如聲棒、具有內置擴音器之TV、音箱(boombox)、聲板、擴音器陣列、智慧型揚聲器等的裝置及拓樸。
儘管如此,當呈現用於沉浸式聲音體驗或虛擬實境之聲音時,常常需要亦在高度(頂部及底部)方向(在下文中標示為「頂部及底部方向」)上呈現聲音。當然,未必始終必須處理兩個方向,因此,此等效於「頂部或底部方向」或「頂部/底部方向」)。
因此,需要在不具有高度擴音器(例如,頂部擴音器及/或底部擴音器)的情況下在頂部及底部方向上呈現聲音。
彼等相當複雜的設置之方便替代為使用信號處理構件來產生與增強型擴音器設置相當或類似之空間聽覺感知的緊湊型再現系統。此處,術語再現系統包括用於音訊再現的所有裝置及拓樸,如包含數個個別擴音器、聲棒、具有內置擴音器的TV、音箱、聲板、擴音器陣列、智慧型揚聲器等的設置。
在下文中提出用以達成此目的的實際方法及設備。
發明概要
本發明之一目標為提供允許3D平移之音訊物件之更有效呈現,其中效率之增加係關於例如呈現穩定性、改良之平移準確度、計算效率及/或對較大數目個擴音器設置、改變之擴音器數目、改變之擴音器位置、改變之收聽者位置、改變之物件位置之適合性。
此目標藉由獨立申請專利範圍之標的物來予以達成。
藉由分兩個階段執行3D平移來達成允許該平移的音訊物件之更有效呈現,即導致豎直偏移的一第一虛擬(揚聲器)位置及一第二虛擬或真實(揚
聲器)位置的至少一個水平層內平移及在該兩個位置之間的另一豎直平移。儘管以此方式起作用似乎增大計算複雜度,但此分階段處理實際上增大該呈現之穩定性及定位所欲虛擬位置之精度。此外,根據一實施例,該分階段處理使得能夠藉由僅使用振幅平移增益來執行平移,亦即,相位處理並非必需的,藉此使計算複雜度較低。甚至進一步,該呈現可靈活地應用於多種擴音器設置。
本申請案之實施例係關於一種用於產生用於多個擴音器之擴音器信號以使得該等擴音器信號在該等多個擴音器處之應用在一所欲虛擬位置處呈現至少一個音訊物件之設備。該設備包含經組配以接收表示至少一個音訊物件之音訊輸入信號的介面。其可為基於聲道之音訊信號、基於物件之音訊信號及/或基於場景之音訊信號中之一者。一第一平移增益判定器經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的配置於一或多個第一水平層之一第一層集合內之擴音器之一第一集合的第一平移增益,該等第一平移增益界定第一部分擴音器信號自該至少一個音訊輸入信號之一導出,該等第一部分擴音器信號與在將該等第一部分擴音器信號應用於擴音器之該第一集合上後即刻在一第一虛擬位置處呈現該至少一個音訊物件相關聯。此為前文提及之層內平移。一豎直平移增益判定器經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號與一或多個第二部分擴音器信號之間的一平移(或衰落)之進一步平移增益,該一或多個第二部分擴音器信號待應用於一或多個擴音器之一第二集合且與該至少一個音訊物件在相對於該第一位置豎直地偏移之一第二位置處之一呈現相關聯,以便在該第一虛擬位置與該第二位置之間平移。此為豎直平移。該一或多個第二部分擴音器信號可為另一層內平移的結果,在此情況下,第二位置為第二虛擬位置或第二位置可為擴音器中定位為豎直地偏移至擴音器之第一集合的另一擴音器的真實位置。該設備經組配以使用第一平移增益及進一步平移增益自第一部分擴音器信號及一或多個第二部分擴音器信號合成擴音器信號。亦即,在該
合成中,第一平移增益及進一步平移增益實際上應用於音訊輸入信號上,藉此產生擴音器信號。可能存在僅使用平移增益中之一者產生的一或多個擴音器信號,諸如對於定位於真實擴音器位置處且饋入第二部分擴音器信號之剛提及的第二擴音器。
根據一些實施例,如上所述,一或多個擴音器之該第二集合包含多於一個擴音器,且該一或多個第二部分擴音器信號包含多於一個第二部分擴音器信號,且該設備進一步包含一第二平移增益判定器,該第二平移增益判定器經組配以取決於該所欲虛擬位置判定擴音器之該第二集合的第二平移增益,該等第二平移增益界定第二部分擴音器信號自該至少一個音訊輸入信號之一導出,其中該設備經組配以使用該等第一平移增益及該等第二平移增益以及該等進一步平移增益自該等第一部分擴音器信號及該等第二部分擴音器信號合成該等擴音器信號。此處,根據一實施例,第二部分擴音器信號可藉由頻譜成形自至少一個音訊信號導出,使得第二位置為在第二層集合上方或下方的虛擬位置,諸如不在一或多個第一水平層與擴音器之該第二集合配置於的一或多個第二水平層中的任一者之間或其內,但在相對於此等水平層豎直的一側上。根據對應實施例,提供一種用於產生用於多個擴音器之擴音器信號以使得該等擴音器信號在該等多個擴音器處之應用在一所欲虛擬位置處呈現至少一個音訊物件之設備,其中該等多個擴音器分佈至一或多個水平層上,該設備包含:一介面,其經組配以接收表示該至少一個音訊物件之一音訊輸入信號;一第一擴音器信號集合判定器,其經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的擴音器之一第一集合的第一平移增益,例如如上所述的純振幅平移增益,以使得該第一虛擬位置在擴音器之該第一集合之位置之間,且使用該等第一平移增益來自該至少一個音訊輸入信號導出第一部分擴音器信號該等第一部分擴音器信號與在將該等第一部分擴音器信號應用於擴音器之該第一集合上後即刻在一第一虛擬位
置處呈現該至少一個音訊物件相關聯;一第二擴音器信號集合判定器,其經組配以藉由頻譜成形自該至少一個音訊輸入信號導出第二部分擴音器信號,該等第二部分擴音器信號與在將該等第二部分擴音器信號應用於擴音器之第二集合上後即刻在一第二虛擬位置處呈現該至少一個音訊物件相關聯,該第二虛擬位置在該一或多個水平層上方或下方,例如,不在一或多個水平層之間或其中之任一者內,但在相對於一或多個水平層豎直堆一側上;及一豎直平移增益判定器,其經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號及該等第二部分擴音器信號之第二平移增益,以便在該第一虛擬位置與該第二虛擬位置之間平移;及一合成器,其經組配以使用該等第二平移增益自該等第一部分擴音器信號及該等第二部分擴音器信號合成該等擴音器信號。
因此,本文中闡述之實施例揭露用於自至少一個音訊輸入信號將至少一個音訊物件呈現至擴音器集合之概念。簡言之,音訊輸入信號可包含關於待由擴音器輸出之音訊物件的資訊。舉例而言,此類音訊物件可為在電影中飛行的直升機之聲音、在交響樂團中彈奏的樂器之聲音或語音之聲音。音訊物件係使用擴音器來呈現。音訊輸入信號經處理以判定如何在個別擴音器處輸出音訊物件。對於此,每一音訊輸入信號與至少一個音訊物件之位置資訊相關聯。此類位置資訊可為靜態的,例如,小提琴位於交響樂團左側,揚聲器位於收聽者前方,或動態的,例如,直升機自右至左飛行。用以呈現音訊物件之擴音器之集合可包含擴音器之一或多個群組,每一群組位於一個水平層中。額外擴音器可為位於一或多個群組上方或下方的實體或虛擬擴音器。
此意謂對於擴音器之集合,可界定與層之關聯及偏移至在層上方或下方之層的位置。舉例而言,設置可包含一個層中之四個擴音器(例如,全部處於相同高度)及高於(例如升高、在上方)四個其他擴音器的一個實體或虛擬擴音器。此設置將由此具有一個層。額外一或多個層亦為可能的。
10:設備
12:擴音器信號
14,14a,14b,14c,14d:擴音器
16:介面
18:音訊信號
20:位置輸入
21,104:所欲虛擬位置
22:第一平移增益判定器
24:第一平移增益
26:擴音器之第一集合
28:第一部分擴音器信號,集合,信號
30:豎直平移增益判定器
32:進一步平移增益
34:第二部分擴音器信號,集合,信號
36:擴音器之第二集合
40:合成器
42,44a,44b,56,56a,56b,56c,56d:乘法器
46:加法器
52:第二平移增益判定器
54:第二平移增益
58:頻譜成形器
60,60a,60b:成形函數
70:第一擴音器信號集合判定器
72:第二擴音器信號集合判定器
100:收聽者
102:虛擬擴音器
104':灰色點位置
106:投影位置
1061,1062:位置
110:資訊
120:陷波頻譜範圍
1221,1222:峰值頻譜範圍
124,128:頻譜範圍
126:頻譜子範圍
有利實施例為附屬請求項之主題。特定言之,下文關於諸圖描述本申請案之較佳實施例,在諸圖中:圖1展示根據一實施例的用於音訊呈現之設備的方塊圖;圖2展示用於音訊呈現之設備的另一實施例,其在本文中描述為包含用於兩個部分擴音器信號集合以及用於其中之一者的等化之水平平移的可能性;圖3示意性地展示定位於擴音器之間的實例擴音器設置及收聽者,其另外說明虛擬頂部擴音器用於音訊呈現之考慮;圖4展示圖3的情境之示意圖,其中說明第一(水平)平移;圖5a展示圖3的情境,其說明等化或頻譜成形之使用以便提供單耳線索以達成虛擬頂部擴音器;圖5b展示圖5a3之情形,其說明經募集以參與呈現虛擬頂部擴音器之擴音器之間的平移與用以定位虛擬頂部擴音器之增益;圖6展示相比於圖2之實施例改變的用於音訊呈現之設備方塊圖,改變之處在於水平平移之間的不同次序及用於呈現頂部/底部虛擬擴音器之等化;圖7展示用於音訊呈現之設備的另一實施例的方塊圖,或以不同方式展示參與在兩個可用擴音器層之間的所欲虛擬位置呈現音訊物件的圖1之設備之元件的方塊圖;圖8展示除圖7之元件以外亦說明考慮收聽者位置之可能性的方塊圖;圖9展示可能擴音器設置(此處為5.0擴音器設置)之示意性俯視圖;圖10展示用於擴音器設置(此處為5.0+2H擴音器設置)之另一實例之另一示意性三維視圖;圖11、圖12展示示意圖以便說明在兩個可用層之間的所欲虛擬位置處執行物件之音訊呈現的兩階段過程,此處係針對使用5.0+4H擴音器設置的實例;
圖13、圖14說明物件在豎直地偏移至可用層(此處例示為豎直地偏移至所有層之頂部)之所欲虛擬位置處的兩階段呈現,且圖15展示用於等化或頻譜成形中之成形功能以便形成用於呈現虛擬頂部/底部擴音器信號之單耳線索的實例。
較佳實施例之詳細說明
以下描述以用於產生用於多個擴音器之擴音器信號的設備之實施例的描述開始。本文中在下文連同對可個別地或以群組方式適用於圖1之設備的細節之描述一起概述更特定實施例。
圖1之設備大體使用參考符號10指示,且用於產生用於多個擴音器14之擴音器信號12以使得該等擴音器信號12在該等多個擴音器14處或至該等多個擴音器之應用在一所欲虛擬位置處呈現至少一個音訊物件。
設備10可經組配用於擴音器14之某一配置,亦即,用於其中定位及定向多個擴音器14之某些位置。然而,該設備可替代地能夠組配以用於擴音器14之不同擴音器配置。同樣,擴音器14之數目可為兩個或兩個以上,且設備可經設計用於擴音器14之設定數目或可組配以應對任何數目個擴音器14。
設備10包含介面16,在該介面處,設備10接收表示至少一個音訊對象之音訊信號18。暫且,假定音訊輸入信號18為表示音訊物件之單聲道音訊信號,諸如直升機之聲音或其類似者。下文提供額外實例及其他細節。在任何情況下,音訊信號18可在時域中、在頻域中或在任何其他域中表示音訊物件,且其可以壓縮方式或在無壓縮情況下表示音訊物件。
如圖1中所描繪,設備10進一步包含用於接收所欲虛擬位置的位置輸入。亦即,在位置輸入20處,藉由在擴音器14處應用擴音器信號12來向設備10通知音訊物件應虛擬地呈現至的所欲虛擬位置。亦即,設備10在輸入
20處接收所欲虛擬位置之資訊,且此資訊可相對於擴音器14之配置/位置、相對於收聽者之位置及/或頭部定向及/或相對於真實世界座標提供。此資訊可例如基於笛卡爾座標系統或極座標系統。其可例如基於如笛卡爾或極座標系統之房間中心座標系統或收聽者中心座標系統。
如圖1中所描繪,設備10包含第一平移增益判定器22,其經組配以取決於在輸入20處接收之所欲虛擬位置21而判定多個擴音器14中之擴音器之第一集合26的第一平移增益24。擴音器之此集合26配置於一或多個第一水平層之第一層集合內。亦即,擴音器之此集合26大致配置於類似高度處。第一平移增益24限定第一部分擴音器信號28自至少一個音訊輸入信號18之導出或參與其產生,該等第一部分擴音器信號28與在將第一部分擴音器信號應用於擴音器之第一集合26上後即刻在第一虛擬位置處呈現至少一個音訊物件相關聯。如在下文更詳細地概述,根據一實施例,第一平移增益判定器22可計算振幅增益,針對第一部分擴音器信號28中之每一部分擴音器信號計算一個,以使得第一虛擬位置在集合26之擴音器之間平移,包括以下可能情況:偶爾,第一虛擬位置與擴音器位置中之一者重合,在此情況下,僅在彼位置處之擴音器可接收非零平移增益。換言之,第一平移增益判定器22用於計算用於集合26內之水平平移的振幅增益,以使得此水平平移產生擴音器之集合26內之第一層集合內的虛擬再現位置。
圖1之設備10進一步包含豎直平移增益判定器30,其經組配以取決於所欲虛擬位置21而判定第一部分擴音器信號28(一方面)與一或多個第二部分擴音器信號34(另一方面)之間的平移之進一步平移增益。一或多個第二部分揚聲器信號34待應用於擴音器14中的一或多個擴音器之第二集合36,其僅包含一個擴音器或一個以上擴音器。
圖1說明其中第二部分擴音器信號34及集合36內之擴音器之數
目多於一的情況,但亦可能在集合36內僅存在一個擴音器且因此僅存在一個第二部分擴音器信號34。在後一情況下,集合36中之單一擴音器將在第一部分擴音器信號28所專用之擴音器之集合26外部。在集合36包含多於一個擴音器之情況下,集合26與36可互相不相交、部分重疊、重合或完全重疊,亦即,一者可為另一者之恰當子集。實例更詳細地闡述於下文中。在任何情況下,第二位置相對於第一位置豎直偏移。本文中在下文闡述如何即使在第一集合26與第二集合36重合的情況下亦在第一位置與第二位置之間達成豎直偏移的不同實例。應注意,在關於圖式概述的實施例中,每一集合26及集合36由一個層的擴音器組成或甚至對應於一個層,使得在集合26與集合36重合的情況下,層集合,亦即集合26及集合32的層,亦重合。然而,集合與層之間的此對應關係可改變,以使得集合26及集合32中的任一者可由多於一個層的擴音器組成。
藉由豎直平移增益判定器30判定之進一步平移增益32最終在第一虛擬位置與第二位置之間產生平移。
如圖1中所示,設備10進一步包含合成器40,其經進一步組配以使用第一平移增益24及進一步平移增益32自輸入音訊信號18合成擴音器信號12。如上所述,第一平移增益可為簡單振幅增益,且因此,合成器40可包含用於每一部分擴音器信號28之乘法器42,用於輸入音訊信號18與對應平移增益24之相乘。因此,平移增益24對於部分擴音器信號28而言為個別的。亦即,每部分輸入信號28存在一個平移增益24。類似地,且如下文進一步概述,藉由豎直平移增益判定器30輸出之平移增益32亦可為簡單振幅增益。此處,每集合28及34分別存在一個平移增益32。因此,合成器40可分別包含用於集合28及34中之每一者的一個乘法器44a、44b,其中乘法器44a將集合28之每一擴音器信號乘以與集合28相關聯之平移增益32,且乘法器44b將來自集合34之每一部分擴音器信號乘以與集合34相關聯之平移增益32。
合成器40之另一任務如下:如上文所提及,擴音器集合26及36可或可不重疊。作為合成器40的任務,合成器40將藉由使用平移增益24及32平移獲得的部分擴音器信號28及34恰當地分佈至擴音器14上。對於集合28及34中僅僅屬於集合28及34中之一者的彼等部分擴音器信號,對應部分擴音器信號變為擴音器信號12中之一者。然而,對於與擴音器14中之相同擴音器相關聯的彼等一或多個部分擴音器信號,合成器40使用加法器46將其加在一起,使得分別來自集合28及34之相互對應的部分擴音器信號之總和變成擴音器信號12中之一者。
應注意,由於乘法之關聯及交換特性,因此合成器40不限於按圖1中描繪之次序執行用於每一部分擴音器信號之乘法。亦即,儘管圖1之合成器40描繪為在與集合全域平移增益32相乘之前執行部分擴音器信號與第一平移增益24的個別乘法,但可按不同次序執行乘法。
圖1亦說明根據下文進一步描述之實施例使用的細節。詳言之,此等細節係關於自輸入音訊信號18導出或產生部分擴音器信號34。兩個進一步處理步驟可與自音訊輸入信號18導出/產生部分擴音器信號34相關聯。圖1中之此等兩個處理步驟及對應元件為可選的,且因此,輸入音訊信號可直接表示一個部分擴音器信號34,其藉助於對應平移增益32經受豎直平移。若存在,僅一個或兩個處理步驟可應用且體現於設備10內。
第一處理步驟對應於相對於部分擴音器信號34以實質上對應於藉由元件22、24及42相對於部分擴音器信號28實現的水平平移的方式水平平移。亦即,如圖1中所示,設備10可包含經組配以取決於所欲虛擬位置21而判定用於擴音器之第二集合36的第二平移增益54之第二平移增益判定器52,該等第二平移增益54界定第二部分擴音器信號34自至少一個音訊輸入信號18之導出。合成器40將包含對應乘法器56,即每個部分擴音器信號34一個,其將
對應平移增益54與音訊輸入信號相乘。換言之,合成器40將使集合36內之每一擴音器的部分擴音器信號34經受與集合36內之對應擴音器相關聯之平移增益54的相乘。此將導致水平平移,且導致與部分擴音器信號34相關聯的虛擬擴音器位置。
另外或替代地,相對於元件52至56,設備10可包含頻譜成形器58,其由於乘法器56處之水平平移及乘法器44b處之豎直平移而對輸入音訊信號或中間或最終產物執行頻譜成形,使得第二部分擴音器信號34藉由此頻譜成形自至少一個音訊輸入信號導出。頻譜成形例如對於部分擴音器信號34中之每一者係相等的,亦即,可使用同一頻譜成形函數。如下文更詳細地概述,藉由頻譜成形器58使用的頻譜成形函數60經選擇,以便形成收聽者的心理聲學線索,使得與第二部分擴音器信號34相關聯的第二虛擬位置定位在擴音器之第二集合36上方或下方。
由頻譜成形器58執行之頻譜成形可藉助於部分擴音器信號頻譜與成形函數60的相乘而在譜域中執行,或可在時域中進行,諸如藉助於時域濾波器,諸如IIR或FIR濾波器,時域濾波器接著將具有對應於頻譜成形函數60的頻率回應。將關於集合26及36進行進一步註釋。該設備可取決於當前揚聲器設置而對其進行選擇。換言之,設備可適應於不同設置。該設備可取決於所欲虛擬位置之水平分量(諸如最接近於所欲虛擬位置之彼等揚聲器所在的一個層(就其至一個層中之豎直投影而言))或取決於所欲虛擬位置之水平分量及所欲虛擬位置之豎直分量(諸如藉由選擇最接近於所欲虛擬位置之最外層,且接著選擇彼一個層內的揚聲器)而自多個擴音器中選擇擴音器之第一集合26。另外或替代地,可取決於所欲虛擬位置之豎直分量(諸如藉由選擇最接近於所欲虛擬位置的最外層且使用屬於該層的所有揚聲器用於集合36)或取決於所欲虛擬位置之水平分量及所欲虛擬位置之豎直分量(諸如藉由選擇最接近於所欲虛擬位置之最外
層,且自該層之揚聲器中選擇集合36,以使其最接近於所欲虛擬位置(就其至該一個層的豎直投影而言))來自多個擴音器中選擇擴音器之第二集合36。
如之前關於第一部分擴音器信號28所提及,合成器40可經組配以按任何次序執行乘法56及44b以及頻譜成形58,即,可按任何次序將三個任務應用於音訊輸入信號18上,以便產生對應部分擴音器信號34。
最後,應注意,根據一實例,集合36內的擴音器的數目及因此部分擴音器信號34的數目可分別為一個,甚至在使用頻譜成形器58的情況下亦如此。
在進行本申請案之某些細節及實施例的描述(其在下文中藉由重新使用參考符號及上文提出之描述來描述)之前,應關於合成器40進行以下註釋:在圖1之情況下,平移增益判定器22、30及52形成用於基於所欲虛擬位置21計算平移增益之一種中間模組,而平移增益之實際應用已由合成器40執行。另外,頻譜成形器58展示為包括於合成器40內作為其子模組。然而,如上所述,與圖1之說明相比,修改係可行的。舉例而言,頻譜成形器58可置放於元件52、54及56上游以便最終成為在合成器40外部且尤其在合成器上游之模組。就第一擴音器集合36而言,合成器40將接著基於音訊輸入信號18之預成形版本執行擴音器信號12之合成。另外或替代地,大多數隨後解釋之實施例利用合成,其中在水平平移之後應用豎直平移,水平平移又藉助於乘法器42及/或56(且若適用,頻譜成形58)實現,且在此情況下,合成器40及其合成可僅涉及元件44a、44b及(若適用)加法器46,而元件22、24及42形成第一擴音器信號集合判定器70,且元件52、54、56、58及60(或其部分,若遺漏水平平移或頻譜成形)形成第二擴音器信號判定器72。
在繼續描述宣佈之其他細節及另外詳述實施例之前,將關於由如圖1中所描繪之音訊呈現概念產生的所達成優點進行簡要通知。詳言之,如上文
所概述,圖1之概念的音訊呈現允許音訊再現在不使用的情況下進行,且應用不同HRTF的相關聯計算複雜任務基於或根據所欲虛擬位置21之確切角度變化而精確地調適或選擇。所有水平及豎直平移僅藉由振幅平移進行,且頻譜成形58可使用一個頻譜成形或相等頻譜成形函數60用於集合36內之所有擴音器的所有部分擴音器信號34。在下文進一步描述的實施例中,設備10可持續使用相同頻譜成形函數60而不顧及所欲虛擬位置21(諸如在所欲虛擬位置21受限於在高度上在收聽者位置或擴音器14之層內、之間或上方的位置的情況下,或反之亦然,在受限於在高度上在收聽者位置或擴音器14之層內、之間或下方的情況下),或區分兩個頻譜成形函數60,一個用於所欲虛擬位置21分別高於收聽者位置或最高擴音器層之情況,且另一者用於分別低於收聽者位置或最低擴音器層之情況。因此,圖1之呈現的計算複雜度低。在利用可選頻譜成形58時亦如此。
此外,儘管3D平移與水平平移(一方面)及豎直平移(另一方面)之分解可能看似會產生更複雜的呈現程序,但所得計算複雜度仍較低,而在定位所欲虛擬位置方面之呈現準確度甚至在此計算適度複雜度下仍較高。
即,本文中所描述的實施例提供本說明書的介紹性部分中闡述的相當複雜設置的替代方案,且形成使用信號處理構件以產生與更複雜擴音器設置相當或類似的聽覺感知的緊湊型再現。上文及下文中所呈現之概念能夠
(1)藉由考慮一或多個虛擬擴音器在感知上替換遺漏的擴音器/擴音器陣列。彼等虛擬擴音器之產生在本文中描述。
(2)有效呈現3D擴音器設置中之聲音,其中若使用虛擬擴音器(1),以及在必要擴音器實體上可用之情境中,則可使用呈現。(2)之益處為靈活性及效率,其使得其亦適用於即時追蹤收聽者位置,且呈現即時適應於收聽者的當前位置之情境。
應注意,本文中所描述之實施例獨立於再現環境,且可例如亦用於例如汽車環境中。此外,該等實施例獨立於用於再現之傳感器或拓樸之特定類型。即,實施例可應用於例如頭戴式耳機再現中以及使用諸如擴音器陣列、聲棒、智慧型揚聲器等之特定擴音器的再現中。
即,剛提及的註釋指出,擴音器14可為頭戴式耳機擴音器或立體聲擴音器,但亦可自環繞聲設置形成擴音器陣列、聲棒或擴音器集合、智慧型揚聲器或智慧型揚聲器集合,或可為個別擴音器,其中組合亦可為可行的。此外,自描述應清楚,設備10自適應地操作,以便即時地依據所欲虛擬位置21調適擴音器信號12之合成,該位置可能隨時間推移發生變化。
就此而言,應簡要地注意,儘管呈現設備之實施例可針對某些擴音器設置經預先組配,即其期望擴音器14之預定義集合定位在預定義位置處,但在設備之初始化方面及/或在用以移動擴音器位置之調適方面,本文中所描述之設備亦可適應於不同擴音器設置、不同擴音器數目及/或揚聲器位置。在前一情況下,設備可在初始化之後假定擴音器設置為恆定的。在後一情況下,設備甚至可適應於執行階段期間之揚聲器設置變化。甚至揚聲器之數目可在執行階段中改變。因此,設備可在此可選情形下接收關於擴音器位置之資訊,然而,未在圖中明確展示。因此,類似於收聽者位置資訊之可選接收,圖1之設備(及隨後展示之實施例)可包含用於接收擴音器設置資訊之另一位置輸入,該擴音器設置資訊揭露揚聲器14之數目及其位置。此資訊可相對於收聽者之位置及/或頭部定向及/或相對於真實世界座標而提供。此資訊可例如基於笛卡爾座標系統或極座標系統。其可例如基於如笛卡爾或極座標系統之房間中心座標系統或收聽者中心座標系統。
常用於呈現之方法為振幅平移技術。為在未由擴音器覆蓋之位置處(例如,不在兩個或更多個擴音器之間)產生聽覺物件之感知,可利用諸如串擾
消除之呈現技術。串擾消除(XTC)[1至7]具有藉助於擴音器控制收聽者之左耳信號及右耳信號的目標。此藉由「消除耳間串擾」(其在擴音器信號到達收聽者時發生)而達成。一旦可直接控制耳信號,便可應用雙耳技術[8,9]以在頂部方向及底部方向處呈現聲音。先前提及之技術存在兩種主要限制。首先,XTC具有與聲音著色、極小甜點及相對於收聽者對擴音器位置的高度依賴性相關的限制。其次,在無頭部追蹤/收聽者追蹤及/或個別化頭部相關傳遞函數(HRTF)或雙耳室內脈衝回應(BRIR)的情況下,雙耳技術在可達成品質/效能上受到限制。此等兩者皆將為系統增加高複雜度、成本及使用者不便。
已提出對習知振幅平移之增強,在未由擴音器設置覆蓋之維度中使用虛擬擴音器,見例如[14,15]。使用此類技術之高度平移並非完全真實的,因為音品偏離在高度處真實呈現之來源。
豎直半球形振幅平移(VHAP)[10,11]使用兩個橫向擴音器以呈現具有收聽者的高度且在收聽者頂部的物件。由於擴音器必須處於±90度橫向方向,因此VHAP在收聽者位置方面係不靈活的。
在本說明書中,術語虛擬擴音器用於不存在的擴音器,在平移物件過程中考慮該擴音器。
圖1之概念利用用於頂部及/或底部呈現之概念,具有以下優於剛剛提及之目前先進技術的優點:
‧等化(頻譜成形58)應用於頂部/底部虛擬擴音器信號以用於較如實的頂部/底部/高度感知
‧任何擴音器設置可用於揚聲器14,且儘管如此,可達成(虛擬)頂部及底部呈現之增強。舉例而言,立體聲設置或5.1設置可用作揚聲器14之基礎。使用圖1之概念甚至可增強具有高度擴音器(例如5.1+4H)之擴音器設置,諸如相對於頂部呈現(例如「上帝之聲」擴音器)或下層呈現。與此相比,VHAP需要例如
在收聽者之各側(±90度)處具有擴音器的精確且特定的擴音器設置。
‧此外,圖1之頂部及底部呈現並不依賴於相對於收聽者之特定擴音器位置。換言之,圖1之方案亦可在收聽者移動之情境(例如,追蹤呈現)中應用。
本文中所描述之實施例允許虛擬高度呈現之極直接實施。
即,根據圖1之物件平移可以導致根據圖2之呈現設備或物件平移處理器以兩個路徑(將部分擴音器信號34(一方面)及部分擴音器信號28(另一方面)提供至合成器40,即一個路徑包含接收音訊輸入信號18及所欲虛擬位置21且輸出部分擴音器信號28之部分擴音器集合判定器70,且另一路徑包含基於兩個輸入18及21產生部分擴音器信號34之模組72)在合成器40之輸出處產生擴音器信號12的方式加以實施,且該設備等等藉由以下各者以任何擴音器設置在3D空間中等等物件:
‧考慮到豎直(頂部或底部)方向上之至少一個虛擬擴音器(頂部或底部)。此係藉由頻譜成形58來進行或達成,該頻譜成形如下文更詳細地概述,導致收聽者之心理聲學線索:由第一部分擴音器信號34再現之聲音分別自頂部或底部到達。
‧對物件進行振幅平移,考慮擴音器設置加上一或多個虛擬擴音器。振幅平移係藉由合成器40內之豎直平移及模組70內及模組72內之水平平移執行。
‧將等化應用於虛擬及/或真實擴音器信號。藉由頻譜成形器58內之此頻譜成形進行等化。
‧在如關於圖1解釋之設置之子集或所有擴音器上再現每一虛擬擴音器信號,第二擴音器集合36可與集合26重合,且因此涉及所有擴音器14,或可僅與擴音器14的子集相關。
在下文中,本申請案之實施例的概念三維地視覺化。見圖3。在圖3中,收聽者由參考符號100指示。個別擴音器14藉由小寫字母區別於彼此。
在圖3中,擴音器設置包含(例示性)四個擴音器。圖3展示收聽者100頂部或上方之一個虛擬擴音器102。自然,圖3僅為一實例。可替代地考慮在收聽者100底部或下方之虛擬擴音器102。此外,虛擬擴音器102可甚至在允許收聽者100平移之情況下(即,藉助於跟蹤收聽者位置)定位在收聽者100正上方,或收聽者100之位置可預設固定,而不顧及收聽者100實際上在虛擬擴音器102正下方/上方。
換言之,圖3展示擴音器14,此處例示性的四個擴音器14a至14d,的定位的實例,且解釋圖1及圖2中所示的實施例可涉及定位於虛擬位置處之虛擬擴音器,虛擬位置為與第一部分擴音器信號34相關聯之呈現之前述虛擬位置。即,圖3說明就利用頻譜成形器58而言,圖2之實施例以及圖1之實施例除可用擴音器14之外另外考慮虛擬擴音器102。
圖4、圖5a以及圖5b分解為個別子概念或步驟展示關於如何使用可用擴音器14a至14d以及虛擬擴音器102在所欲虛擬位置104處呈現。
圖4說明所欲虛擬位置104。此位置104經指示為豎直地在擴音器14a至14d所處的層或平面上方。圖4亦展示所欲虛擬位置104至擴音器14a至14d的層或平面中的投影,即沿豎直方向至擴音器14a至14d的層或平面中的投影104。所得投影位置106(即,所欲虛擬定位104至擴音器14a至14d之層中的投影)使用參考符號106指示。模組70可使用振幅平移以便產生與音訊物件在此投影虛擬位置106處之呈現相關聯的部分擴音器信號。因此,圖4說明尚未關於圖1及圖2描述之另一情形。詳言之,圖1及圖2之各別設備可經組配以自所有可用擴音器14中或自諸如屬於諸如此處在圖4中的擴音器14a至14d的某一層的擴音器的群組的擴音器群組中選擇26。特定言之,如藉由使用影線所說明,可僅選擇兩個擴音器14c及14d,即屬於收聽者100的水平平面的擴音器群組中的彼等擴音器經選擇以接收最接近於受保護虛擬位置106的對應部分擴音器信
號28。根據不同視圖,水平平移儘管僅相對於對應擴音器層集合之子集產生非零權重,但連續地關於對應層集合之所有擴音器。此處,僅擴音器14c及14d將與水平平移之非零權重相關聯,而其他兩個揚聲器14a及14b將與零權重相關聯,藉此不參與水平平移。因此,除了虛擬擴音器102之外,亦使用擴音器設置的兩個擴音器14c及14d。圖4集中於分別藉由模組70或藉由判定器22達成之水平平移,而以下諸圖集中於模組72及其對最終呈現之貢獻。即,以下諸圖將揭露擴音器設置的兩個擴音器14c及14d以及虛擬頂部擴音器102如何用於使物件在所欲虛擬位置104處振幅平移。
應注意,所欲虛擬位置104之距離在本申請案之上下文中並不起主要作用,且因此,僅出於較容易的視角表示,位置104被描繪為遠離收聽者。呈現可視情況僅取決於朝向位置104之方向而操作。
圖5a展示子概念或步驟,根據該子概念或步驟,頻譜成形58用於或應用於虛擬擴音器102之擴音器信號。再次,圖3至圖5b集中於此虛擬擴音器102為虛擬頂部擴音器之實例上,但此僅為實例。可同樣地使用等化或頻譜成形58以便形成虛擬底部擴音器。
圖5b集中於音訊物件在虛擬擴音器102之位置處之再現。將直接應用於虛擬擴音器102之擴音器信號(即,音訊輸入信號)經受等化或頻譜成形58及此處藉由對應乘法器56a至56d說明之水平平移。後者乘法器為可選的。其僅在以下情況下為必要的:虛擬擴音器位置102並非靜態的,而是經定位以豎直地調整至收聽者100之收聽者位置,即水平定位以使得其至擴音器14a至14d之平面中的豎直投影與收聽者100在擴音器14a至14d之此平面或層內之位置重合。圖5b例示性地說明集合36可涵蓋所有擴音器14a至14d或至少在一個水平層內的對應群組的所有擴音器。即,5b說明每一第二部分擴音器信號34在設置的擴音器14a至14d的子集(或如圖5b中所說明,所有擴音器)上的再現。由於虛
擬擴音器102並非實體上可用的,因此對應經等化信號34經由擴音器之所提及子集再現。將增益總計或針對每一擴音器個別地應用,以針對虛擬方向調整層位及所得方向向量。歸因於降低之計算成本而為有益的替代實施已經在上文提及且在圖6中描繪。即,圖6展示用於呈現之設備的另一實例或用於物件平移處理器之替代實施例,即與圖2相比,由模組72內之元件52、54及56在水平平移上游執行等化或頻譜成形58之實施例。即,用以導致收聽者之偽聲學線索、導致頂部或底部擴音器102的等化或頻譜成形直接應用於音訊輸入信號18而非個別地應用於每一部分擴音器信號34上。即,音訊輸入信號18經受等化或頻譜成形,其在平移時可應用(諸如視情況水平平移)以水平地控制虛擬位置102之位置,且使用由豎直平移增益判定器提供之豎直平移因數或增益達成豎直平移。若在擴音器集合36之間的可選水平平移之前應用用於部分擴音器信號34之豎直平移增益,則達成甚至更低之計算複雜度。在後一情況下,經等化或頻率成形及層位對準信號可經複製並分佈至已經選擇用於再現虛擬高度擴音器102的擴音器上。
根據上文所闡述的概念,虛擬高度再現的有效產生為允許在任意擴音器設置中使用對應虛擬高度揚聲器的平移演算法的部分。下文中描述其他細節。
(物件)平移演算法/平移處理器或根據圖1、圖2及圖6中之任一者的設備可用於對於靜態以及對於移動聲源兩者在3D再現空間內定位聽覺物件之感知位置。
歸因於基礎概念之效率,其亦可用於靜態及移動收聽者位置,即亦用於例如其中追蹤收聽者100之位置的應用,且由該設備進行之呈現依據收聽者位置進行調適。調適實例在下文中闡述。此外,如本文所描述的設備甚至可應用於靜態以及移動擴音器14的情境。
在典型再現情境中,擴音器位置固定,但收聽者100之位置可連續改變。在此情況下,收聽者100看到擴音器14之角度以及擴音器之間的各別角度隨收聽者100之位置而變。
習知平移演算法(諸如VBAP)通常需要初始化其認為不變的甜點及擴音器位置。在初始化階段期間,使用一些複雜操作,諸如將擴音器映射至成對、三元組或四元組平移群組。
由於在追蹤情境中,擴音器14與收聽者100的相對定位頻繁改變,因此不希望具有複雜的初始化階段及固定映射。根據圖1、圖2及圖6描述之平移解決此等問題,且包括與平移相關的幾個其他新穎性,尤其在未處於由擴音器覆蓋/環繞的區域內部的位置處。
詳言之,以下步驟輔助達成有效呈現且用揚聲器14a-d之多於一個層應對揚聲器設置,如圖3至圖5b中例示性地展示,且可作為功能性添加至本文中所描述之設備中:
‧計算水平擴音器層之振幅平移增益,諸如在70及72中之水平平移階段中之任一者中。可能設備回應於揚聲器的層的數目是否為一。若僅存在一個層,則元件52、54、56不被使用或僅用於將頂部/底部虛擬揚聲器位置102定位在收聽者100正上方/正下方。若多於一個層存在,則以下為真。
‧若揚聲器14之多於一個層存在,則
○可諸如分別針對高度層及底部層使用模組70及72計算用於多於一個擴音器層之振幅平移增益。舉例而言,若所欲虛擬位置指向在兩個層之間豎直的位置,則可進行此操作。應注意,可以彼方式處理甚至兩個以上層。
○在平移中,物件之任何呈現水平/方位角虛擬位置(諸如圖4中之106,即在執行水平平移之每一層中)視為在呈現中,即在豎直平移中。可例如選擇兩個層,即揚聲器14之兩個群組,其中之每一者與不同高度處之另一水平層相關聯,
一者形成集合26,或用於自其選擇集合26,另一者形成集合36,或用於自其選擇集合36。若干(大於兩個)可用層之選擇可如下所述進行,即藉由獲取最接近於所欲虛擬位置之層。在層中的每一者上用於其中展示的一個例示性層的「呈現物件」(諸如圖4中之106)可接著用作虛擬擴音器以使物件在該等層之間豎直地平移。細節說明於下文中。
○若物件位置在最高層上方或在最低層下方,則物件僅水平地在一個層上(即,分別在最高層上或在最低層上)平移。在此情況下,模組72對於虛擬頂部/底部揚聲器102操作,且水平平移僅用於調整頂部/底部揚聲器102之水平位置至收聽者位置100(若使用此選項)(以下描述替代方案,根據該等替代方案,不使用此收聽者位置自適應性),且模組70操作以用於在所使用的豎直最外揚聲器層或形成水平層之揚聲器14之最外群組中的水平平移。模組70及72兩者將使其揚聲器14之集合26及36經選擇以對應於所提及之豎直最外部揚聲器層或揚聲器14之最外群組或為其部分。
‧因此,若物件位置104、21處於最高(最低)擴音器層上方(下方)(或在僅一個擴音器層(例如大致耳高度處)可用的情況下),則虛擬豎直頂部(豎直底部)擴音器102視為在感知上將聽覺物件呈現在擴音器層上方(下方)。
‧將頂部或底部等化器(即,使用對應函數60的頻譜成形58)應用於物件音訊信號,且分佈至已經選擇用於頂部或底部方向再現的擴音器(即,集合36)。
圖7描繪參與兩個層或兩個層之揚聲器之間的呈現的步驟/功能/區塊。更精確地,圖7說明根據一額外實施例的能夠使音訊物件三維平移以在揚聲器之兩個層之間呈現的設備,或圖7說明在以下情況下,圖1之設備之參與呈現的彼等部分之協作:所欲虛擬位置21在兩個此類揚聲器層之間,而圖1中所示的其他元件(諸如頻譜成形器/等化器58)在此情況下(而實際上在所欲虛擬位置處於揚聲器14之所有揚聲器層上方或彼等可用揚聲器層下方的情況下)並不參
與呈現。如所展示,輸入為音訊輸入信號18。水平平移由模組70相對於一個層執行,且元件52、54及56為用於另一層之模組72之部分。對應部分擴音器信號28及34分別藉由合成器40合成以產生擴音器信號12,其中另外使用由判定器30提供之平移增益執行豎直平移。部分擴音器信號34及28分別用於之揚聲器集合36與26可彼此不相交,如圖7中所說明,因為其屬於不同層。然而,應注意,揚聲器14至「層」之關聯可使得一個揚聲器14可與不同層相關聯。換言之,揚聲器14至揚聲器之層群組之分組可使得其重疊。至此,圖7之說明僅為實例,且可修改。
圖7之個別元件的協作在下文更詳細地描述。如所示且如上文解釋,藉助於位置資訊21控制水平平移及豎直平移兩者。其可作為額外資訊(諸如呈單獨資料串流中之額外資訊的形式,即相對於音訊輸入信號18分離)而遞送,例如作為包括音訊資訊之至少一個聲道及界定所欲位置之相關聯後設資料的音訊物件。若音訊輸入信號18為不具有後設資料之多聲道檔案,則包括於音訊信號中之不同元件之所欲位置21可基於信號分析(給定已針對其產生信號之已知目標擴音器佈局)而估計及提取。舉例而言,音訊輸入信號18可包含與頂部及/或底部處之擴音器位置相關聯的聲道,但可用的揚聲器14並不具有此等揚聲器。在此情況下,所欲虛擬位置21為彼聲道之揚聲器位置之位置。自然,其他實例亦為可用的。此可針對所輸送之所有聲道進行。該等聲道相關之相互揚聲器位置可由呈現設備維護。
根據一實施例,兩個水平平移,即相對於部分擴音器信號28之一或多個模組70及藉助於元件52至56之關於其他部分擴音器信號34之模組,使用相同方位角用於平移。即,相同方位角用於兩個層。換言之,水平平移以使得圖4中描繪之投影虛擬位置106在豎直投影上彼此重合的方式進行。自然,此可以不同方式實施。該限制並非必要的,且不同方位角可用於不同層。
本文中所論述之實施例之有益特徵為其並不需要廣泛初始化之事實。實情為,平移參數係直接根據給定或改變收聽者及擴音器座標或位置來計算。呈現之初始化並不取決於擴音器之預定義成對、三元組或四元組。
圖8說明以下事實:水平平移及豎直平移兩者皆可由關於收聽者位置之資訊(即資訊110)控制。更精確地,設想所欲虛擬位置21由指示收聽者100應感知待呈現之音訊物件所自的某一方向之立體角表示。取決於收聽者位置110,除虛擬頂部/底部揚聲器位置依據收聽者位置之任何調適(若存在)之外,可應用取決於收聽者位置之水平平移,以便使收聽者獲得此感知方向。在收聽者位置資訊110不僅在水平位置方面,而且在諸如收聽者耳部之位置高度的高度方面指示收聽者100之位置的情況下,情況亦如此。
如自以上描述清楚,根據本申請案之實施例的設備並不受限於應對其中可用擴音器14僅配置於一個層中的擴音器設置。後一實例已描繪於圖3至圖5b中。確切而言,可供用於設備之擴音器14可與不同層相關聯。已在上文論述之部分擴音器信號34(一方面)及部分擴音器信號28(另一方面)或換言之,模組70及72分別串聯連接至之兩個路徑可與此等揚聲器層中之一或多者相關聯。對於以下描述,吾人假定其中之每一者與一個揚聲器層相關聯。即,每一者與形成一個層的擴音器的一個群組相關聯。一些擴音器可與多於一個層相關聯,如將自以下描述變得清楚且已經在上文陳述。層對個別路徑(即,模組70之路徑及模組72之路徑)之歸屬或關聯可固定,或可經受對所欲虛擬位置21及/或收聽者位置110之調適。上文已經論述:若多於兩個層可用,則可在所欲虛擬位置處於一對此等層之間的情況下選擇二個層,且此等層與該等兩個路徑相關聯。在所欲虛擬位置21超過所有可用層,且不存在可用的實際頂部或底部揚聲器之情況下,則最接近於所欲虛擬位置之最外層經選擇作為擴音器層,對於其使用兩個路徑。
給定任意擴音器設置,初始化可僅涉及每一擴音器14分類為屬於以下類別中的一或多者:層1:通常,此擴音器層用於使物件水平地平移(大致在就座的收聽者之耳部高度)。
層2至N:視情況,可界定第二層中之擴音器,諸如高度(頂部或底部)層中之擴音器。此等層為豎直地在層1上方或下方之層。因此,擴音器層可多於兩個。在耳部高度上的層1與任何一或多個其他層之間的區別為可選的。
頂部:再現豎直頂部方向的擴音器。此可為專用擴音器或其他層之擴音器之子集。
底部:再現豎直底部方向之擴音器。此可為專用擴音器或其他層之子集。
以上描述不限於常規設置,其中規則將(例如)暗示相等數目的擴音器存在於每一層中,在每一層之間具有相等角度/距離,或所有層完全環繞收聽者,或所有層具有以與自收聽者所見之完全相同豎直角度配置的擴音器。
實際上,如之前所提及,可使用任何任意設置。不同擴音器可以不同/任意方位角且以不同/任意仰角(即,不同高度)定位。被視為一個層之部分的擴音器未必需要位於一平面內。允許其豎直定位之變化。
圖9及圖10展示實例實現/實例分類。此等諸圖應例示分配不同可用擴音器至不同層的程序。彼等僅為實例,相同情形中之不同映射將為可能的,且受制於使用者之偏好。
圖9展示使用5.0擴音器設置之分類。此處以及在以下圖式中,為簡單起見而使用以下識別符以指示可用揚聲器14:通常將形成安裝在收聽者之
大致耳部高度處的設置的水平配置擴音器以「M_X」的形式標記,其中M為MIDDLE(中間)之指示符,暗示此層通常在上部擴音器層與下部擴音器層之間。因此,此將為上述命名法之層1。X識別此層中之特定擴音器,例如,M_L將為「中間層中之左前擴音器」。類似地,吾人將上層擴音器識別為「U_X」,因此「U_Rs」將為「上部層中之右環繞擴音器」。下部層中之擴音器將藉由「L_X」識別。U及L揚聲器因此為以上述命名法之層2...N的揚聲器。安裝在天花板處(即,在收聽者正上方或在擴音器陣列中心正上方)之擴音器標示為頂部。分別地,術語底部用於在收聽者正下方或在擴音器陣列中心正下方的擴音器。在圖9中,揚聲器之分類將為:
藉由模組70之水平平移將使用所有可用擴音器(層1)進行。使用模組72在除了中心(C)之外的所有擴音器上方呈現頂部及底部方向。即,集合36將包含除中心外的所有擴音器,而集合28將涵蓋所有揚聲器。
請注意,此係此實例之顯式決策。當然,中心擴音器亦可用於高度呈現。
在此實例中,中間層環繞擴音器(M_Ls及M_Rs)用於兩個層(層1及層2),此係由於否則層2將不環繞收聽者。即,層1及層2揚聲器將用於如圖7及圖8中所說明的層間平移,例如,用於集合26之層1的層間平移及用於集
合36的層2之層間平移或反之亦然,且一旦所欲虛擬位置在兩個層外部、在其頂部或底部,則屬於類別頂部之揚聲器用於集合36(具有有效等化58且使用層2揚聲器用於集合26),或類別底部揚聲器用於集合36(具有有效等化58且使用層1揚聲器用於集合26)。
此設置中之替代分類可決定在不具有層2的情況下呈現。頂部可僅使用升高的擴音器U_L及U_R呈現,或替代地,頂部亦可藉由如之前所描述的U_L、U_R、M_Ls以及M_Rs的組合呈現。
易於導出其他實例。例如,底層擴音器,或者或多或少升高之擴音器,或在中間層中之或多或少的擴音器,或具有較為任意或不規則的擴音器設置。
在下文中,針對物件在位於兩個實體上存在之擴音器層(其處於不同高度)之間的方向(如自收聽者所見)上平移的實例情況解釋在3D中呈現物件之情況。此已在上文關於圖7及圖8予以了論述,但其在圖11及圖12中更清楚地說明。此處例示性地說明5.0+4H擴音器設置。指示收聽者100之位置及音訊物件104之位置的實例。將揚聲器分類成使用不同線類型區分的兩個獨立層,第二層為虛線且第一層為連續的。
物件藉由將物件信號以不同增益24給予至此層中的擴音器而在第一層中振幅平移,例如藉由將物件信號給予至M_L及M_Ls以使得該物件信號振幅平移至圖11中的底層灰色點位置1061。類似地,物件在第二層中振幅平移至圖11中之高度層灰色點位置1062。如可看出,位置1061及1062可經選擇以使得其豎直地彼此重疊及/或使得所欲位置104與位置1061及1062之豎直投影亦重合。
圖12說明藉由在各層之間應用振幅平移而呈現最終物件方向,即說明豎直平移。考慮位置1061及1062處的虛擬物件為虛擬擴音器,藉由元件30
及40的振幅平移經應用以在所欲位置104處在出現於物件的方向上的兩個層之間呈現虛擬物件。在各層之間的此振幅平移之結果為兩個增益因數32,兩個層之信號34及28藉由該等兩個增益因素進行加權。
用於(真實)擴音器層之間的水平平移之此加權可另外為頻率相依的,以補償在豎直平移中可在不同仰角處感知到不同頻率範圍的效應[13]。
現在進一步檢測在層或最外層上方或下方之呈現物件,作為相對於上文所闡述之描述的額外資訊。
物件可具有並不在兩個層之間的方向範圍內的方向或位置104,如圖11及12所論述。此情況在圖13及圖14中論述。物件之所欲位置104在(實體上存在之)層上方或下方,此處在任何可用層上方,且詳言之在以虛線指示之上部層上方。作為一實例,物件具有在5.0+4H設置的頂部擴音器層上方的方向/位置104,該設置已用作圖11及圖12中的實例設置。
在此情況下,水平振幅平移由模組70應用於高度層以在彼層中呈現物件。所呈現物件之所得位置1061被指示為圖13中之高度層灰色點位置1061。
接著,在高度層中之位置1061與豎直方向/位置1062(圖14中指示為灰色點位置1062)之間應用平移。所得3D平移之虛擬物件指示為灰色點位置104'。
由於在豎直頂部或底部方向處不存在真實擴音器,因此1062處之豎直信號由模組58等化以分別模擬頂部或底部聲音之著色(見關於等化之更多細節的後續解釋)。豎直信號接著給予至經指定用於頂部/底部方向的擴音器(即,集合36)。
關於虛擬頂部或底部擴音器102之呈現,可指出以下內容。
一般而言,不同方法可經選擇以呈現虛擬豎直頂部或底部擴音器。
一般而言,可選擇兩種不同方法:
(1)虛擬頂部/底部始終呈現於如由110指示之實際收聽位置上方。
(2)虛擬頂部/底部揚聲器始終呈現在「甜點」或(主要)擴音器陣列之中心上方。
作為應用實例,若收聽者位置可被追蹤,則可有利地選擇(1),而若不可能追蹤收聽者,則可選擇(2)。
簡單實施針對經選擇用於頂部或底部呈現之每一擴音器使用相同增益,即增益54將選擇為相同。此方案良好地起作用。(其可例如用作最簡單實施,且當收聽者位置未被追蹤且尚未知曉時尤其適用。)
尤其當收聽者不居中地位於擴音器設置內時,則以下考慮因素可改良頂部及底部呈現:
‧若存在高度層且吾人希望平移至高於該高度層,則應用於(高度層)擴音器36之增益因數54可用於頂部方向,使得所得平移方向向量豎直指向上(或替代地朝向虛擬頂部擴音器位置102),即,以使得102在收聽者100正上方。
‧當存在底部擴音器層時,對於底部方向亦如此。
‧若不存在高度層且吾人希望平移至水平層上方,則將增益應用於擴音器以使得振幅平移向量消失(無水平方向偏置)。較簡單言之,吾人可將增益54應用於擴音器,使得收聽者處之信號振幅或功率對於每一頂部/底部呈現擴音器係相同的。
‧當不存在底部擴音器層時,對於底部方向亦如此。
在下文中,使用其他細節進一步例示等化器(或頻譜成形器)58。使得收聽者100能夠定位水平平面中之聲源的主要線索係左耳輸入信號與右耳輸入信號之間的差異(耳間時間差(ITD)及耳間層位差(ILD))。用於估計聲源之豎直位置的主要線索為歸因於由收聽者之頭部、軀幹及耳殼產生之反射的頻譜變化。此類線索在以上描述中通常稱為單聲線索(MC),稱為心理聲學線索。
歸因於每一個體之獨特身體特徵及所考慮之入射方向而出現的特定ILD、ITD及MC通常根據術語頭部相關傳遞函數(HRTF)而分組求和。尤其,MC為高度個別的。又,通常存在影響高度感知之一些共同特徵。
藉由成形自一個方向接收之特定源信號的頻率內容,可支援此聲音實際上來自同一混淆錐上之不同高度及/或前向定向的錯覺。此對應於改變MC,且為等化器(EQ)58之目的。
使用虛擬頂部擴音器/底部擴音器及此等信號的等化的概念的簡單但效果良好的實施分別使用特定靜態EQ用於頂部及底部方向。
圖15展示作為實例之兩個此類探索式判定之等化器,或換言之,展示用於虛擬頂部揚聲器呈現之成形函數60a及用於虛擬底部揚聲器呈現之成形函數60b。此等已經藉由分析所量測HRTF資料判定,該資料對應於意指收聽者上方或下方之來源的線索。考慮許多個體之HRTF,且藉由忽略個體之間改變過多的頻譜改變來判定EQ。
用於頂部方向之等化器60a通常具有一或多個陷波及/或峰值。通常,在1kHz以下存在陷波,且在較高頻率下存在一或多個峰值。用於底部方向之等化器60b包括「本體遮蔽」之效應,即,總體高頻率衰減。換言之,藉由函數60a,第二部分擴音器信號34相對於音訊輸入信號18在200Hz與1000Hz之間的陷波頻譜範圍120中衰減,且在1000與10kHz之間的峰值頻譜範圍1221及1222中之一或多者(此處例示性地存在兩個)內放大。藉由函數60b,第二部分擴音器信號34相對於至少一個音訊信號在高於1000Hz之頻譜範圍124中衰減,其中衰減之減小在頻譜範圍124內的頻譜子範圍126內,該等子範圍位於5kHz與10kHz之間。另外,如圖15中所描繪,函數60b可導致信號34在500Hz與1kHz之間的頻譜範圍128內放大。自然,範圍及實例可改變。
到達收聽者之聲學信號的有效總頻譜部分地藉由未經EQ之信號
(在層內振幅平移)28且部分地藉由經EQ之信號(來自虛擬頂部/底部之信號)34判定。因此,有效總體EQ為整體與頂部/底部EQ 60a/60b之線性組合。以此方式,收聽者處之EQ在源104朝向頂部位置(或相應地朝向底部位置)移動時衰落。
EQ之量的此連續衰落/改變係特別有益的,此係由於人類聽覺系統可使用所接收信號之頻譜的彼等改變來判斷其位置。尤其在追蹤情境中,此改變可用於區分特定頻譜特徵是否為實際信號之特性,或在收聽者移動時改變,且其由此可被解釋為與源位置相關之特徵。
概言之,致能具有升高或降低高度聲音(頂部及底部)之再現的基於物件之音訊或多聲道音訊之再現。經由任意擴音器設置播放輸入音訊信號(特徵為意欲用於在升高或降低之擴音器層上再現的聲音)係可能的。此處,「擴音器設置」亦包括如聲棒、具有內置擴音器之TV、音箱、聲板、擴音器陣列、智慧型揚聲器等的裝置及拓樸。不需要具有升高或降低的擴音器層。因此,使幾乎任何任意擴音器設置(甚至在無升高或降低的擴音器的情況下)中的頂部或底部聲音的感知效應成為可能。
實施例在計算上有效,以使得其亦可有利地用於(不斷改變的)收聽者位置已知及/或(不斷地)由播放系統追蹤的情境中。
該等實施例可用於基於聲道之音訊、基於物件之音訊及基於場景之音訊(例如立體混響)輸入格式信號。
相較於基於HRTF之呈現方法,應強調,實施例並不旨在在所有可能方向上模擬特定物件位置之詳細特定雙耳線索(其可能難以在廣泛範圍內達成)。實情為,產生引起在一個特定位置/方向處對收聽者上方或下方之聲源之感知(即,產生上方或下方之虛擬源)的線索之良好模擬。因此,嘗試以極好/有說服力的方式模擬彼等兩個方向(頂部/底部102)之感知。所選擇的此等兩個特定方向之益處為除頻譜線索外,兩個其他主要空間音訊線索(即ITD及ILD)係最小的;理
論上,對於完全在收聽者上方或下方的聲源不發生ITD及ILD,即,對於來自聲源之直接聲音,水平方向上之粒子速度接近於零。因此,水平地及豎直地平移,可能虛擬地呈現頂部/底部揚聲器102之兩階段方法為穩定的,且產生高準確度。
在下文中,吾人描述多個擴音器中之擴音器可如何自動地指派給擴音器之集合或層以用於再現虛擬擴音器之一些其他實例選擇標準。
○用於選擇用於集合/層的擴音器的標準:
■選擇每一層,使得較佳地圍繞收聽者之360度平移係可能的。
○用於再現虛擬高度聲道的擴音器的選擇:
■使用多個擴音器,使得
1)較佳地選擇已經處於升高位置處的擴音器
2)考慮1),選擇(其他)擴音器以達成圍繞收聽者的陣列
■選定擴音器應儘可能良好,使得其可再現虛擬高度聲道之信號,使得:在收聽者位置處產生之音場在水平方向上具有零或小粒子速度。
■若多個合適的擴音器為可用的,則可使用其中之任一者,或選擇程序可為如下:
■若可能,選擇在收聽者周圍對稱的擴音器(理想地,儘可能(旋轉)對稱)
■若已經朝向所欲虛擬高度源之所要高度位置配置於升高位置處(向上或向下)的擴音器可用,則
‧擴音器的仰角應儘可能大,即,始終選擇具有最大仰角的擴音器(儘可能豎直)。
○理想情況下,選擇儘可能少的擴音器以滿足上述準則
○當然,擴音器亦可藉由使用者「手動地」選擇/指派。
用於(可能自適應)呈現之可能輸入參數為:
○自收聽者位置至擴音器之角度(方位角及仰角)
■此係在所有擴音器同等地遠離且在收聽位置處產生類似位準的假設下。
■若其並不同等地遠離,則位準及/或延遲可經平衡以在收聽者位置處達成相等位準/到達時間。
○在追蹤收聽者之情境中,除角度以外亦需要至每一擴音器之距離,以使得位準及/或延遲可經調適。
■在追蹤情境下的此類位準及延遲調適亦可有益於達成上文所提及的針對虛擬高度信號之再現的「在水平方向上的小粒子速度」準則。
總之,本文中所描述之實施例可任選地由此處所描述之重要點或態樣中之任一者補充。然而,應注意,可個別地或組合地使用此處所描述之重要點及態樣,且可將其個別地及組合地引入至本文中所描述之實施例中之任一者中。作為後者之結果,尤其以上描述包括一種用於產生用於多個擴音器14之擴音器信號12以使得該等擴音器信號12在該等多個擴音器14處之應用在所欲虛擬位置104處呈現至少一個音訊物件之設備,該設備包含:一介面16,其經組配以接收表示該至少一個音訊物件之一音訊輸入信號18;一第一平移增益判定器22,其經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的配置於第一水平層內或形成第一水平層之擴音器之一第一集合26的第一平移增益24,該等第一平移增益24界定第一部分擴音器信號28自該至少一個音訊輸入信號18之一導出,該等第一部分擴音器信號與在將該等第一部分擴音器信號28應用於擴音器之該第一集合26上後即刻在一第一虛擬位置106處呈現該至少一個音訊物件相關聯;一豎直平移增益判定器30,其經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號28與一或多個第二部分擴音器信號34之間的一平移之進一步平移增益32,該一或多個第二部分擴音器信號待應用於相對於該第一層集合豎直偏移的一或多個擴音器之一第二集合36以便配置於第二水平層中或形成第二水平層,且與該至少一個音訊物件在一第二位置102處之一呈現相關聯以便在該第
一虛擬位置106與該第二位置102之間平移,其中該設備經組配以使用該等第一平移增益24及該等進一步平移增益32自該音訊輸入信號18合成該等擴音器信號12。亦包含第二平移增益判定器52,其經組配以取決於該所欲虛擬位置而判定擴音器之該第二集合之第二平移增益54,該等第二平移增益54界定該等第二部分擴音器信號34自該至少一個音訊輸入信號之一導出,且該設備經組配以使用該等第一平移增益及該等第二平移增益以及該等進一步平移增益自該音訊輸入信號18合成該等擴音器信號12。該第一平移增益判定器22及第二平移增益判定器52經組配以選擇該等多個擴音器中之擴音器之該第一集合26及該第二集合36,以使得該第一層集合與該第二層集合在該等多個擴音器分佈至的水平層當中具有豎直地居於其間之所欲虛擬位置104。應注意,擴音器之第一集合26與擴音器之第二集合36可部分重疊,即,一個擴音器可由集合26及36兩者含有。更精確地,多個擴音器可以對於每一水平層,屬於該水平層的擴音器水平地(即在水平投影中)環繞收聽者位置,或換言之,允許水平地圍繞收聽者位置的360度平移之方式分佈至水平層上,且為了達成此情況,例如至少一對水平層可共享其擴音器中的一或多者。即,水平層的水平及豎直偏移有時可在一定程度上抽象化,諸如對於至少一對水平層,一或多個擴音器分別屬於水平層中的多於一者。又換言之,尤其以上描述包括一種用於產生用於多個擴音器14之擴音器信號12以使得該等擴音器信號12在該等多個擴音器14處之應用在一所欲虛擬位置104處呈現至少一個音訊物件之設備,其中該等多個擴音器分佈至一或多個水平層上,該設備包含:一介面16,其經組配以接收表示該至少一個音訊物件之一音訊輸入信號18;一第一擴音器信號集合判定器70,其經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的擴音器之一第一集合26的第一平移增益24,且使用該等第一平移增益24來自該至少一個音訊輸入信號18導出第一部分擴音器信號28,該等第一部分擴音器信號與在將該等第一部分擴音器信號應用於擴音器之該第一集
合26上後即刻在一第一虛擬位置106處呈現該至少一個音訊物件相關聯;一第二擴音器信號集合判定器72,其經組配以藉由頻譜成形自該至少一個音訊輸入信號18導出第二部分擴音器信號34,該等第二部分擴音器信號34與在將該等第二部分擴音器信號34應用於擴音器之一第二集合36上後即刻在一第二虛擬位置102處呈現該至少一個音訊物件相關聯,該第二虛擬位置在該一或多個水平層上方或下方;及一豎直平移增益判定器30,其經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號及該等第二部分擴音器信號之進一步平移增益32,以便在該第一虛擬位置與該第二虛擬位置之間平移;及一合成器40,其經組配以使用該等進一步平移增益32自該等第一部分擴音器信號及該等第二部分擴音器信號合成該等擴音器信號。再次,應注意,擴音器之第一集合26與擴音器之第二集合36可部分重疊,即,一個擴音器可由集合26及36兩者含有。更精確地,多個擴音器可以對於每一水平層,屬於該水平層的擴音器水平地(即在水平投影中)環繞收聽者位置,或換言之,允許水平地圍繞收聽者位置的360度平移之方式分佈至水平層上,且為了達成此情況,例如至少一對水平層可共享其擴音器中的一或多者。即,水平層的水平及豎直偏移有時可在一定程度上抽象化,諸如對於至少一對水平層,一或多個擴音器分別屬於水平層中的多於一者。上文所描述及在後續申請專利範圍中所提及之所有其他修改亦係可行的,諸如使用頻譜成形58以便自至少一個音訊信號18導出第二部分擴音器信號34,以便得出第二位置為高於水平層中之最高者或低於水平層中之最低者的虛擬位置102。
儘管已在設備之上下文中描述一些態樣,但顯而易見,此等態樣亦表示對應方法之描述,其中裝置或其部分對應於方法步驟或方法步驟之特徵。類似地,方法步驟之上下文中所描述之態樣亦表示對應設備或設備部分或對應設備之物件或特徵的描述。可由(或使用)硬體設備(例如,微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或所有。在一些實施例中,可由此設備執行
最重要之方法步驟中之一或多者。
取決於某些實施要求,本發明之實施例可在硬體或軟體中實施。實施可使用數位儲存媒體來進行,該數位儲存媒體例如軟性磁碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體,該數位儲存媒體上儲存有電子可讀控制信號,該電子可讀控制信號與可規劃電腦系統協作(或能夠協作)使得各別方法被進行。因此,數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體,該等控制信號能夠與可規劃電腦系統協作,使得執行本文中所描述之方法中的一者。
通常,本發明之實施例可實施為具有程式碼之電腦程式產品,當電腦程式產品在電腦上執行時,程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上的用於執行本文中所描述之方法中的一者的電腦程式。
換言之,因此,本發明方法之實施例為具有當電腦程式運行於電腦上時,用於執行本文中所描述之方法中的一者的程式碼之電腦程式。
因此,本發明方法之另一實施例為資料載體(或數位儲存媒體,或電腦可讀媒體),其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或記錄媒體通常為有形的及/或非暫時性的。
因此,本發明方法之再一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可(例如)經組配以經由資料通信連接(例如,經由網際網路)而傳遞。
另一實施例包含處理構件,例如,經組配或經調適以執行本文中所描述之方法中的一者的電腦或可規劃邏輯裝置。
另一實施例包含其上安裝有用於執行本文中所描述之方法中的一者的電腦程式之電腦。
根據本發明之另一實施例包含經組配以將用於執行本文中所描述之方法中的一者的電腦程式傳送(例如,用電子方式或光學方式)至接收器的設備或系統。接收器可為例如電腦、行動裝置、記憶體裝置或類似者。該設備或系統可例如包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中,可規劃邏輯裝置(例如,場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或所有。在一些實施例中,場可規劃閘陣列可與微處理器合作,以便執行本文中所描述之方法中的一者。通常,該等方法較佳地由任一硬體設備執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦的組合來進行。
本文中所描述之方法或本文中所描述之方法的任何部分可至少部分地由硬體及/或由軟體執行。
上述實施例僅說明本發明之原理。應理解,對本文中所描述之配置及細節的修改及變化將對熟習此項技術者顯而易見。因此,其僅意欲由接下來之申請專利範圍之範疇限制,而非由藉由本文中實施例之描述及解釋所呈現的特定細節限制。
參考文獻
[1] A.B. S and S.M. R. Apparent sound source translator. February
1966. US Patent 3,236,949.
[2] Philip A Nelson, Hareo Hamada, and Stephen J Elliott. Adaptive inverse filters for stereophonic sound reproduction. IEEE Transactions on Signal Processing, 40(7):1621-1632, 1992.
[3] P. A. Nelson and J. F. W. Rose. Errors in two-point sound reproduction. The Journal of the Acoustical Society of America, 118(1):193, 2005.
[4] Takashi Takeuchi and Philip A. Nelson. Optimal source distribution for binaural syn-thesis over loudspeakers. The Journal of the Acoustical Society of America, 112(6):2786,2002.
[5] Hironori Tokuno, Ole Kirkeby, Philip A Nelson, and Hareo Hamada. Inverse filter of sound reproduction systems using regularization.IEICE Transactions on Fundamen-tals of Electronics, Communications and Computer Sciences, 80(5):809-820, 1997.
[6] Ole Kirkeby, Philip A. Nelson, Hareo Hamada, and Felipe Orduna-Bustamante. Fast deconvolution of multichannel systems using regularization. IEEE Transactions on Speech and Audio Processing, 6(2):189-194, 1998.
[7] Edgar Y Choueiri. Optimal crosstalk cancellation for binaural audio with two loud-speakers. Princeton University, page 28, 2008.
[8] B. B. Bauer. Stereophonic earphones and binaural loudspeakers. J. Audio Eng. Soc.,9:148-151, 1961.
[9] J. Huopaniemi. Virtual Acoustics and 3D Sound in Multimedia Signal Processing. PhD thesis, Laboratory of Acoustics and Audio Signal Processing, Helsinki University of Technology, Finland, 1999. Rep. 53.
[10] Hyunkook Lee. Sound source and loudspeaker base angle
dependency of phantom image elevation effect. J. Audio Eng. Soc, 65(9):733-748, 2017.
[11] Hyunkook Lee, Dale Johnson, and Maksims Mironovs. Virtual hemispherical amplitude panning (vhap): A method for 3d panning without elevated loudspeakers. In Audio Engineering Society Convention 144, May 2018.
[12] Young Woo Lee et al., “Virtual Height Speaker Rendering for Samsung 10.2-channel Vertical Surround System”. In Audio Engineering Society Convention 131, October 2011.
[13] Reinhard Gretzki and Andreas Silzle, “A new method for elevation panning reducing the size of the resulting auditory events”, TecniAcustica, Bilbao, 2003.
[14] Christian Borß, "A Polygon-Based Panning Method for 3D Loudspeaker Setups," Audio Engineering Society Convention 137, Oct, 2014.
[15] MPEG-H Standard, ISO/IEC 23008-3:2015(E).
10:設備
12:擴音器信號
14:擴音器
16:介面
18:音訊信號
20:位置輸入
21:所欲虛擬位置
22:第一平移增益判定器
24:第一平移增益
26:擴音器之第一集合
28:第一部分擴音器信號,集合,信號
30:豎直平移增益判定器
32:進一步平移增益
34:第二部分擴音器信號,集合,信號
36:擴音器之第二集合
40:合成器
42,44a,44b,56:乘法器
46:加法器
52:第二平移增益判定器
54:第二平移增益
58:頻譜成形器
60:成形函數
70:第一擴音器信號集合判定器
72:第二擴音器信號集合判定器
Claims (46)
- 一種用於產生用於多個擴音器(14)之擴音器信號(12)以使得該等擴音器信號(12)在該等多個擴音器(14)處之一應用在一所欲虛擬位置(104)處呈現至少一個音訊物件之設備,該設備包含一介面(16),其經組配以接收表示該至少一個音訊物件之一音訊輸入信號(18),一第一平移增益判定器(22),其經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的配置於一或多個第一水平層之一第一層集合內之擴音器之一第一集合(26)的第一平移增益(24),該等第一平移增益(24)界定第一部分擴音器信號(28)自該至少一個音訊輸入信號(18)之一導出,該等第一部分擴音器信號與在將該等第一部分擴音器信號(28)應用於擴音器之該第一集合(26)上後即刻在一第一虛擬位置(106)處呈現該至少一個音訊物件相關聯,一豎直平移增益判定器(30),其經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號(28)與一或多個第二部分擴音器信號(34)之間的一平移之進一步平移增益(32),該一或多個第二部分擴音器信號待應用於相對於該第一層集合豎直偏移的一或多個擴音器之一第二集合(36),且與該至少一個音訊物件在一第二位置(102)處之一呈現相關聯以便在該第一虛擬位置(106)與該第二位置(102)之間平移,其中該設備經組配以使用該等第一平移增益(24)及該等進一步平移增益(32)自該音訊輸入信號(18)合成該等擴音器信號(12),其中一或多個擴音器之該第二集合(36)包含多於一個擴音器,該一或多個第二部分擴音器信號(34)包含多於一個第二部分擴音器信號,且該設備進一步包含一第二平移增益判定器(52),其經組配以取決於該所欲虛擬位置而判定擴音器之該第二集合之第二平移增益(54),該等第二平移增益(54)界定該等第二部分 擴音器信號(34)自該至少一個音訊輸入信號之一導出,且其中該設備經組配以使用該等第一平移增益及該等第二平移增益以及該等進一步平移增益自該音訊輸入信號(18)合成該等擴音器信號(12)。
- 如請求項1之設備,其中擴音器之該第二集合(36)在一或多個水平層之一第二層集合內,且該第一層集合與該第二層集合彼此豎直偏移。
- 如請求項1之設備,其中擴音器之該第二集合(36)在一或多個水平層之一第二層集合內,且該第一層集合與該第二層集合彼此豎直偏移,其中該所欲虛擬位置(104)豎直地居於其間。
- 如請求項1之設備,其中擴音器之該第二集合(36)在一或多個水平層之一第二層集內,且該第一平移增益判定器(22)及該第二平移增益判定器(52)經組配以選擇該等多個擴音器中之擴音器之該第一集合(26)及該第二集合(36)以使得該第一層集合與該第二層集合在該等多個擴音器分佈至的水平層當中豎直地最接近於該所欲虛擬位置(104)且彼此豎直偏移,其中該所欲虛擬位置(104)豎直地居於其間。
- 如請求項1之設備,其中該第一平移增益判定器(22)及該第二平移增益判定器(52)經組配以導出該等第一平移增益(24)及該等第二平移增益(54),以使得該第一虛擬位置(1061)與該第二位置(1062)在一豎直投影中重合。
- 如請求項1之設備,其中該設備經組配以藉由頻譜成形(58)自該至少一個音訊信號(18)導出該等第二部分擴音器信號(34),使得該第二位置為在該第二層集合上方或下方之一虛擬位置(102)。
- 如請求項6之設備,其中該頻譜成形(58)沿著自該第二位置(102)之一感知方向模擬一頭部相關傳遞 函數HRTF的特性。
- 如請求項6之設備,其經組配以使得該第二位置豎直地在該第二層集合上方,且執行該頻譜成形(58),以使得該等第二部分擴音器信號(34)相對於該至少一個音訊輸入信號在200Hz與1000Hz之間的一陷波頻譜範圍(120)中衰減,且在1000與10kHz之間的峰值頻譜範圍(1221,1222)中之一或多者內放大,或使得該第二位置豎直地在該第二層集合下方,且執行該頻譜成形,以使得該等第二部分擴音器信號(34)相對於該至少一個音訊信號在高於1000Hz之一頻譜範圍中衰減。
- 如請求項6之設備,其經組配以使得該第二位置豎直地在該第二層集合上方,且執行該頻譜成形(58),以使得該等第二部分擴音器信號(34)相對於該至少一個音訊輸入信號在200Hz與1000Hz之間的一陷波頻譜範圍(120)中衰減,且在1000與10kHz之間的峰值頻譜範圍(1221,1222)中之一或多者內放大,或使得該第二位置豎直地在該第二層集合下方,且執行該頻譜成形,以使得該等第二部分擴音器信號(34)相對於該至少一個音訊信號在高於1000Hz之一頻譜範圍(124)中衰減,其中該衰減之一中間減小在該頻譜範圍內的位於5kHz與10kHz之間的一頻譜子範圍(126)內,且在500Hz與1kHz之間放大(128)。
- 如請求項6之設備,其經組配以若該所欲虛擬位置(104)豎直地在該第二層集合上方,則將該第二位置定位為豎直地在該第二層集合上方,且執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊輸入信號在200Hz與1000Hz之間的一陷波頻譜範圍中衰減,且在1000與10kHz之間的峰值頻譜範圍中之一或多者內放大,且若該所欲虛擬位置豎直地在該第二層集合下方,則將該第二位置定位為豎 直地在該第二層集合下方,執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊信號在高於1000Hz之一頻譜範圍中衰減。
- 如請求項6之設備,其中該等多個擴音器(14)形成其中該等擴音器與水平層相關聯之一設置,且該設備經組配以回應於該所欲虛擬位置之一改變以便若該所欲虛擬位置在兩個水平層之間,則選擇該第一層集合為該等兩個水平層中之一第一者且選擇該第二層集合為該等兩個水平層中之一第二者,且自與該第一水平層相關聯的擴音器中選擇該第一集合(26)且自與該第二水平層相關聯之擴音器中選擇該第二集合(36),其中該第一平移增益判定器(22)及該第二平移增益判定器(52)經組配以取決於該所欲虛擬位置而判定該等第一平移增益及該等第二平移增益,且該頻譜成形(58)被斷開,以使得該第一虛擬位置在該第一水平層內,且該第二虛擬位置在該第二水平層內,且若該所欲虛擬位置朝向該等水平層上方或下方而豎直地偏移至所有水平層,則選擇該第一層集合及該第二層集合為該等水平層中最接近於該所欲虛擬位置之一最外層,且自與該最外層相關聯的擴音器中選擇該第一集合(26)及該第二集合(36),其中該第一平移增益判定器(22)經組配以取決於該所欲虛擬位置而判定該等第一平移增益,且使用該頻譜成形(58),以使得該第二位置為相對於該最外層朝向該所欲虛擬位置(104)所處於的一方向豎直地偏移之一虛擬位置(102)。
- 如請求項11之設備,其中該設備經組配以回應於該所欲虛擬位置之一改變,以便若該所欲虛擬位置在兩個水平層之間,則 該第一平移增益判定器(22)及該第二平移增益判定器(52)經組配以取決於該所欲虛擬位置而判定該等第一平移增益及該等第二平移增益,以使得該第一虛擬位置(1061)與該第二位置(1062)在一豎直投影中重合,且該頻譜成形(58)被斷開,及/或若該所欲虛擬位置朝向該等水平層上方或下方而豎直地偏移至所有水平層,則該第一平移增益判定器(22)經組配以取決於該所欲虛擬位置而判定該等第一平移增益,以使得該第一虛擬位置(106)在一豎直投影中與該所欲虛擬位置重合。
- 如請求項6之設備,其中該等多個擴音器(14)形成其中該等擴音器與一或多個水平層相關聯之一設置,且該設備經組配以回應於該一或多個水平層之一數目及該所欲虛擬位置之一改變以便若一或多個水平層之該數目大於一,則若該所欲虛擬位置在兩個水平層之間,則選擇該第一層集合為該等兩個水平層中之一第一者且選擇該第二層集合為該等兩個水平層中之一第二者,且自與該第一水平層相關聯的擴音器中選擇該第一集合(26)且自與該第二水平層相關聯之擴音器中選擇該第二集合(36),其中該第一平移增益判定器(22)及該第二平移增益判定器(52)經組配以取決於該所欲虛擬位置而判定該等第一平移增益及該等第二平移增益,且該頻譜成形(58)被斷開,以使得該第一虛擬位置在該第一水平層內,且該第二虛擬位置在該第二水平層內,且若該所欲虛擬位置朝向該等水平層上方或下方而豎直地偏移至所有水平層,則 選擇該第一層集合及該第二層集合為該等水平層中最接近於該所欲虛擬位置之一最外層,且自與該最外層相關聯的擴音器中選擇該第一集合(26)及該第二集合(36),其中該第一平移增益判定器(22)經組配以取決於該所欲虛擬位置判定該等第一平移增益,且使用該頻譜成形(58),以使得該第二位置為相對於該最外層朝向該所欲虛擬位置(104)所處於的一方向豎直地偏移之一虛擬位置(102),且若一或多個水平層之該數目為一,則若該所欲虛擬位置在該一個水平層內,單純地自該等第一部分擴音器信號合成該等擴音器信號(12),且若該所欲虛擬位置豎直地偏移至該一個水平層,選擇該第一層集合及該第二層集合為該一個水平層,且自與該一個水平層相關聯的擴音器中選擇該第一集合(26)及該第二集合(36),其中該第一平移增益判定器(22)經組配以取決於該所欲虛擬位置而判定該等第一平移增益,且使用該頻譜成形(58),以使得該第二位置為相對於該一個水平層朝向該所欲虛擬位置(104)所處於的一方向豎直地偏移之一虛擬位置(102)。
- 如請求項13之設備,其中該設備經組配以回應於該一或多個水平層之一數目及該所欲虛擬位置之一改變,以便若一或多個水平層之該數目大於一,則若該所欲虛擬位置在兩個水平層之間,則該第一平移增益判定器(22)及該第二平移增益判定器(52)經組配以取決於該所欲虛擬位置而判定該等第一平移增益及該等第二平移增益,以使得該第一虛擬位置(1061)與該第二位置(1062)在一豎直投影中 重合,及/或若該所欲虛擬位置朝向該等水平層上方或下方而豎直地偏移至所有水平層,則該第一平移增益判定器(22)經組配以取決於該所欲虛擬位置而判定該等第一平移增益,以使得該第一虛擬位置(106)在一豎直投影中與該所欲虛擬位置重合,及/或若一或多個水平層之該數目為一,則若該所欲虛擬位置豎直地偏移至該一個水平層,該第一平移增益判定器(22)經組配以取決於該所欲虛擬位置而判定該等第一平移增益,以使得該第一虛擬位置(106)在一豎直投影中與該所欲虛擬位置重合。
- 如請求項1之設備,其中擴音器之該第一集合(26)包括於一或多個擴音器之該第二集合(36)中,及/或其中一或多個擴音器之該第二集合(36)包括於擴音器之該第一集合(26)中,及/或其中擴音器之該第一集合(26)與一或多個擴音器之該第二集合(36)重合,及/或其中擴音器之該第一集合(26)與一或多個擴音器之該第二集合(36)部分地重疊,及/或其中擴音器之該第一集合(26)與一或多個擴音器之該第二集合(36)為不相交集合。
- 如請求項1之設備,其中該第一平移增益判定器(22)及/或該第二平移增益判定器(52)經組配以 進一步取決於一收聽者位置而判定該等第一平移增益(24)及/或該等第二平移增益(54)。
- 一種用於產生用於多個擴音器(14)之擴音器信號(12)以使得該等擴音器信號(12)在該等多個擴音器(14)處之一應用在一所欲虛擬位置(104)處呈現至少一個音訊物件之設備,該設備包含一介面(16),其經組配以接收表示該至少一個音訊物件之一音訊輸入信號(18),一第一平移增益判定器(22),其經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的配置於一或多個第一水平層之一第一層集合內之擴音器之一第一集合(26)的第一平移增益(24),該等第一平移增益(24)界定第一部分擴音器信號(28)自該至少一個音訊輸入信號(18)之一導出,該等第一部分擴音器信號與在將該等第一部分擴音器信號(28)應用於擴音器之該第一集合(26)上後即刻在一第一虛擬位置(106)處呈現該至少一個音訊物件相關聯,一豎直平移增益判定器(30),其經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號(28)與一或多個第二部分擴音器信號(34)之間的一平移之進一步平移增益(32),該一或多個第二部分擴音器信號待應用於相對於該第一層集合豎直偏移的一或多個擴音器之一第二集合(36),且與該至少一個音訊物件在一第二位置(102)處之一呈現相關聯以便在該第一虛擬位置(106)與該第二位置(102)之間平移,其中該設備經組配以使用該等第一平移增益(24)及該等進一步平移增益(32)自該音訊輸入信號(18)合成該等擴音器信號(12),其中該設備經組配以取決於該所欲虛擬位置之一水平分量或取決於該所欲虛擬位置之該水平分量及該所欲虛擬位置之一豎直分量而自該等多個擴音器中選擇擴音器 之該第一集合(26),及/或經組配以取決於該所欲虛擬位置之一豎直分量或取決於該所欲虛擬位置之該水平分量及該所欲虛擬位置之該豎直分量而自該等多個擴音器中選擇一或多個擴音器之該第二集合(36)。
- 如請求項17之設備,其中一或多個擴音器之該第二集合包含在該第二位置處或水平環繞該第二位置且水平地配置在擴音器之該第一集合之間的一或多個擴音器。
- 一種用於產生用於多個擴音器(14)之擴音器信號(12)以使得該等擴音器信號(12)在該等多個擴音器(14)處之一應用在一所欲虛擬位置(104)處呈現至少一個音訊物件之設備,該設備包含一介面(16),其經組配以接收表示該至少一個音訊物件之一音訊輸入信號(18),一第一平移增益判定器(22),其經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的配置於一或多個第一水平層之一第一層集合內之擴音器之一第一集合(26)的第一平移增益(24),該等第一平移增益(24)界定第一部分擴音器信號(28)自該至少一個音訊輸入信號(18)之一導出,該等第一部分擴音器信號與在將該等第一部分擴音器信號(28)應用於擴音器之該第一集合(26)上後即刻在一第一虛擬位置(106)處呈現該至少一個音訊物件相關聯,一豎直平移增益判定器(30),其經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號(28)與一或多個第二部分擴音器信號(34)之間的一平移之進一步平移增益(32),該一或多個第二部分擴音器信號待應用於相對於該第一層集合豎直偏移的一或多個擴音器之一第二集合(36),且與該至少一個音訊物件在一第二位置(102)處之一呈現相關聯以便在該第一虛擬位置(106)與該第二位置(102)之間平移, 其中該設備經組配以使用該等第一平移增益(24)及該等進一步平移增益(32)自該音訊輸入信號(18)合成該等擴音器信號(12),其中該第一平移增益判定器(22)經組配以進一步取決於一收聽者位置而判定該等第一平移增益(24)及/或該等第二平移增益(54)。
- 如請求項1至19中任一項之設備,其中該等多個擴音器係指一或多個擴音器陣列、一或多個聲棒、一或多個智慧型揚聲器、一或多個立體聲揚聲器、一或多個環繞聲設置或個別擴音器之一或多個集合中之任一者或其一組合。
- 如請求項1至19中任一項之設備,其中該音訊輸入信號為一基於聲道之音訊信號、基於物件之音訊信號及/或基於場景之音訊信號中之一者。
- 如請求項1至19中任一項之設備,其經組配以自該音訊輸入信號導出該所欲虛擬位置。
- 如請求項1至19中任一項之設備,其中該等平移增益為振幅平移增加。
- 如請求項1至19中任一項之設備,其中該音訊輸入信號為界定用於信號特定擴音器位置中之每一者之一音訊信號的一基於聲道之音訊信號,其中該設備經組配以將用於該等信號特定擴音器位置之該等音訊信號中之一或多者(或全部)的一選擇中之每一者處理為該至少一個音訊物件中之一者。
- 如請求項24之設備,其經組配以自該各別音訊信號之該擴音器位置導出該一個音訊物件之該所欲虛擬位置。
- 如請求項25之設備,其經組配以 其中該一個音訊物件之該所欲虛擬位置係以使得維持該信號特定擴音器位置之間的一相互位置關係之一方式自該各別音訊信號之該擴音器位置導出。
- 如請求項1至19中任一項之設備,其中該音訊輸入信號為界定一或多個可呈現音訊物件之一基於物件之音訊信號,其中該設備經組配以將該一或多個可呈現音訊物件中之一或多者(或全部)的一選擇用作該至少一個音訊物件中之一者。
- 如請求項1至19中任一項之設備,其經組配以接收關於該等多個擴音器在擴音器位置方面之一改變的資訊且在該等擴音器信號之後續產生中考慮到該改變,及/或經組配以接收關於該等多個擴音器在擴音器之數目方面之一改變的資訊且在該等擴音器信號之後續產生中考慮到該改變。
- 一種用於產生用於多個擴音器(14)之擴音器信號(12)以使得該等擴音器信號(12)在該等多個擴音器(14)處之一應用在一所欲虛擬位置(104)處呈現至少一個音訊物件之設備,其中該等多個擴音器分佈至一或多個水平層上,該設備包含一介面(16),其經組配以接收表示該至少一個音訊物件之一音訊輸入信號(18),一第一擴音器信號集合判定器(70),其經組配以取決於該所欲虛擬位置而判定該等多個擴音器中的擴音器之一第一集合(26)的第一平移增益(24),且使用該等第一平移增益(24)來自該至少一個音訊輸入信號(18)導出第一部分擴音器信號(28),該等第一部分擴音器信號與在將該等第一部分擴音器信號應用於擴音器之該第一集合(26)上後即刻在一第一虛擬位置(106)處呈現該至少一個音訊物件相關聯, 一第二擴音器信號集合判定器(72),其經組配以藉由頻譜成形自該至少一個音訊輸入信號(18)導出第二部分擴音器信號(34),該等第二部分擴音器信號(34)與在將該等第二部分擴音器信號(34)應用於擴音器之一第二集合(36)上後即刻在一第二虛擬位置(102)處呈現該至少一個音訊物件相關聯,該第二虛擬位置在該一或多個水平層上方或下方,及一豎直平移增益判定器(30),其經組配以取決於該所欲虛擬位置而判定該等第一部分擴音器信號及該等第二部分擴音器信號之進一步平移增益(32),以便在該第一虛擬位置與該第二虛擬位置之間平移,及一合成器(40),其經組配以使用該等進一步平移增益(32)自該等第一部分擴音器信號及該等第二部分擴音器信號合成該等擴音器信號。
- 如請求項29之設備,其中擴音器之該第一集合在一或多個水平層內,其在該一或多個水平層當中豎直地最接近於該所欲虛擬位置。
- 如請求項29或30之設備,其中該第一擴音器信號集合判定器(70)經組配以選擇該等多個擴音器中的擴音器之該第一集合(26),以使得擴音器之該第一集合在一或多個水平層內,其在該一或多個水平層當中豎直地最接近於該所欲虛擬位置。
- 如請求項29或30之設備,其中該第一擴音器信號集合判定器(70)經組配以使得擴音器之該第一集合在一個水平層內,且進一步取決於擴音器之該第一集合在該一個水平層內的位置而判定該等第一平移增益。
- 如請求項29或30之設備,其中該第一擴音器信號集合判定器(70)經組配以使得該等第一平移增益實施一純振幅平移,使得該第一虛擬位置在第一擴音器之該集合的位置之間。
- 如請求項29或30之設備,其中該第一擴音器信號集合判定器(70)經組配以進一步取決於一收聽者位置而判定該等第一平移增益。
- 如請求項29或30之設備,其中該第二擴音器信號集合判定器(72)經組配以使得該頻譜成形沿著自該第二虛擬位置之一感知方向模擬一頭部相關傳遞函數HRTF的特性。
- 如請求項29或30之設備,其中該第二擴音器信號集合判定器(72)經組配以自該至少一個音訊信號導出該等第二部分擴音器信號,以使得該等第二部分擴音器信號藉由以下各者而使用對於所有該等第二部分擴音器信號相等的一振幅增益因數自該至少一個音訊信號產生,或藉由使用對應於擴音器之該第二集合之間的一水平中心位置或甜點位置的平移增益的平移,或藉由對應於沿著一豎直投影與一收聽者位置重合之一水平位置的平移增益。
- 如請求項29或30之設備,其中擴音器之該第一集合包括於擴音器之該第二集合中,及/或其中擴音器之該第二集合(36)包括於擴音器之該第一集合(26)中,及/或其中擴音器之該第一集合與擴音器之該第二集合重合,及/或其中擴音器之該第一集合(26)與擴音器之該第二集合(36)部分地重疊,及/或其中擴音器之該第一集合與擴音器之該第二集合不存在交集。
- 如請求項29或30之設備,其經組配以取決於該所欲虛擬位置之一水平分量或取決於該所欲虛擬位置之該水平分量及該所欲虛擬位置之一豎直分量而自該等多個擴音器中選擇擴音 器之該第一集合(26),及/或經組配以取決於該所欲虛擬位置之一豎直分量或取決於該所欲虛擬位置之該水平分量及該所欲虛擬位置之該豎直分量而自該等多個擴音器中選擇擴音器之該第二集合(36)。
- 如請求項29或30之設備,其中該第二擴音器信號集合判定器(72)經組配以使得該第二虛擬位置豎直地在該一或多個水平層上方,且執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊輸入信號在200Hz與1000Hz之間的一陷波頻譜範圍中衰減,且在1000與10kHz之間的峰值頻譜範圍中之一或多者內放大,或其中該第二擴音器信號集合判定器(72)經組配以使得該第二虛擬位置豎直地在該一或多個水平層下方,執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊信號在高於1000Hz之一頻譜範圍中衰減。
- 如請求項29或30之設備,其中該第二擴音器信號集合判定器(72)經組配以使得該第二虛擬位置豎直地在該一或多個水平層上方,且執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊輸入信號在200Hz與1000Hz之間的一陷波頻譜範圍中衰減,且在1000與10kHz之間的峰值頻譜範圍中之一或多者內放大,或其中該第二擴音器信號集合判定器(72)經組配以使得該第二虛擬位置豎直地在該一或多個水平層下方,且執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊信號在高於1000Hz之一頻譜範圍中衰減,其中該衰減之一中間減小在該頻譜範圍內的位於5kHz與10kHz之間的一頻譜子範圍內,且在500Hz與1kHz之間放大。
- 如請求項29或30之設備,其中該第二擴音器信號集合判定器(72)經組配以, 若該所欲虛擬位置豎直地在該一或多個水平層上方,則將該第二虛擬位置定位為豎直地在該一或多個水平層上方,執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊輸入信號在200Hz與1000Hz之間的一陷波頻譜範圍中衰減,且在1000與10kHz之間的峰值頻譜範圍中之一或多者內放大,且若該所欲虛擬位置豎直地在該一或多個水平層下方,則將該第二虛擬位置定位為豎直地在該一或多個水平層下方,執行該頻譜成形,以使得該等第二部分擴音器信號相對於該至少一個音訊信號在高於1000Hz之一頻譜範圍中衰減。
- 如請求項29或30之設備,其中該合成器經組配以藉由以下操作回應於該所欲虛擬位置自豎直地在該一或多個層內或其間的一層內位置至自該一或多個水平層豎直地偏移之一位置的一改變:控制該等進一步平移增益以便自單純地自該等第一部分擴音器信號合成該等擴音器信號漸變為自該等第一部分擴音器信號及該等第二部分擴音器信號合成該等擴音器信號,以使得該等進一步平移增益自該第一虛擬位置朝向該第二虛擬位置平移。
- 一種擴音器系統,其包含:多個擴音器,及如請求項1至42中任一項之一設備。
- 一種用於產生用於多個擴音器(14)之擴音器信號(12)以使得該等擴音器信號(12)在該等多個擴音器處(14)之一應用在一所欲虛擬位置(104)處呈現至少一個音訊物件之方法,該方法包含接收表示該至少一個音訊物件之一音訊輸入信號(18), 取決於該所欲虛擬位置而判定該等多個擴音器中的配置於一或多個第一水平層之一第一層集合內之擴音器之一第一集合(26)的第一平移增益(24),該等第一平移增益(24)界定第一部分擴音器信號(28)自該至少一個音訊輸入信號(18)之一導出,該等第一部分擴音器信號與在將該等第一部分擴音器信號(28)應用於擴音器之該第一集合(26)上後即刻在一第一虛擬位置(106)處呈現該至少一個音訊物件相關聯,取決於該所欲虛擬位置而判定該等第一部分擴音器信號(28)與一或多個第二部分擴音器信號(34)之間的一平移之進一步平移增益(32),該一或多個第二部分擴音器信號待應用於相對於該第一層集合豎直偏移的一或多個擴音器之一第二集合(36),且與該至少一個音訊物件在一第二位置(102)處之一呈現相關聯以便在該第一虛擬位置(106)與該第二位置(102)之間平移,使用該等第一平移增益(24)及該等進一步平移增益(32)自該音訊輸入信號(18)合成該等擴音器信號(12)。
- 一種用於產生用於多個擴音器(14)之擴音器信號(12)以使得該等擴音器信號(12)在該等多個擴音器(14)處之一應用在一所欲虛擬位置(104)處呈現至少一個音訊物件之方法,其中該等多個擴音器分佈至一或多個水平層上,該方法包含接收表示該至少一個音訊物件之一音訊輸入信號(18),取決於該所欲虛擬位置而判定該等多個擴音器中的擴音器之一第一集合(26)的第一平移增益(24),且使用該等第一平移增益(24)來自該至少一個音訊輸入信號(18)導出第一部分擴音器信號(28),該等第一部分擴音器信號與在將該等第一部分擴音器信號應用於擴音器之該第一集合(26)上後即刻在一第一虛擬位置(106)處呈現該至少一個音訊物件相關聯,藉由頻譜成形,自該至少一個音訊輸入信號(18)導出第二部分擴音器信號 (34),該等第二部分擴音器信號(34)與在將該等第二部分擴音器信號(34)應用於擴音器之一第二集合(36)上後即刻在一第二虛擬位置(102)處呈現該至少一個音訊物件相關聯,該第二虛擬位置在該一或多個水平層上方或下方,及取決於該所欲虛擬位置,判定該等第一部分擴音器信號及該等第二部分擴音器信號之進一步平移增益(32),以便在該第一虛擬位置與該第二虛擬位置之間平移,及使用該等進一步平移增益(32)自該等第一部分擴音器信號及該等第二部分擴音器信號合成該等擴音器信號。
- 一種上面儲存有一電腦程式之電腦可讀數位儲存媒體,該電腦程式具有一程式碼,該程式碼當在一電腦上執行時執行如請求項44或45之方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2021/054853 WO2022179701A1 (en) | 2021-02-26 | 2021-02-26 | Apparatus and method for rendering audio objects |
WOPCT/EP2021/054853 | 2021-02-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202234385A TW202234385A (zh) | 2022-09-01 |
TWI821922B true TWI821922B (zh) | 2023-11-11 |
Family
ID=74797940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111107353A TWI821922B (zh) | 2021-02-26 | 2022-03-01 | 用以呈現音訊物件之設備與方法 |
Country Status (12)
Country | Link |
---|---|
US (1) | US20230396950A1 (zh) |
EP (1) | EP4298799A2 (zh) |
JP (1) | JP2024507945A (zh) |
KR (1) | KR20230147674A (zh) |
CN (1) | CN117397256A (zh) |
AU (1) | AU2022225084A1 (zh) |
BR (1) | BR112023017225A2 (zh) |
CA (1) | CA3209747A1 (zh) |
MX (1) | MX2023009914A (zh) |
TW (1) | TWI821922B (zh) |
WO (2) | WO2022179701A1 (zh) |
ZA (1) | ZA202308151B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024186771A1 (en) * | 2023-03-03 | 2024-09-12 | Syng, Inc. | Systems and methods for hybrid spatial audio |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201933887A (zh) * | 2011-07-01 | 2019-08-16 | 美商杜比實驗室特許公司 | 用於增強3d音頻編輯與呈現之設備、方法及非暫態媒體 |
WO2020201107A1 (en) * | 2019-03-29 | 2020-10-08 | Sony Corporation | Apparatus, method, sound system |
US20200322743A1 (en) * | 2016-06-01 | 2020-10-08 | Dolby International Ab | A method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3236949A (en) | 1962-11-19 | 1966-02-22 | Bell Telephone Labor Inc | Apparent sound source translator |
EP2979467B1 (en) * | 2013-03-28 | 2019-12-18 | Dolby Laboratories Licensing Corporation | Rendering audio using speakers organized as a mesh of arbitrary n-gons |
EP3024253A1 (en) * | 2014-11-21 | 2016-05-25 | Harman Becker Automotive Systems GmbH | Audio system and method |
US20170188170A1 (en) * | 2015-12-29 | 2017-06-29 | Koninklijke Kpn N.V. | Automated Audio Roaming |
CN111937413B (zh) * | 2018-04-09 | 2022-12-06 | 索尼公司 | 信息处理设备、方法和程序 |
-
2021
- 2021-02-26 WO PCT/EP2021/054853 patent/WO2022179701A1/en active Application Filing
-
2022
- 2022-02-25 AU AU2022225084A patent/AU2022225084A1/en active Pending
- 2022-02-25 CA CA3209747A patent/CA3209747A1/en active Pending
- 2022-02-25 EP EP22712838.6A patent/EP4298799A2/en active Pending
- 2022-02-25 WO PCT/EP2022/054880 patent/WO2022180248A2/en active Application Filing
- 2022-02-25 MX MX2023009914A patent/MX2023009914A/es unknown
- 2022-02-25 JP JP2023552008A patent/JP2024507945A/ja active Pending
- 2022-02-25 BR BR112023017225A patent/BR112023017225A2/pt unknown
- 2022-02-25 CN CN202280031355.XA patent/CN117397256A/zh active Pending
- 2022-02-25 KR KR1020237031875A patent/KR20230147674A/ko not_active Application Discontinuation
- 2022-03-01 TW TW111107353A patent/TWI821922B/zh active
-
2023
- 2023-08-23 ZA ZA2023/08151A patent/ZA202308151B/en unknown
- 2023-08-24 US US18/454,942 patent/US20230396950A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201933887A (zh) * | 2011-07-01 | 2019-08-16 | 美商杜比實驗室特許公司 | 用於增強3d音頻編輯與呈現之設備、方法及非暫態媒體 |
US20200322743A1 (en) * | 2016-06-01 | 2020-10-08 | Dolby International Ab | A method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position |
WO2020201107A1 (en) * | 2019-03-29 | 2020-10-08 | Sony Corporation | Apparatus, method, sound system |
Also Published As
Publication number | Publication date |
---|---|
EP4298799A2 (en) | 2024-01-03 |
TW202234385A (zh) | 2022-09-01 |
WO2022179701A1 (en) | 2022-09-01 |
JP2024507945A (ja) | 2024-02-21 |
CN117397256A (zh) | 2024-01-12 |
WO2022180248A3 (en) | 2022-10-13 |
BR112023017225A2 (pt) | 2023-09-26 |
MX2023009914A (es) | 2023-10-23 |
KR20230147674A (ko) | 2023-10-23 |
US20230396950A1 (en) | 2023-12-07 |
WO2022180248A2 (en) | 2022-09-01 |
ZA202308151B (en) | 2024-04-24 |
AU2022225084A1 (en) | 2023-09-14 |
CA3209747A1 (en) | 2022-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11178503B2 (en) | System for rendering and playback of object based audio in various listening environments | |
US9154896B2 (en) | Audio spatialization and environment simulation | |
Kyriakakis | Fundamental and technological limitations of immersive audio systems | |
US9197977B2 (en) | Audio spatialization and environment simulation | |
Hacihabiboglu et al. | Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics | |
TWI532391B (zh) | 用以將第一及第二輸入通道映射到至少一輸出通道之裝置及方法 | |
CN113170271B (zh) | 用于处理立体声信号的方法和装置 | |
TWI821922B (zh) | 用以呈現音訊物件之設備與方法 | |
KR20180012744A (ko) | 입체 음향 재생 방법 및 장치 | |
RU2826517C1 (ru) | Оборудование и способ для рендеринга аудиообъектов | |
US20220038838A1 (en) | Lower layer reproduction | |
Deppisch et al. | Browser Application for Virtual Audio Walkthrough. | |
Theile et al. | 3D Audio Natural Recording (Natürliche Aufnahmen im 3D-Audio Format) |