TW202112145A - 用於併入場所模態之本地效應的聲音濾波器的確定 - Google Patents

Abstract

用於在目標區域之內併入場所模態之本地效應的聲音濾波器的確定在此加以提出。所述目標區域的一模型是部分根據所述目標區域的一個三維的虛擬的表示而被判斷出。在某些實施例中，所述模型是從一群組的候選者模型中選出。所述目標區域的場所模態是根據所述模型的一形狀及/或尺寸而被判斷出。所述場所模態參數是根據所述場所模態中的至少一個以及一使用者在所述目標區域之內的位置而被判斷出。所述場所模態參數描述一聲音濾波器，當所述聲音濾波器被施加至音訊內容時，其模擬在所述使用者的位置處並且在和所述至少一場所模態相關的頻率的聲音失真。所述聲音濾波器是根據所述場所模態參數而在一頭戴耳機組加以產生，並且被用來呈現音訊內容。

Description

用於併入場所模態之本地效應的聲音濾波器的確定

本揭露內容是大致有關於音訊的呈現，並且具體是有關用於併入場所模態的本地效應的聲音濾波器的確定。

本申請案主張2019年5月21日申請的名稱為「用於併入場所模態之本地效應的聲音濾波器的確定」的美國非臨時專利申請案號16/418,426的優先權，所述申請案的整體內容是以其整體被併入於此作為參考。

一實際區域(例如，一場所)可能有一或多個場所模態。場所模態是從各種場所表面反射的聲音所造成的。一場所模態可以在所述場所的一頻率響應中造成波腹(波峰)及波節(凹陷)。這些駐波的波節及波腹導致在所述場所的不同位置的諧振頻率的音量是不同的。再者，尤其在例如是浴室、辦公室及小會議室的小型場所中，場所模態的效應可能是突出的。習知的虛擬實境系統無法考量到將會和一特定的虛擬實境環境相關的場所模態。它們一般是依賴幾何的聲學模擬，其在低頻是不可靠的或者是藝術表現是無關乎環境的實際模型化。於是，藉由習知的虛擬實境系統所呈現的音訊可能會缺少一種和虛擬實境環境(例如，小的場所)相關的現實性的感覺。

本揭露內容的實施例支援一種確定用於併入場所模態的本地效應的聲音濾波器的方法、電腦可讀取的媒體及設備。在某些實施例中，一目標區域(例如，一虛擬的區域、使用者的一實際環境等等)的一模型是部分根據所述目標區域的一個三維的(3D)虛擬表示而被判斷出。所述目標區域的場所模態是利用所述模型而被判斷出。一或多個場所模態參數是根據所述場所模態中的至少一個以及一使用者在所述目標區域之內的一位置而被判斷出。所述一或多個場所模態參數是描述一聲音濾波器。所述聲音濾波器可以根據所述一或多個場所模態參數而被產生。所述聲音濾波器是模擬在和所述至少一場所模態相關的頻率的聲音失真。音訊內容是部分根據所述聲音濾波器來加以呈現。所述音訊內容是被呈現以使得其聽起來像是源自於在所述目標區域中的一物體(例如，一虛擬的物體)。

本揭露內容的實施例可包含一人工實境系統、或是結合一人工實境系統來加以實施。人工實境是一種形式的實境，其在呈現給一使用者之前已經用某種方式調整，例如可包含一虛擬實境(VR)、一擴增實境(AR)、一混合實境(MR)、一混雜實境、或是其之某種組合及/或衍生。人工實境內容可包含完全是產生的內容、或是結合捕捉(例如，真實世界)的內容之產生的內容。所述人工實境內容可包含視訊、音訊、觸覺回授、或是其之某種組合，並且其之任一個都可以用單一通道或是多個通道來加以呈現(例如是產生三維效果給觀看者的立體視訊)。此外，在某些實施例中，人工實境亦可以是和應用程式、產品、配件、服務、或是其之某種組合相關的，其例如被用來在一人工實境中創造內容，且/或否則在一人工實境中被使用(例如，在人工實境中執行活動)。提供人工實境內容的人工實境系統可以在各種平台上加以實施，其包含一頭戴耳機組(headset)、連接至一主機電腦系統的一頭戴顯示器(head-mounted display, HMD)、一近眼顯示器(near-eye display, NED)、一行動裝置或計算系統、或是任何其它能夠提供人工實境內容給一或多個觀看者的硬體平台。

一種用於併入場所模態的本地效應的聲音濾波器的確定之音訊系統在此被提出。藉由所述音訊組件所呈現的音訊內容是利用所述聲音濾波器來濾波，使得將會是由和使用者的一目標區域相關的場所模態所引起的聲音失真(例如，作為頻率及位置的一函數之增幅(amplification))可以是所呈現的音訊內容的部分。注意到的是，如同在此所用的增幅可被用來描述在信號強度上的一增加或是一減少。所述目標區域可以是使用者所佔的一本地區域、或是一虛擬的區域。一虛擬的區域可以是根據所述本地區域、某個其它虛擬的區域、或是其之某種組合而定。例如，所述本地區域可以是由音訊系統的使用者所佔的一客廳，並且一虛擬的區域可以是一虛擬的演唱會體育館、或是一虛擬的會議場所。

所述音訊系統包含通訊地耦接至一音訊伺服器的一音訊組件。所述音訊組件可被實施在使用者所穿戴的一頭戴耳機組上。所述音訊組件可以從所述音訊伺服器請求(例如，透過一網路)一或多個場所模態參數。所述請求例如可包含所述目標區域的至少一部分的視覺資訊(深度資訊、色彩資訊等等)、所述使用者的位置資訊、一虛擬的音源的位置資訊、由所述使用者所佔的一本地區域的視覺資訊、或是其之某種組合。

所述音訊伺服器判斷一或多個場所模態參數。所述音訊伺服器利用在所述請求中的資訊來識別及/或產生所述目標區域的一模型。在某些實施例中，所述音訊伺服器根據在所述請求中的目標區域的視覺資訊來發展出所述目標區域的至少一部分的一3D虛擬的表示。所述音訊伺服器利用所述3D虛擬的表示以從複數個候選者模型選擇所述模型。所述音訊伺服器藉由利用所述模型來判斷所述目標區域的場所模態。例如，所述音訊伺服器根據所述模型的一形狀或尺寸來判斷所述場所模態。所述場所模態可包含一或多種類型的場所模態。場所模態的類型例如可包含軸上模態、切面模態、以及傾斜模態。對於每一種類型而言，所述場所模態可包含一第一階模態、更高階模態、或是其之某種組合。所述音訊伺服器根據所述場所模態中的至少一個以及所述使用者的位置來判斷所述一或多個場所模態參數(例如，Q因數、增益、振幅、模態頻率等等)。所述音訊伺服器亦可以利用所述虛擬的音源的位置資訊來判斷所述場所模態參數。例如，所述音訊伺服器利用所述虛擬的音源的位置資訊來決定一場所模態是否被激勵。所述音訊伺服器可以根據所述虛擬的音源位在一波腹位置來決定所述場所模態不被激勵。

所述場所模態參數描述一聲音濾波器，當其被施加至所述音訊內容時，其模擬在所述目標區域之內的使用者的一位置處的聲音失真。所述聲音失真可以代表在和所述至少一場所模態相關的頻率的增幅。所述音訊伺服器發送所述場所模態參數中的一或多個至所述頭戴耳機組。

所述音訊組件利用來自所述音訊伺服器的一或多個場所模態參數以產生一聲音濾波器。所述音訊組件利用所產生的聲音濾波器來呈現音訊內容。在某些實施例中，所述音訊組件動態地偵測在所述使用者的位置上的改變及/或在所述使用者及虛擬的物體之間的相對位置的改變，並且根據所述改變來更新所述聲音濾波器。

在某些實施例中，所述音訊內容是空間化的音訊內容。空間化的音訊內容是以一種使得其聽起來像是源自於在一圍繞使用者的環境中的一或多個點(例如，來自在所述目標區域中的一虛擬的物體)的方式來呈現的音訊內容。

在某些實施例中，所述目標區域可以是使用者的一本地區域。例如，所述目標區域是其中使用者坐在裡面的辦公室。由於所述目標區域是實際的辦公室，因此所述音訊組件產生一聲音濾波器，其使得所呈現的音訊內容是以一種和一真實音源將會如何從所述辦公室中的一特定位置發聲一致的方式而被空間化的。

在某些其它實施例中，所述目標區域是(例如，經由一頭戴耳機組)正被呈現給使用者的一虛擬的區域。譬如，所述目標區域可以是一虛擬的會議場所。由於所述目標區域是虛擬的會議室，因此所述音訊組件產生一聲音濾波器，其使得所呈現的音訊內容是以一種和一真實音源將會如何從所述虛擬的會議室中的一特定位置發聲一致的方式而被空間化的。例如，使用者可被呈現虛擬的內容，使得其聽起來就像是他/她以一虛擬的觀眾坐在那裡觀看一虛擬的演講者進行演說。而且如同藉由所述聲音濾波器修改後的所呈現的音訊內容將會使得其讓所述使用者聽起來就像是所述演講者正在一會議室內說話，而且這是儘管所述使用者實際是正在辦公室內(辦公室將會有和大會議室顯著不同的聲音性質)。

圖1是描繪根據一或多個實施例的在一場所100中的場所模態的本地效應。一音源105是位在所述場所100中，並且發射聲波到所述場所100之中。所述聲波造成所述場所100的基頻諧振，因而場所模態發生在所述場所100中。圖1是展示在所述場所的第一模態頻率的第一階模態110、以及在第二模態頻率的第二階模態120，所述第二模態頻率是所述第一模態頻率的兩倍。即使未顯示在圖1中，更高階的場所模態也可能存在於所述場所100中。所述第一階模態110以及第二階模態120可以都是軸上模態。

所述場所模態是依據所述場所100的形狀、尺寸、及/或聲音性質而定。場所模態在所述場所100之內的不同位置處造成不同的聲音失真量。所述聲音失真可以是所述音訊信號在所述模態頻率(以及所述模態頻率的倍頻)的正增幅(亦即，在振幅上的增加)或是負增幅(亦即，衰減)。

所述第一階模態110以及第二階模態120在所述場所100的不同的位置處具有波峰及凹陷，此造成所述聲波不同程度的增幅為頻率以及在所述場所100之內的位置的一函數。圖1是展示在所述場所100之內的三個不同的位置130、140及150。在所述位置130，所述第一階模態110以及所述第二階模態120分別具有一波峰。移動至所述位置140，所述第一階模態110以及所述第二階模態120都降低，並且所述第二階模態120具有一凹陷。進一步移動至所述位置150，在所述第一階模態110有一空值，並且在所述第二階模態120有一波峰。結合所述第一階模態110以及第二階模態120的效應，所述音訊信號的增幅在所述位置130是最高的，而在所述位置150是最低的。於是，使用者所感受到的聲音可能會根據其所在的場所為何以及其在所述場所中的何處而顯著地變化。如同在以下敘述的，一種系統被描述，其針對於使用者由所佔的一目標區域模擬場所模態、考量所述場所模態來呈現音訊內容給所述使用者，以提供提升程度的真實性給所述使用者。

圖2是描繪根據一或多個實施例的一立方場所的軸上模態210、切面模態220、以及傾斜模態230。場所模態是從各種的場所表面反射的聲音所引起的。在圖2中的場所具有一立方體的形狀，並且包含六個表面：四個壁、一天花板、以及一地板。在所述場所中有三種類型的模態：所述軸上模態210、切面模態220、以及傾斜模態230，其在圖2中是藉由虛線來加以表示。一軸上模態210是牽涉到在所述場所的兩個平行的表面之間的共振。三個軸上模態210出現在所述場所中：一軸上模態是牽涉到所述天花板及地板，而另外兩個軸上模態分別是牽涉到一對平行的壁。對於具有其它形狀的場所而言，可能會出現不同數量的軸上模態210。一切面模態220是牽涉到兩組平行的表面，亦即所有四個壁、或是兩個壁與所述天花板及地板。一傾斜的場所模態230是牽涉到所述場所的所有六個表面。

所述軸向的場所模態210是所述三種類型的模態中最強的。所述切面場所模態220可以是所述軸向的場所模態210一半強的，而所述傾斜的場所模態230可以是所述軸向的場所模態210的四分之一強的。在某些實施例中，根據所述軸向的場所模態210決定出當被施加至音訊內容而模擬在所述場所中的聲音失真之聲音濾波器。在某些其它實施例中，所述切面場所模態220及/或傾斜的場所模態230亦被用來決定所述聲音濾波器。所述軸向的場所模態210、切面場所模態220、以及傾斜的場所模態230的每一個可能會在一系列的模態頻率下發生。所述三種類型的場所模態的模態頻率可以是不同的。

圖3是根據一或多個實施例的一音訊系統300的方塊圖。所述音訊系統300包含一頭戴耳機組310，其經由一網路330來連接至一音訊伺服器320。所述頭戴耳機組310可以被一場所350中的一使用者340所穿戴。

所述網路330將所述頭戴耳機組310連接至所述音訊伺服器320。所述網路330可包含利用無線及/或有線的通訊系統的目標區域及/或廣域網路的任意組合。例如，所述網路330可包含網際網路以及行動電話網路。在一實施例中，所述網路330使用標準的通訊技術及/或協定。因此，所述網路330可包含利用例如是乙太網路、802.11、全球互通微波存取(WiMAX)、2G/3G/4G行動通訊協定、數位用戶迴路(DSL)、非同步傳輸模式(ATM)、無限頻寬(InfiniBand)、PCI Express先進交換等等的技術的鏈結(link)。類似地，在所述網路330上所使用的連網協定可包含多協定標籤交換(MPLS)、傳輸控制協定/網際網路協定(TCP/IP)、使用者資料包通訊協定(UDP)、超文本傳輸協定(HTTP)、簡單郵件傳輸協定(SMTP)、檔案傳輸協定(FTP)等等。透過所述網路330交換的資料可以利用包含具有二進位形式的影像資料(例如是可攜式網路圖形(PNG))、超文本標記語言(HTML)、可擴展標記語言(XML)等等的技術及/或格式來加以表示。此外，所有或是某些的鏈結可以利用習知的加密技術，例如是安全資料傳輸層協定(SSL)、傳輸層安全性協定(TLS)、虛擬私人網路(VPN)、網際網路安全協定(IPsec)等等來加以加密。所述網路330亦可以將多個位在相同或不同的場所中的頭戴耳機組連接至相同的音訊伺服器320。

所述頭戴耳機組310呈現媒體內容給一使用者。在一實施例中，所述頭戴耳機組310例如可以是一NED或是一HMD。一般而言，所述頭戴耳機組310可被穿戴在一使用者的臉部上，使得媒體內容是利用所述頭戴耳機組310的一或兩個透鏡來加以呈現。然而，所述頭戴耳機組310亦可被使用以使得媒體內容是用一不同的方式而被呈現給一使用者。藉由所述頭戴耳機組310所呈現的媒體內容的例子包含一或多個影像、視訊內容、音訊內容、或是其之某種組合。所述頭戴耳機組310包含一音訊組件，並且亦可包含至少一景深相機組件(depth camera assembly, DCA)及/或至少一被動式相機組件(passive camera assembly, PCA)。如同在以下相關圖8詳細地敘述的，DCA產生景深影像資料，其描述部分或全部的目標區域(例如，所述場所350)的3D幾何，而PCA產生部分或全部的目標區域的彩色影像資料。在某些實施例中，所述頭戴耳機組310的DCA及PCA是被安裝在所述頭戴耳機組310上的同步定位與地圖構建(simultaneous localization and mapping, SLAM)感測器的部分，以用於判斷所述場所350的視覺資訊。因此，藉由所述至少一DCA所捕捉的景深影像資料、及/或藉由所述至少一PCA所捕捉的彩色影像資料，可被稱為藉由所述頭戴耳機組310的SLAM感測器所判斷的視覺資訊。再者，所述頭戴耳機組310可包含位置感測器或是一慣性的量測單元(inertial measurement unit, IMU)，其追蹤所述頭戴耳機組310在所述目標區域之內的位置(例如，位置及姿勢)。所述頭戴耳機組310亦可包含一全球定位系統(GPS)接收器以進一步追蹤所述頭戴耳機組310在所述目標區域之內的位置。所述頭戴耳機組310在所述目標區域之內的位置(包含方位)被稱為所述頭戴耳機組310的位置資訊。所述頭戴耳機組的位置資訊可以指出所述頭戴耳機組310的使用者340的一位置。

所述音訊組件呈現音訊內容給所述使用者340。所述音訊內容可以用一種使得其聽起來是源自於所述目標區域中的一物體(或是真實物體)的方式來加以呈現，其亦以空間化的音訊內容著稱。所述目標區域可以是使用者的一實際環境，例如是所述場所350，或是一虛擬的區域。例如，藉由所述音訊組件所呈現的音訊內容可以聽起來是源自於一虛擬的會議室中的一虛擬的演講者(其正在經由所述頭戴耳機組310而被呈現給所述使用者340)。在某些實施例中，和所述使用者340在一目標區域之內的一位置相關的場所模態的本地效應被併入到所述音訊內容中。所述場所模態的本地效應是藉由發生在所述使用者340在所述目標區域之內的一位置的(具有特定頻率的)聲音失真來加以表示。所述聲音失真可以隨著所述使用者在所述目標區域中的位置改變而改變。在某些實施例中，所述目標區域是所述場所350。在某些其它實施例中，所述目標區域是一虛擬的區域。所述虛擬的區域可以是根據一不同於所述場所350的真實場所而定的。譬如，所述場所350是一辦公室。所述目標區域是一根據會議室而定的虛擬的區域。藉由所述音訊組件所呈現的音訊內容可以是來自位在所述會議室中的一演講者的語音。在所述會議室之內的一位置是對應於所述使用者在所述目標區域之內的位置。所述音訊內容被表現(render)以使得其聽起來是源自於所述會議室的所述演講者，並且正在所述會議室之內的所述位置處被接收。

所述音訊組件是利用聲音濾波器來併入場所模態的本地效應。所述音訊組件是藉由傳送一場所模態詢問至所述音訊伺服器320來請求一聲音濾波器。一場所模態詢問是針對於一或多個場所模態參數的一請求，所述音訊組件可以根據所述場所模態參數來產生一聲音濾波器，當其被施加至所述音訊內容時，其模擬將會由所述場所模態引起的聲音失真(例如，作為頻率及位置的一函數的增幅)。所述場所模態詢問可包含描述部分或全部的目標區域(例如，所述場所350或是一虛擬的區域)的視覺資訊、所述使用者的位置資訊、所述音訊內容的資訊、或是其之某種組合。視覺資訊描述部分或全部的目標區域的一3D幾何，並且亦可包含部分或全部的目標區域的彩色影像資料。在某些實施例中，所述目標區域的視覺資訊可以藉由所述頭戴耳機組310(例如，在所述目標區域是所述場所350的實施例中)及/或一不同的裝置來加以捕捉。所述使用者的位置資訊指出所述使用者340在所述目標區域之內的一位置，並且可包含所述頭戴耳機組310的位置資訊、或是描述所述使用者340的一位置的資訊。所述音訊內容的資訊例如是包含描述所述音訊內容的一虛擬的音源的一位置的資訊。所述音訊內容的虛擬的音源可以是在所述目標區域中的一真實物體及/或一虛擬的物體。所述頭戴耳機組310可以經由所述網路330來傳遞所述場所模態詢問至所述音訊伺服器320。

在某些實施例中，所述頭戴耳機組310是從所述音訊伺服器320獲得描述一聲音濾波器的一或多個場所模態參數。場所模態參數是描述一聲音濾波器的參數，當聲音濾波器被施加至音訊內容時，其模擬在一目標區域中因為一或多個場所模態所引起的聲音失真。所述場所模態參數包含所述場所模態的Q因數、增益、振幅、模態頻率、某種其它描述一聲音濾波器的特點、或是其之某種組合。所述頭戴耳機組310利用所述場所模態參數以產生濾波器以表現所述音訊內容。例如，所述頭戴耳機組310產生無限脈衝響應濾波器及/或全通濾波器。所述無限脈衝響應濾波器及/或全通濾波器包含對應於每一個模態頻率的一Q值及增益。有關所述頭戴耳機組310的操作及構件的額外細節是在以下相關圖4、圖8及圖9來加以論述。

所述音訊伺服器320是根據從所述頭戴耳機組310接收到的場所模態詢問來決定一或多個場所模態參數。所述音訊伺服器320判斷所述目標區域的一模型。在某些實施例中，所述音訊伺服器320是根據所述目標區域的視覺資訊來判斷所述模型。例如，所述音訊伺服器320根據所述視覺資訊來獲得所述目標區域的至少一部分的一3D虛擬的表示。所述音訊伺服器320比較所述3D虛擬的表示與一群組的候選者模型，並且識別出一符合所述3D虛擬的表示的候選者模型作為模型。在某些實施例中，一候選者模型是一場所的一模型，其包含所述場所的一形狀、所述場所的一或多個尺寸、或是在所述場所之內的表面的材料聲音參數(例如，衰減參數)。所述群組的候選者模型可包含具有不同的形狀、不同的尺寸、以及不同的表面的場所的模型。所述目標區域的3D虛擬的表示包含所述目標區域的一3D網格，其界定所述目標區域的一形狀及/或尺寸。所述3D虛擬的表示可以利用一或多個材料聲音參數(例如，衰減參數)來描述在所述目標區域之內的表面的聲音性質。所述音訊伺服器320是根據在所述候選者模型以及所述3D虛擬的表示之間的差異是低於一臨界值的判斷，來判斷一候選者模型符合所述3D虛擬的表示。所述差異可包含在形狀、尺寸、表面的聲音性質等等的差異。在某些實施例中，所述音訊伺服器320利用一適合度(fit metric)來判斷在所述候選者模型以及所述3D虛擬的表示之間的差異。所述適合度可以是根據一或多個幾何特點而定，例如是在郝斯多夫(Hausdorff)距離上的平方誤差、開放度(例如室內相對戶外)、體積等等。所述臨界值可以是根據在場所模態改變上的感知最小可覺差異(just noticeable difference, JND)而定。例如，若使用者可察覺在模態頻率上的10%改變，則將會產生一最高10%的模態頻率改變的幾何偏差將會被容許。所述臨界值可以是將會產生一10%的模態頻率改變的幾何偏差。

所述音訊伺服器320利用所述模型來判斷所述目標區域的場所模態。例如，所述音訊伺服器320利用例如是數值模擬技術(例如，有限元素法、邊界元素方法、時域有限差分法等等)的習知技術來判斷所述場所模態。在某些實施例中，所述音訊伺服器300是根據所述模型的形狀、尺寸、及/或材料聲音參數來判斷所述場所模態，以決定所述場所模態。所述場所模態可包含軸上模態、切面模態、以及傾斜模態中的一或多個。在某些實施例中，所述音訊伺服器320是根據使用者的位置來判斷所述場所模態。例如，所述音訊伺服器320根據使用者的位置來識別所述目標區域，並且根據所述識別來擷取所述目標區域的場所模態。

所述音訊伺服器330是根據所述場所模態中的至少一個以及一使用者在所述目標區域之內的位置來判斷所述一或多個場所模態參數。所述場所模態參數描述一聲音濾波器，當被施加至所述音訊內容時，其針對於和所述至少一場所模態相關的頻率來模擬發生在所述使用者在所述目標區域之內的位置處的聲音失真。所述音訊伺服器320發送所述場所模態參數至所述頭戴耳機組310以用於表現音訊內容。在某些實施例中，所述音訊伺服器330可以根據所述場所模態參數來產生所述聲音濾波器，並且發送所述聲音濾波器至所述頭戴耳機組310。

圖4是根據一或多個實施例的一音訊伺服器400的方塊圖。所述音訊伺服器400的一實施例是所述音訊伺服器300。所述音訊伺服器400響應於來自一音訊組件的一場所模態詢問而判斷一目標區域的一或多個場所模態參數。所述音訊伺服器400包含一資料庫410、一對映模組420、一匹配模組430、一場所模態模組440、以及一聲音濾波器模組450。在其它實施例中，所述音訊伺服器400可以具有所表列的模組與任何額外的模組的任意組合。所述音訊伺服器400的一或多個處理器(未顯示)可以執行在所述音訊伺服器400之內的某些或全部的模組。

所述資料庫410儲存用於所述音訊伺服器400的資料。所儲存的資料可包含一虛擬模型、候選者模型、場所模態、場所模態參數、聲音濾波器、音訊資料、視覺資訊(景深資訊、色彩資訊等等)、場所模態查詢、其它可被所述音訊伺服器400利用的資訊、或是其之某種組合。

所述虛擬模型描述一或多個區域、以及那些區域的聲音性質(例如，場所模態)。在所述虛擬模型中的每一個位置是和用於一對應的區域的聲音性質(例如，場所模態)相關的。其聲音性質是被描述在所述虛擬模型中的區域包含虛擬區域、實際區域、或是其之某種組合。一實際區域是相對於虛擬區域的一真實區域(例如，一實際的物理場所)。所述實際區域的例子包含會議室、浴室、門廳、辦公室、臥室、餐廳、戶外空間(例如，庭院、花園、停車場等等)、客廳、禮堂、某些其它真實區域、或是其之某種組合。一虛擬區域是描述一空間，其可以完全是虛構的、且/或根據一真實實際區域(例如，將一實際場所表現為一虛擬區域)。例如，一虛擬區域可以是一虛構的地牢、一虛擬會議室的一表現等等。注意到的是，所述虛擬區域可以是根據真實的處所。例如，所述虛擬會議室可以是根據一真實的會議中心。在所述虛擬模型中的一特定位置可以對應於所述頭戴耳機組310在所述場所350之內的一目前的實際位置。所述場所350的聲音性質可以根據從所述對映模組420獲得的在所述虛擬模型之內的一位置，從所述虛擬模型加以擷取。

一場所模態詢問是針對於場所模態參數的請求，所述場所模態參數是針對於一使用者在一目標區域之內的一位置來描述用於併入所述目標區域的場所模態的效應的一聲音濾波器。所述場所模態詢問包含目標區域資訊、使用者資訊、音訊內容資訊、某些其它所述音訊伺服器320可以利用來決定所述聲音濾波器的資訊、或是其之某種組合。目標區域資訊是描述所述目標區域(例如，其幾何、在其之內的物體、材料、色彩等等)的資訊。其可包含所述目標區域的景深影像資料、所述目標區域的彩色影像資料、或是其之某種組合。使用者資訊是描述使用者的資訊。其可包含描述所述使用者在所述目標區域之內的一位置的資訊、所述使用者實際位於其中的一實際區域的資訊、或是其之某種組合。音訊內容資訊是描述所述音訊內容的資訊。其可包含所述音訊內容的一虛擬音源的位置資訊、所述音訊內容的一實際音源的位置資訊、或是其之某種組合。

所述候選者模型可以是具有不同的形狀及/或尺寸之場所的模型。所述音訊伺服器400利用所述候選者模型來決定所述目標區域的一模型。

所述對映模組420將在所述場所模態詢問中的資訊對映到在所述虛擬模型之內的一位置。所述對映模組420判斷在所述虛擬模型之內對應於所述目標區域的位置。在某些實施例中，所述對映模組420搜尋所述虛擬模型以識別出在(i)所述目標區域的資訊及/或所述使用者的位置的資訊以及(ii)在所述虛擬模型之內的一區域的一對應的配置之間的一對映。在所述虛擬模型之內的所述區域可以描述一實際區域及/或虛擬區域。在一實施例中，所述對映是藉由匹配所述目標區域的視覺資訊的一幾何與和在所述虛擬模型之內的一位置相關的一幾何來加以執行。在另一實施例中，所述對映是藉由匹配所述使用者的位置的資訊與在所述虛擬模型之內的一位置來加以執行。例如，在所述目標區域是一虛擬區域的實施例中，所述對映模組420是根據指出所述使用者的位置的資訊，來識別出和所述虛擬模型中的所述虛擬區域相關的一位置。一匹配是建議在所述虛擬模型之內的所述位置是所述目標區域的一表示。

若一匹配被找到，則所述對映模組420擷取和在所述虛擬模型之內的所述位置相關的場所模態，並且傳送所述場所模態至所述聲音濾波器模組450以用於決定場所模態參數。在某些實施例中，所述虛擬模型並不包含和在所述虛擬模型之內、匹配於所述目標區域的所述位置相關的場所模態，而是包含和所述位置相關的一候選者模型。所述對映模組420可以擷取所述候選者模型，並且傳送其至所述場所模態模組440以決定所述目標區域的場所模態。在某些實施例中，所述虛擬模型並不包含和在所述虛擬模型之內、匹配於所述目標區域的所述位置相關的場所模態或候選者模型。所述對映模組420可以擷取所述位置的一3D表示，並且傳送其至所述匹配模組440以決定所述目標區域的一模型。

若沒有找到匹配，則此是指出所述目標區域的一配置尚未被所述虛擬模型所敘述。在此種情形中，所述對映模組420可以根據在所述場所模態詢問中的視覺資訊來發展出所述目標區域的一3D虛擬表示，並且利用所述3D虛擬表示來更新所述虛擬模型。所述目標區域的3D虛擬表示可包含所述目標區域的一3D網格。所述3D網格包含代表所述目標區域的邊界的點及/或線。所述3D虛擬表示亦可包含在所述目標區域之內的表面，例如是牆壁、天花板、地板、傢俱表面、家電表面、其它類型的物體的表面等等的虛擬表示。在某些實施例中，所述虛擬模型利用一或多個材料聲音參數(例如，衰減參數)來描述在所述虛擬區域之內的表面的聲音性質。在某些實施例中，所述對映模組420可以發展出一包含所述3D虛擬表示的新模型，並且利用一或多個材料聲音參數來描述在所述虛擬區域之內的表面的聲音性質。所述新模型可被儲存在所述資料庫410中。

所述對映模組420亦可通知所述匹配模組430以及所述場所模態模組440中的至少一個並沒有找到匹配，使得所述匹配模組430可以決定所述目標區域的一模型，並且所述場所模態模組440可以藉由利用所述模型來決定所述目標區域的場所模態。

在某些實施例中，所述對映模組420亦可以判斷在所述虛擬模型之內的一位置，其對應於所述使用者實際位在其中的一本地區域(例如，所述場所350)。

所述目標區域可以是不同於所述本地區域。例如，所述本地區域是所述使用者坐在其中的辦公室，而所述目標區域是一虛擬區域(例如，虛擬會議室)。

若一匹配被找到，則所述對映模組420擷取場所模態，所述場所模態是和在所述虛擬模型之內的對應於所述目標區域的所述位置相關的，並且傳送所述場所模態至所述聲音濾波器模組450以用於決定場所模態參數。若沒有找到匹配，則所述對映模組420可以根據在所述場所模態詢問中的視覺資訊來發展出所述目標區域的一3D虛擬表示，並且利用所述目標區域的3D虛擬表示來更新所述虛擬模型。所述對映模組420亦可以通知所述匹配模組430以及所述場所模態模組440中的至少一個沒有找到匹配，因而所述匹配模組430可以決定所述目標區域的一模型，使得所述場所模態模組440可以藉由利用所述模型來決定所述目標區域的場所模態。

所述匹配模組430根據所述目標區域的3D虛擬表示來決定所述目標區域的一模型。以所述目標區域舉例而言，在某些實施例中，所述匹配模組430從複數個候選者模型選擇所述模型。一候選者模型可以是一場所的一模型，其包含有關在所述場所之內的形狀、尺寸、或是表面的資訊。所述群組的候選者模型可包含具有不同的形狀(例如，方形、圓形、三角形等等)、不同的尺寸(例如，鞋盒、大會議室等等)、以及不同的表面之場所的模型。所述匹配模組430比較所述目標區域的3D虛擬表示與每一個候選者模型，並且判斷所述候選者模型是否匹配所述3D虛擬表示。所述匹配模組430是根據在一候選者模型以及所述3D虛擬表示之間的差異是低於一臨界值的判斷，來判斷所述候選者模型匹配於所述3D虛擬表示。所述差異可包含在形狀、尺寸、表面的聲音性質等等的差異。在某些實施例中，所述匹配模組430可以判斷所述3D虛擬表示匹配於多個候選者模型。所述匹配模組430選擇具有最佳匹配的候選者模型，亦即具有與所述3D虛擬表示的最小差異的候選者模型。

在某些實施例中，所述匹配模組430比較一候選者模型的形狀以及內含在所述3D虛擬表示中的3D網格的形狀。例如，所述匹配模組430追跡從所述3D網格目標區域的一中心在一些方向上光線，並且判斷所述光線交叉所述3D網格計算的點。所述匹配模組430識別出匹配這些點的一候選者模型。所述匹配模組430可以縮小或擴大所述候選者模型，以排除來自所述比較的在所述候選者模型以及所述目標區域的尺寸上的任何差異。

所述場所模態模組440利用所述目標區域的所述模型來判斷所述目標區域的場所模態。所述場所模態可包含三種類型的場所模態：軸上模態、切面模態、以及傾斜模態中的至少一個。在某些實施例中，針對於每一種類型的場所模態，所述場所模態模組440判斷一第一階模態，並且亦可以判斷更高階的模態。所述場所模態模組440根據所述模型的形狀及/或尺寸來判斷所述場所模態。例如，在所述模型具有一矩形均質的形狀的實施例中，所述場所模態模組440判斷所述模型的軸向、切面、以及傾斜模態。在某些實施例中，所述場所模態模組440利用所述模型的尺寸，來計算落在從一可聽或可再現的頻率範圍中的一較低的頻率(例如，63Hz)至所述目標區域的一施羅德(Schroeder)頻率的一範圍內的場所模態。所述目標區域的施羅德頻率可以是場所模態在頻率上是過於密集重疊而無法個別可分辨的所在的一頻率。所述場所模態模組440可以根據所述目標區域的一容積以及所述目標區域的一殘響(reverberation)時間(例如，RT60)來判斷所述施羅德頻率。所述場所模態模組440可以利用例如數值模擬技術(例如有限元素法、邊界元素方法、時域有限差分法等等)，以決定所述場所模態。

在某些實施例中，所述場所模態模組440利用在所述目標區域的3D虛擬表示之內的表面的材料聲音參數(例如衰減參數)來決定所述場所模態。例如，所述場所模態模組440利用所述目標區域的彩色影像資料來判斷所述表面的材料組成物。所述場所模態模組440針對於每一個表面根據所述表面的材料組成物來判斷一衰減參數，並且利用所述材料組成物以及衰減參數以更新所述模型。

在一實施例中，所述場所模態模組440利用機器學習技術以判斷所述表面的材料組成物。所述初始化模組230可以輸入所述目標區域的影像資料(或是所述影像資料的一相關於所述表面的部分)及/或音訊資料到一機器學習模型中，所述機器學習模型輸出每一個表面的材料組成物。所述機器學習模型可以利用不同的機器學習技術，例如是線性支援向量機(線性SVM)、針對於其它演算法的增強(例如，AdaBoost)、神經網路、邏輯迴歸、單純貝氏(Naïve Bayes)、基於記憶體的學習、隨機森林、袋裝樹、決策樹、提升樹、或是提升樹樁(stump)來加以訓練。作為所述機器學習模型的訓練的部分，一訓練集被形成。所述訓練集包含一群組的表面的影像資料及/或音訊資料、以及在所述群組中的所述表面的材料組成物。

針對於每一個場所模態或是多個場所模態的一組合，所述場所模態模組440決定作為頻率及位置的一函數之增幅。所述增幅包含藉由對應的場所模態所引起的在信號強度上的增加或減少。

所述聲音濾波器模組450是根據所述場所模態中的至少一個以及所述使用者在所述目標區域之內的位置，來判斷所述目標區域的一或多個場所模態參數。在某些實施例中，所述聲音濾波器模組450是根據作為頻率以及在所述目標區域之內的位置(例如，所述使用者的位置)的一函數之增幅，來判斷所述場所模態參數。所述場所模態參數描述在所述使用者的位置處，由所述場所模態中的至少一個所引起的聲音失真。在某些實施例中，所述聲音濾波器模組450亦利用所述音訊內容的一音源的位置來判斷所述聲音失真。

在某些實施例中，所述音訊內容是藉由在所述頭戴耳機組的外部的一或多個揚聲器來加以表現。所述聲音濾波器模組450判斷所述使用者的一本地區域的一或多個場所模態參數。在某些實施例中，所述目標區域是不同於所述本地區域。譬如，所述使用者的本地區域是所述使用者坐在其中的辦公室，而所述目標區域是包含一虛擬音源(例如，一演講者)的虛擬會議室。所述本地區域的場所模態參數描述所述本地區域的一聲音濾波器，其可被利用以從在所述頭戴耳機組的外部(例如，在控制台上、或是耦接至控制台)的一揚聲器表現音訊內容。所述本地區域的聲音濾波器是在所述使用者在所述本地區域中的位置處減輕所述本地區域的場所模態。在某些實施例中，所述聲音濾波器模組450是根據藉由所述場所模態模組440所判斷的所述本地區域的一或多個場所模態來判斷所述本地區域的場所模態參數。所述本地區域的場所模態可以根據藉由所述對映模組420或是所述匹配模組430所判斷的所述本地區域的一模型來加以判斷。

圖5是描繪根據一或多個實施例的一種用於判斷描述一聲音濾波器的場所模態參數的程序500的流程圖。圖5的程序500可以藉由一設備的構件，例如是圖4的音訊伺服器400來加以執行。在其它實施例中，其它的實體(例如，一頭戴耳機組的部分及/或控制台)可以執行所述程序的某些或全部的步驟。同樣地，實施例可包含不同及/或額外的步驟、或是用不同的順序來執行所述步驟。

所述音訊伺服器400是部分根據所述目標區域的一3D虛擬表示來判斷510一目標區域的一模型。所述目標區域可以是一本地區域或是一虛擬區域。所述虛擬區域可以是根據一真實的場所。在某些實施例中，所述音訊伺服器根據一使用者在所述目標區域之內的一位置，藉由從一資料庫擷取所述模型來判斷510所述模型。例如，所述資料庫儲存一虛擬模型，其描述一或多個區域並且包含那些區域的模型。每一個區域對應於在所述虛擬模型之內的一位置。所述區域包含虛擬區域、實際區域、或是其之某種組合。所述音訊伺服器400可以例如根據所述使用者在所述目標區域之內的位置，來識別和在所述虛擬模型中的所述目標區域相關的一位置。所述音訊伺服器400擷取和所述識別出的位置相關的模型。在其它某些實施例中，所述音訊伺服器400例如從一頭戴耳機組接收描述所述目標區域的至少一部分的景深資訊。在某些實施例中，所述音訊伺服器400利用所述景深資訊來產生所述3D虛擬表示的至少一部分。所述音訊伺服器400比較所述3D虛擬表示與複數個候選者模型。所述音訊伺服器400識別所述複數個候選者模型中之一匹配所述三維的虛擬表示者，以作為所述目標區域的模型。在某些實施例中，所述音訊伺服器400是根據在所述候選者模型的形狀以及所述3D虛擬表示之間的差值是低於一臨界值的判斷，來判斷一候選者模型匹配於所述三維的虛擬表示。所述音訊伺服器400可以在比較期間縮小或擴大所述候選者模型，以消除在所述候選者模型以所述3D虛擬表示的尺寸上的任何差異。在某些實施例中，所述音訊伺服器400針對於在所述3D虛擬表示中的每一個表面來判斷一衰減參數，並且利用所述衰減參數以更新所述模型。

所述音訊伺服器400利用所述模型來判斷520所述目標區域的場所模態。在某些實施例中，所述音訊伺服器320是根據所述模型的一形狀來判斷所述場所模態。場所模態可以利用習知的技術而被計算出。所述音訊伺服器400亦可以利用所述模型的尺寸及/或在所述3D虛擬表示中的表面的衰減參數，以決定所述場所模態。所述場所模態可包含軸上模態、切面模態、或是傾斜模態。在某些實施例中，所述場所模態是落在從可聽見的頻率範圍的一較低的頻率(例如，63Hz)至所述目標區域的一施羅德頻率的一範圍內。所述場所模態描述在特定頻率的聲音的增幅為在所述目標區域之內的位置的一函數。所述音訊伺服器400可以決定對應於多個場所模態的一組合的增幅。

所述音訊伺服器400是根據所述場所模態中的至少一個以及一使用者在所述目標區域之內的一位置，來判斷530一或多個場所模態參數(例如，Q因數等等)。一場所模態是藉由作為頻率及位置的一函數之信號強度的增幅來加以表示。在某些實施例中，所述音訊伺服器400結合和超過一場所模態相關的增幅，以更完整描述作為頻率及位置的一函數之增幅。所述音訊伺服器400決定作為在所述使用者的位置處的頻率的一函數之增幅。根據所述增幅的函數以及在所述使用者的位置處的頻率，所述音訊伺服器400判斷所述場所模態參數。所述場所模態參數描述一聲音濾波器，當被施加至音訊內容時，其模擬在所述使用者的位置處的在和所述至少一場所模態相關的頻率的聲音失真。在某些實施例中，所述至少一場所模態是一第一階軸上模態。在某些實施例中，所述音訊伺服器320根據對應於在所述使用者在所述目標區域之內的位置處的所述至少一場所模態的增幅，來判斷所述一或多個場所模態參數。所述聲音濾波器可被一頭戴耳機組利用來呈現音訊內容給使用者。

圖6是根據一或多個實施例的一音訊組件600的方塊圖。某些或全部的音訊組件600可以是一頭戴耳機組(例如，所述頭戴耳機組310)的部分。所述音訊組件600包含一揚聲器組件610、一麥克風組件620、以及一音訊控制器630。在一實施例中，所述音訊組件600進一步包括一輸入介面(未顯示在圖6中)，以用於例如控制所述音訊組件600的不同構件的操作。在其它實施例中，所述音訊組件600可以具有所表列的構件與任何額外的構件的任意組合。在某些實施例中，所述音訊伺服器400的功能中的一或多個可以藉由所述音訊組件600來加以執行。

所述揚聲器組件610例如根據來自所述音訊控制器630的音訊指令來產生給使用者的耳朵聽見的聲音。在某些實施例中，所述揚聲器組件610被實施為一對空氣傳導換能器(例如，每一個耳朵各有一個)，其例如根據來自所述音訊控制器630的音訊指令，以藉由在所述使用者的耳朵中產生一空氣傳播的聲音壓力波來產生聲音。所述揚聲器組件610的每一個空氣傳導換能器可包含一或多個換能器，以涵蓋一頻率範圍的不同的部分。例如，一壓電換能器可被用來涵蓋一頻率範圍的一第一部分，而一動圈式換能器可被用來涵蓋一頻率範圍的一第二部分。在某些其它實施例中，所述揚聲器組件610的每一個換能器被實施為一骨傳導換能器，其藉由振動在使用者頭部中的一對應的骨頭來產生聲音。每一個被實施為一骨傳導換能器的換能器可被置放在一耳廓後面，耦接至使用者的骨頭的一部分以振動所述使用者的骨頭的部分，其產生一傳播朝向所述使用者耳蝸的組織傳播的聲音壓力波，藉此繞過所述耳膜。在某些其它實施例中，所述揚聲器組件610的每一個換能器被實施為一軟骨傳導換能器，其藉由振動在外耳周圍的耳軟骨的一或多個部分(例如，耳殼(pinna)、耳屏(tragus)、所述耳軟骨的某個其它部分、或是其之某種組合)來產生聲音。所述軟骨導通換能器藉由振動所述耳軟骨的一或多個部分來產生空氣傳播的聲音壓力波。

所述麥克風組件620偵測來自所述目標區域的聲音。所述麥克風組件620可包含複數個麥克風。所述複數個麥克風例如可包含至少一麥克風，其被配置以量測在每一個耳朵的一耳道入口的聲音、一或多個被設置以捕捉來自所述目標區域的聲音的麥克風、一或多個被設置以捕捉來自使用者的聲音(例如，使用者的語音)的麥克風、或是其之某種組合。

所述音訊控制器630產生一場所模態詢問以請求場所模態參數。所述音訊控制器630可以至少部分是根據所述目標區域的視覺資訊以及使用者的位置資訊來產生所述場所模態詢問。所述音訊控制器630可以例如是從所述頭戴耳機組310的一或多個相機來獲得所述目標區域的視覺資訊。所述視覺資訊描述所述目標區域的3D幾何。所述視覺資訊可包含景深影像資料、彩色影像資料、或是其之組合。所述景深影像資料可包含有關所述目標區域的一形狀的幾何資訊，所述形狀是藉由所述目標區域的表面，例如是所述目標區域的牆壁、地板及天花板的表面所界定的。所述彩色影像資料可包含關於和所述目標區域的表面相關的聲音材料的資訊。所述音訊控制器630可以從所述頭戴耳機組310獲得所述使用者的位置資訊。在一實施例中，所述使用者的位置資訊包含所述頭戴耳機組的位置資訊。在另一實施例中，所述使用者的本地資訊指明所述使用者在一真實的場所或是一虛擬場所中的一位置。

所述音訊控制器630根據從所述音訊伺服器400接收到的場所模態參數來產生一聲音濾波器，並且提供音訊指令至所述揚聲器組件610，以利用所述聲音濾波器來呈現音訊內容。例如，所述音訊控制器630根據所述場所模態參數來產生鐘形(bell shaped)參數的無限脈衝響應濾波器。所述鐘形參數的無限脈衝響應濾波器包含對應於每一個模態頻率的一Q值及增益。在某些實施例中，所述音訊控制器630施加這些濾波器以表現所述音訊信號，例如是藉由增加所述音訊信號在所述模態頻率的振幅。在某些實施例中，音訊控制器630是將這些濾波器設置在一人工殘響產生器(例如，施羅德、FDN、或是巢狀全通殘響產生器)的一回授迴路之內、或是修改在所述模態頻率的殘響時間。所述音訊控制器630施加所述聲音濾波器至所述音訊內容，使得將會由和所述使用者的目標區域相關的場所模態所引起的聲音失真(例如，作為頻率及位置的一函數的增幅)可以是所呈現的音訊內容的部分。

作為另一例子的是，所述音訊控制器630是根據所述場所模態參數來產生全通濾波器。所述全通濾波器具有中心在所述模態頻率的Q值。所述音訊控制器630利用所述全通濾波器來延遲在所述模態頻率的音訊信號，並且創造在所述模態頻率的振鈴(ringing)的感知。在某些實施例中，所述音訊控制器630使用所述鐘形參數的無限脈衝響應濾波器以及所述全通濾波器兩者以表現所述音訊信號。在某些實施例中，所述音訊控制器630根據在所述使用者的位置上的改變來動態地更新所述濾波器。

圖7是描繪根據一或多個實施例的一種藉由利用一聲音濾波器來呈現音訊內容的程序700的流程圖。圖7的程序700可以藉由一設備的構件，例如是圖6的音訊組件600來加以執行。在其它實施例中，其它的實體(例如，圖9的頭戴耳機組900的構件及/或在圖8中所示的構件)可以執行所述程序的某些或全部的步驟。同樣地，實施例可包含不同及/或額外的步驟、或是用不同的順序來執行所述步驟。

所述音訊組件600根據一或多個場所模態參數來產生710一聲音濾波器。所述聲音濾波器，當被施加至內容時，其模擬在所述使用者在一目標區域之內的一位置處並且在和所述目標區域的至少一場所模態相關的頻率的聲音失真。當一聲音在所述目標區域中被發出時，所述聲音失真是藉由在一使用者在所述目標區域之內的一位置處的增幅來加以表示。所述目標區域可以是所述使用者的一本地區域、或是一虛擬區域。在某些實施例中，所述聲音濾波器包含具有在所述場所模態的模態頻率的Q值及增益的無限脈衝響應濾波器、及/或具有中心在所述模態頻率的Q值的全通濾波器。

在某些實施例中，所述一或多個場所模態參數是藉由所述音訊組件600從一音訊伺服器(例如是所述音訊伺服器400)接收到的。所述音訊組件傳送一場所模態詢問至所述音訊伺服器，並且所述音訊伺服器根據在所述場所模態詢問中的資訊來判斷所述一或多個場所模態參數。在某些其它實施例中，所述音訊組件600根據所述目標區域的至少一場所模態來判斷所述一或多個場所模態參數。所述目標區域的至少一場所模態可以藉由所述音訊伺服器來加以判斷，並且被傳送至所述音訊組件600。

所述音訊組件600藉由利用所述聲音濾波器來呈現720音訊內容給所述使用者。例如，所述音訊組件600施加所述聲音濾波器至所述音訊內容，使得將會由和所述使用者的一目標區域相關的場所模態所引起的聲音失真(例如，在信號強度上的增加或減小)可以是所呈現的音訊內容的部分。所述音訊內容聽起來是源自於在所述目標區域中的一物體，而且正在所述使用者於所述目標區域之內的位置被接收，即使所述使用者可能實際並未位在所述目標區域中。譬如，所述使用者坐在一辦公室中，並且所述音訊內容(例如，音樂)可被呈現以聽起來是源自於在一虛擬會議室中的一演講者，而且正在所述使用者於所述虛擬會議室中的一位置處被接收。系統環境

圖8是根據一或多個實施例的一種系統環境800的方塊圖，其包含一頭戴耳機組810以及一音訊伺服器400。所述系統800可以運作在一人工實境環境中，例如是一虛擬實境、一擴增實境、一混合實境環境、或是其之某種組合。圖8所展示的系統800是包含耦接至一控制台860的一頭戴耳機組810、一音訊伺服器400以及一輸入/輸出(I/O)介面840。所述頭戴耳機組810、音訊伺服器400、以及控制台860是透過網路880來通訊。儘管圖8是展示一範例的系統800包含一頭戴耳機組810以及一I/O介面850，但在其它實施例中，任意數目的這些構件可以內含在所述系統800中。例如，可以有多個頭戴耳機組810，其分別具有一相關的I/O介面850，其中每一個頭戴耳機組810以及I/O介面850是和所述控制台860通訊。在替代的配置中，不同及/或額外的構件可以內含在所述系統800中。此外，在某些實施例中，結合在圖8中所示的構件中的一或多個所述的功能可以用一不同於結合圖8所述的方式而被分散在所述構件之間。例如，所述控制台860的功能的部分或全部可以是由所述頭戴耳機組810提供的。

所述頭戴耳機組810包含一顯示器組件815、一光學區塊820、一或多個位置感測器835、所述DCA 830、一慣性的量測單元(IMU)825、所述PCA 840、以及所述音訊組件600。頭戴耳機組810的某些實施例具有不同於那些結合圖8所述者的構件。此外，在其它實施例中，由結合圖8所述的各種構件所提供的功能可以不同地被分散在所述頭戴耳機組810的構件之間、或是被捕捉在所述頭戴耳機組810遠端的個別的組件中。所述頭戴耳機組810的一實施例是在圖3中的頭戴耳機組310、或是在圖9中的頭戴耳機組900。

所述顯示器組件815可包含一電子顯示器，其根據從所述控制台860接收到的資料來顯示2D或3D影像給所述使用者。所述影像可包含所述使用者的所述本地區域的影像、虛擬物體結合來自所述本地區域的光的影像、一虛擬區域的影像、或是其之某種組合。所述虛擬區域可被對映一遠離所述使用者的真實場所。在各種的實施例中，所述顯示器組件815包括單一電子顯示器或是多個電子顯示器(例如，一使用者的每一眼各有一顯示器)。一電子顯示器的例子包含：液晶顯示器(LCD)、有機發光二極體(OLED)顯示器、主動矩陣式有機發光二極體顯示器(AMOLED)、波導顯示器、某種其它顯示器、或是其之某種組合。

所述光學區塊820放大從所述電子顯示器接收到的影像光、校正和所述影像光相關的光學誤差、以及呈現經校正的影像光至所述頭戴耳機組810的一使用者。在各種的實施例中，所述光學區塊820包含一或多個光學元件。內含在所述光學區塊820中的範例的光學元件包含：孔徑、菲涅耳(Fresnel)透鏡、凸透鏡、凹透鏡、濾光片、反射的表面、或是任何其它適當的影響影像光的光學元件。再者，所述光學區塊820可包含不同的光學元件的組合。在某些實施例中，在所述光學區塊820中的光學元件中的一或多個可以具有一或多個塗層，例如是部分反射或抗反射的塗層。

所述影像光藉由所述光學區塊820的放大及聚焦容許所述電子顯示器相較於較大型的顯示器實際上是較小的、重量較輕的、而且消耗較低的功率。此外，放大可以增加藉由所述電子顯示器所呈現的內容的視野。例如，所顯示的內容的視野是使得所顯示的內容是利用所述使用者的幾乎所有的視野(例如，對角線約110度)，並且在某些情形中是全部的視野來加以呈現。此外，在某些實施例中，放大的量可以藉由增加或移除光學元件來調整。

在某些實施例中，所述光學區塊820可被設計以校正一或多種類型的光學誤差。光學誤差的例子包含桶形失真(barrel distortion)、枕形失真(pincushion distortion)、縱向色像差以及橫向色像差。其它類型的光學誤差可以進一步包含球面像差、色像差、或是由於透鏡像場彎曲所造成的誤差、像散(astigmatism)、或是任何其它類型的光學誤差。在某些實施例中，被提供至所述電子顯示器以用於顯示的內容是預先被扭曲，並且所述光學區塊820在其從所述電子顯示器接收根據所述內容所產生的影像光之後校正所述扭曲。

所述IMU 825是一電子裝置，其根據從所述位置感測器835中的一或多個接收到的量測信號來產生指出所述頭戴耳機組810的一位置的資料。一位置感測器835響應於所述頭戴耳機組810的運動來產生一或多個量測信號。位置感測器835的例子包含：一或多個加速度計、一或多個陀螺儀、一或多個磁力儀、其它適當類型的偵測運動的感測器、一種類型的用於所述IMU 825的誤差校正的感測器、或是其之某種組合。所述位置感測器835可以是位在所述IMU 825的外部、所述IMU 825的內部、或是其之某種組合。

所述DCA 830產生一例如是場所的目標區域的景深影像資料。景深影像資料包含界定相隔所述成像裝置的距離的像素值，並且因此提供在所述景深影像資料中被捕捉的位置的一(例如，3D)對映。在圖8中的DCA 830包含一光投影器833、一或多個成像裝置825、以及一控制器830。在某些其它實施例中，所述DCA 830包含一組立體成像的相機。

所述光投影器833可以投影一結構光圖案或是其它的光(例如，用於飛行時間的紅外閃光)，其是從所述目標區域中的物體反射出，並且被所述成像裝置835捕捉以產生所述景深影像資料。例如，所述光投影器833可以投影複數個不同類型(例如是線、格、或點)的結構光(structured light, SL)元素到圍繞所述頭戴耳機組810的一目標區域的一部分之上。在各種的實施例中，所述光投影器833包括一發射器以及一繞射光學元件。所述發射器被配置以利用光(例如，紅外光)來照明所述繞射光學元件。被照明的繞射光學元件投影包括複數個SL元素的一SL圖案到所述目標區域中。例如，藉由被照明的繞射光學元件投影的所述SL元素的每一個是和在所述繞射光學元件上的一特定位置相關的一點。

藉由所述DCA 830而被投影到所述目標區域中的SL圖案，在其遭遇到在所述目標區域中的各種表面及物體時變形。所述一或多個成像裝置825是分別被配置以捕捉所述目標區域的一或多個影像。所捕捉的一或多個影像的每一個可包含複數個SL元素(例如，點)，其是藉由所述光投影器833投影並且被所述目標區域中的物體反射的。所述一或多個成像裝置825的每一個可以是一偵測器陣列、一相機、或是一視訊攝影機。

在某些實施例中，所述光投影器833投影光脈衝，其是從所述本地區域中的物體被反射出，並且被所述成像裝置835捕捉，以藉由利用飛行時間技術來產生所述景深影像資料。例如，所述光投影器833投影用於飛行時間的紅外閃光。所述成像裝置835捕捉被所述物體反射的紅外閃光。所述控制器837可以利用來自所述成像裝置835的影像資料以判斷至所述物體的距離。所述控制器837可以提供指令至所述成像裝置835，使得所述成像裝置835同步於藉由所述光投影器833的光脈衝的投影而捕捉反射的光脈衝。

所述控制器837根據藉由所述成像裝置835捕捉的光來產生所述景深影像資料。所述控制器837可以進一步提供所述景深影像資料至所述控制台860、所述音訊控制器420、或是某個其它構件。

所述PCA 840包含一或多個被動式相機，其產生彩色(例如，RGB)影像資料。不同於使用主動發光及反射的DCA 830，所述PCA 840捕捉從一目標區域的環境的光以產生影像資料。所述影像資料的像素值可以定義在所述成像資料中被捕捉的物體的可見的色彩，而非界定相隔所述成像裝置的景深或距離的像素值。在某些實施例中，所述PCA 840包含一控制器，其根據藉由所述被動式成像裝置捕捉的光來產生所述彩色影像資料。在某些實施例中，所述DCA 830以及所述PCA 840共用一共同的控制器。例如，所述共同的控制器可以將在可見光頻譜中(例如，影像資料)以及在紅外線頻譜中(例如，景深影像資料)所捕捉的一或多個影像的每一個彼此對映。在一或多個實施例中，所述共同的控制器被配置以額外或替代地提供所述目標區域的一或多個影像至所述音訊控制器或是所述控制台860。

所述音訊組件600利用一聲音濾波器來呈現音訊內容給所述頭戴耳機組810的一使用者，以將場所模態的本地效應併入到所述音訊內容中。在某些實施例中，所述音訊組件600傳送一場所模態詢問至所述音訊伺服器400，以請求描述所述聲音濾波器的場所模態參數。所述場所模態詢問包含所述目標區域的虛擬資訊、一使用者的位置資訊、所述音訊內容的資訊、或是其之某種組合。所述音訊組件600是透過所述網路880以從所述音訊伺服器400接收所述場所模態參數。所述音訊組件600利用所述場所模態參數以產生一系列的濾波器(例如，無限脈衝響應濾波器、全通濾波器等等)，以表現所述音訊內容。所述濾波器具有在模態頻率的Q值及增益，並且模擬在所述使用者於所述目標區域之內的一位置處的聲音失真。所述音訊內容是空間化的，並且當被呈現時，其聽起來是源自於在所述目標區域之內的一物體(例如，虛擬物體或是真實物體)，並且正在所述使用者於所述目標區域之內的位置處被接收。

在一實施例中，所述目標區域是所述使用者的本地區域的至少一部分，並且所述空間化的音訊內容可以聽起來是源自於所述本地區域中的一虛擬物體。在另一實施例中，所述目標區域是一虛擬區域。譬如，所述使用者是在一小辦公室中，但是所述目標區域是其中一虛擬演講者進行演講的一大型虛擬會議室。所述虛擬會議室具有與所述小辦公室不同的例如是場所模態的聲學性質。所述音訊組件600呈現所述語音給所述使用者，就像是其源自於所述虛擬會議室中的虛擬演講者(亦即，利用一會議室的場所模態，就像它是一真實的位置，而且並不利用所述小辦公室)的場所模態。

所述音訊伺服器400根據在來自所述音訊組件600的場所模態詢問中的資訊來判斷所述目標區域的一或多個場所模態參數。在某些實施例中，所述音訊伺服器400根據所述目標區域的一3D表示來判斷所述目標區域的一模型。所述目標區域的3D表示可以根據在所述場所模態詢問中的資訊，例如所述目標區域的視覺資訊及/或指出所述使用者在所述目標區域之內的一位置的所述使用者的位置資訊來加以判斷。所述音訊伺服器400比較所述3D表示與候選者模型，並且選擇匹配於所述3D表示的候選者模型以作為所述目標區域的模型。所述音訊伺服器400利用所述模態，例如根據所述模型的形狀及/或尺寸來判斷所述目標區域的場所模態。所述場所模態可以被表示作為頻率及位置的一函數之增幅。根據所述場所模態中的至少一個以及所述使用者在所述目標區域中的位置，所述音訊伺服器400判斷所述一或多個場所模態參數。

在某些實施例中，所述音訊組件600具有所述音訊伺服器400的某些或全部的功能。所述頭戴耳機組810的音訊組件600以及所述音訊伺服器400可以經由一有線或無線的通訊鏈結(例如，所述網路880)來通訊。

所述I/O介面850是容許使用者能夠傳送動作請求並且從所述控制台860接收響應的裝置。一動作請求是用以執行一特定動作的請求。例如，一動作請求可以是開始或結束影像或視訊資料的捕捉的一指令、或是用以執行在一應用程式之內的一特定動作的一指令。所述I/O介面850可包含一或多個輸入裝置。範例的輸入裝置包含：鍵盤、滑鼠、遊戲控制器、或是任何其它用於接收動作請求並且傳遞所述動作請求至所述控制台860的適當的裝置。藉由所述I/O介面850接收到的一動作請求是被傳遞至所述控制台860，其執行對應於所述動作請求的一動作。在某些實施例中，所述I/O介面850包含如同以上進一步所述的IMU 825，其捕捉指出相對於所述I/O介面850的一最初的位置的所述I/O介面850的一估計的位置的校準資料。在某些實施例中，所述I/O介面850可以根據從所述控制台860接收到的指令來提供觸覺回授至所述使用者。例如，觸覺回授是在一動作請求被接收到之後提供、或是在所述控制台860執行一動作之後，所述控制台860傳遞指令至所述I/O介面850，其使得所述I/O介面850產生觸覺回授。

所述控制台860根據從以下的一或多個：所述DCA 830、所述PCA 840、所述頭戴耳機組810、以及所述I/O介面850接收到的資訊，以提供內容至所述頭戴耳機組810以用於處理。在圖8所示的例子中，所述控制台860包含一應用程式儲存863、一追蹤模組865、以及一引擎867。所述控制台860的某些實施例具有與那些結合圖8所描述者不同的模組或構件。類似地，進一步在以下敘述的功能可以用一與結合圖8所描述者不同的方式而被分散在所述控制台860的構件之間。在某些實施例中，在此相關所述控制台860論述的功能可被實施在所述頭戴耳機組810、或是一遠端的系統中。

所述應用程式儲存863儲存一或多個應用程式，以供所述控制台860執行。一應用程式是一群組的指令，當藉由一處理器執行時，其產生內容以用於呈現給使用者。藉由一應用程式產生的內容可以是響應於從所述使用者的經由所述頭戴耳機組810的移動或是所述I/O介面850接收到的輸入。應用程式的例子包含：遊戲應用程式、會議應用程式、視訊播放應用程式、或是其它適當的應用程式。

所述追蹤模組865利用一或多個校準參數來校準所述系統800的本地區域，並且可以調整一或多個校準參數以降低在所述頭戴耳機組810或是所述I/O介面850的位置的確定上的誤差。例如，所述追蹤模組865傳遞一校準參數至所述DCA 830以調整所述DCA 830的聚焦，以更正確地判斷藉由所述DCA 830捕捉的SL元素的位置。藉由所述追蹤模組865所執行的校準亦考量到從所述頭戴耳機組810中的IMU 825及/或內含在所述I/O介面850中的一IMU 825接收到的資訊。此外，若失去所述頭戴耳機組810的追蹤(例如，所述DCA 830看不到至少一臨界數量的所述被投影的SL元素)，則所述追蹤模組865可以重新校準所述系統800的部分或全部。

所述追蹤模組865利用來自所述DCA 830、所述PCA 840、所述一或多個位置感測器835、所述IMU 825或是其之某種組合的資訊，以追蹤所述頭戴耳機組810或是所述I/O介面850的移動。例如，所述追蹤模組865根據來自所述頭戴耳機組810的資訊，來判斷所述頭戴耳機組810的一參考點在一本地的區域的一對映中的一位置。所述追蹤模組865亦可以判斷一物體(真實的物體或是虛擬物體)在所述本地的區域或是一虛擬區域中的位置。此外，在某些實施例中，所述追蹤模組865可以利用來自所述IMU 825的指出所述頭戴耳機組810的一位置的資料的部分、以及來自所述DCA 830的本地的區域的表示，以預測所述頭戴耳機組810的一未來的位置。所述追蹤模組865提供所述頭戴耳機組810或是所述I/O介面850的估計或預測的未來位置至所述引擎867。

所述引擎867執行應用程式，並且從所述追蹤模組865接收所述頭戴耳機組810的位置資訊、加速資訊、速度資訊、預測的未來的位置、或是其之某種組合。根據所接收到的資訊，所述引擎867決定內容以提供至所述頭戴耳機組810以用於呈現給使用者。例如，若所接收到的資訊指出所述使用者是在一目標區域的一位置處，則所述引擎867產生和所述目標區域相關的虛擬內容(例如，影像及音訊)。所述目標區域可以是一虛擬區域，例如是虛擬會議室。所述引擎867可以產生所述虛擬會議室的影像、以及在所述虛擬會議室中所給出的語音，以供所述頭戴耳機組810顯示給所述使用者。所述目標區域可以是使用者的一本地的區域。所述引擎867可以產生虛擬物體和來自所述本地的區域的真實物體組合的影像、以及和一虛擬物體或是一真實物體相關的音訊內容。作為另一例子的是，若所接收到的資訊指出使用者已經看向左方，則所述引擎867產生用於所述頭戴耳機組810的內容，其鏡射所述使用者在一虛擬目標區域中的移動、或是在一目標區域中以額外的內容來擴充所述目標區域。此外，所述引擎867響應於從所述I/O介面850接收到的一動作請求來執行在所述控制台860上所執行的一應用程式內的一動作，並且提供給所述使用者所述動作已經被執行之回授。所提供的回授可以是經由所述頭戴耳機組810的視覺或可聽見的回授、或是經由所述I/O介面850的觸覺回授。

圖9是根據一或多個實施例的一頭戴耳機組900的立體圖，其包含一音訊組件。所述頭戴耳機組900可以是在圖3中的頭戴耳機組330或是在圖8中的頭戴耳機組810的一實施例。在某些實施例中(如同在圖9中所示)，所述頭戴耳機組900被實施為一NED。在替代實施例中(未顯示在圖9中)，所述頭戴耳機組900被實施為一HMD。一般而言，所述頭戴耳機組900可被穿戴在一使用者的臉部上，使得內容(例如，媒體內容)是利用所述頭戴耳機組900的一或兩個透鏡910而被呈現。然而，所述頭戴耳機組900亦可被使用，以使得媒體內容是用一不同的方式而被呈現給一使用者。藉由所述頭戴耳機組900呈現的媒體內容的例子包含一或多個影像、視訊、音訊、或是其之某種組合。除了其它構件以外，所述頭戴耳機組900可包含框架905、透鏡910、DCA 925、PCA 930、位置感測器940、以及音訊組件。所述DCA 925以及所述PCA 930可以是所述頭戴耳機組900所安裝的SLAM感測器的部分，以用於捕捉圍繞所述頭戴耳機組900的部分或全部的一目標區域的視覺資訊。儘管圖9是在所述頭戴耳機組900上的範例位置處描繪所述頭戴耳機組900的構件，但是所述構件可以是位在所述頭戴耳機組900上的別處、在與所述頭戴耳機組900配對的一週邊裝置上、或是其之某種組合。

所述頭戴耳機組900可以校正或強化一使用者的視覺、保護一使用者的眼睛、或是提供影像給一使用者。所述頭戴耳機組900可以是眼鏡，其校正一使用者的視力上的缺陷。所述頭戴耳機組900可以是太陽眼鏡，其保護一使用者的眼睛以避開陽光。所述頭戴耳機組900可以是護目鏡，其保護一使用者的眼睛免受到衝擊。所述頭戴耳機組900可以是一夜視裝置或紅外線眼鏡以強化一使用者在夜晚的視覺。所述頭戴耳機組900可以是一近眼顯示器，其產生人工實境內容給所述使用者。或者是，所述頭戴耳機組900可以不包含透鏡910，並且可以是具有一音訊組件的一框架905，其提供音訊內容(例如，音樂、廣播、播客(podcasts))給一使用者。

所述框架905支持所述頭戴耳機組900的其它構件。所述框架905包含一支持所述透鏡910的前端部分、以及尾端件來附接至所述使用者的頭部。所述框架905的前端部分跨過所述使用者的鼻子頂端。所述尾端件(例如，鏡腿)是所述框架905附接到一使用者的太陽穴的部分。所述尾端件的長度可以是可調整的(例如，可調整的鏡腿長度)，以適合不同的使用者。所述尾端件亦可包含一彎曲在所述使用者的耳朵後面的部分(例如，鏡腿尖端、眼鏡腳)。

所述透鏡910提供或透射光至一穿戴所述頭戴耳機組900的使用者。所述透鏡910可包含一處方鏡片(例如，單光、雙焦點及三焦點、或是多焦)以助於校正一使用者的視力上的缺陷。所述處方鏡片透射環境光至穿戴所述頭戴耳機組900的使用者。所透射的環境光可以藉由所述處方鏡片而被改變，以校正所述使用者的視力上的缺陷。所述透鏡910可包含一偏光鏡片或是一染色鏡片，以保護所述使用者的眼睛以避開陽光。所述透鏡910可包含作為一波導顯示器的部分的一或多個波導，其中影像光是透過所述波導的一端或邊緣而被耦合至所述使用者的眼睛。所述透鏡910可包含一電子顯示器用於提供影像光，並且亦可包含一用於放大來自所述電子顯示器的影像光的光學區塊。所述透鏡910可以是所述顯示器組件815以及光學區塊820的一組合的一實施例。

所述DCA 925捕捉景深影像資料，其描述針對於一圍繞所述頭戴耳機組330的例如是場所的本地的區域的景深資訊。所述DCA 925可以是所述DCA 830的一實施例。在某些實施例中，所述DCA 925可包含一光投影器(例如，結構光及/或用於飛行時間的閃光照明)、一成像裝置、以及一控制器(未顯示在圖9中)。所捕捉的資料可以是所述成像裝置所捕捉之藉由所述光投影器而被投影到所述本地的區域之上的光的影像。在一實施例中，所述DCA 925可包含一控制器以及兩個或多個被定向以立體捕捉所述本地的區域的部分的相機。所捕捉的資料可以是藉由所述兩個或多個相機以立體捕捉的所述本地的區域的影像。所述DCA 925的控制器利用所捕捉的資料以及景深決定技術(例如，結構光、飛行時間、立體成像等等)來計算所述本地的區域的景深資訊。根據所述景深資訊，所述DCA 925的控制器判斷所述頭戴耳機組330在所述本地的區域之內的絕對的位置資訊。所述DCA 925可以和所述頭戴耳機組330整合在一起、或是可被設置在所述本地的區域之內的所述頭戴耳機組330的外部。在某些實施例中，所述DCA 925的控制器可以發送所述景深影像資料至所述頭戴耳機組330的音訊控制器920，例如是用於進一步的處理及傳遞至所述音訊伺服器400。

所述PCA 930包含一或多個被動式相機，其產生彩色(例如，RGB)影像資料。所述PCA 930可以是所述PCA 840的一實施例。不同於使用主動發光及反射的DCA 925，所述PCA 930從一本地的區域的環境捕捉光以產生彩色影像資料。所述彩色影像資料的像素值可以定義在所述影像資料中被捕捉的物體的可見的色彩，而非界定相隔所述成像裝置的景深或距離的像素值。在某些實施例中，所述PCA 930包含一控制器，其根據藉由所述被動式成像裝置所捕捉的光來產生所述彩色影像資料。所述PCA 930可以提供所述彩色影像資料至所述音訊控制器920，例如是用於進一步處理以及傳遞至所述音訊伺服器400。

在某些實施例中，所述DCA 925及PCA 930是同一個相機組件，例如是利用立體成像以用於產生景深資訊的彩色相機系統。

所述位置感測器940根據響應於所述頭戴耳機組900的運動的一或多個量測信號來產生所述頭戴耳機組900的位置資訊。所述位置感測器940可以是所述位置感測器835中之一的一實施例。所述位置感測器940可以是位在所述頭戴耳機組900的框架905的一部分上。所述位置感測器940可包含一位置感測器、一IMU、或是兩者。所述頭戴耳機組900的某些實施例可以包含或是可不包含所述位置感測器940、或是可包含超過一個位置感測器940。在其中所述位置感測器940包含一IMU的實施例中，所述IMU根據來自所述位置感測器940的量測信號來產生IMU資料。位置感測器940的例子包含：一或多個加速度計、一或多個陀螺儀、一或多個磁力儀、其它適當的類型的偵測運動的感測器、一種類型的用於所述IMU的誤差校正的感測器、或是其之某種組合。所述位置感測器940可以是位在所述IMU的外部、所述IMU的內部、或是其之某種組合。

根據所述一或多個量測信號，所述位置感測器940估計相對於所述頭戴耳機組900的一最初的位置的所述頭戴耳機組900的一目前的位置。所述估計的位置可包含所述頭戴耳機組900的一位置、及/或所述頭戴耳機組900或是穿戴所述頭戴耳機組900的使用者的頭部的一方位、或是其之某種組合。所述方位可以對應於每一個耳朵相對於一參考點的一位置。在某些實施例中，所述位置感測器940利用來自所述DCA 925的景深資訊及/或所述絕對的位置性資訊以估計所述頭戴耳機組900的目前的位置。所述位置感測器940可包含用以量測平移的運動(前/後、上/下、左/右)的多個加速度計、以及用以量測旋轉的運動(例如，俯仰、偏擺、翻滾)的多個陀螺儀。在某些實施例中，一IMU快速地取樣所述量測信號，並且從所取樣的資料計算所述頭戴耳機組900的估計的位置。例如，所述IMU在時間上積分從所述加速度計接收到的量測信號以估計一速度向量，並且在時間上積分所述速度向量以決定在所述頭戴耳機組900上的一參考點的一估計的位置。所述參考點是一可被用來描述所述頭戴耳機組900的位置的點。儘管所述參考點可以大致被定義為在區域中的一點，然而所述參考點實際是被定義為在所述頭戴耳機組900之內的一點。

所述音訊組件表現音訊內容以併入場所模態的本地效應。所述頭戴耳機組900的音訊組件是以上結合圖6所述的音訊組件600的一實施例。在某些實施例中，所述音訊組件為了一聲音濾波器而傳送一詢問至一音訊伺服器(例如，所述音訊伺服器400)。所述音訊組件從所述音訊伺服器接收場所模態參數，並且產生一聲音濾波器以呈現所述音訊內容。所述聲音濾波器可包含無限脈衝響應濾波器及/或全通濾波器，其具有在所述場所模態的模態頻率的Q值及增益。在某些實施例中，所述音訊組件包含所述揚聲器915a及915b、一聲音感測器陣列935、以及所述音訊控制器920。

所述揚聲器915a及915b產生用於使用者耳朵的聲音。所述揚聲器915a、915b是在圖6中的揚聲器組件610的換能器的實施例。所述揚聲器915a及915b從所述音訊控制器920接收音訊指令以產生聲音。所述揚聲器915a可以從所述音訊控制器920獲得一左音訊聲道，並且所述揚聲器915b從所述音訊控制器920獲得一右音訊聲道。如同在圖9中所繪，每一個揚聲器915a、915b耦接至所述框架905的一尾端件，並且被設置在所述使用者的對應的耳朵的一入口的前面。儘管所述揚聲器915a及915b被展示在所述框架905的外部，但是所述揚聲器915a及915b可以被封入所述框架905中。在某些實施例中，並非是用於每一個耳朵的個別的揚聲器915a及915b，而是所述頭戴耳機組330包含一揚聲器陣列(未顯示在圖9中)，其被整合到例如是所述框架905的尾端件中以改善所呈現的音訊內容的方向性。

聲音感測器陣列935監視及記錄在一圍繞所述頭戴耳機組330的部分或全部的本地的區域中的聲音。聲音感測器陣列935是圖6的麥克風組件620的一實施例。如同在圖9中所繪，聲音感測器陣列935在多個被設置在所述頭戴耳機組330上的聲音偵測位置上包含多個聲音感測器。

所述音訊控制器920是藉由傳送一場所模態詢問至一音訊伺服器(例如，所述音訊伺服器400)來從所述音訊伺服器請求一或多個場所模態參數。所述場所模態詢問包含目標區域資訊、使用者資訊、音訊內容資訊、某些其它所述音訊伺服器320可以利用來決定所述聲音濾波器的資訊、或是其之某種組合。在某些實施例中，所述音訊控制器920根據來自一連接至所述頭戴耳機組900的控制台(例如，所述控制台860)的資訊以產生所述場所模態詢問。所述音訊伺服器920可以根據所述目標區域的影像來產生描述所述目標區域的至少一部分的視覺資訊。在某些實施例中，所述音訊控制器920是根據來自所述頭戴耳機組900的其它構件的資訊以產生所述場所模態詢問。例如，描述所述目標區域的至少一部分的視覺資訊可包含藉由所述DCA 925所捕捉的景深影像資料、及/或藉由所述PCA 930所捕捉的彩色影像資料。所述使用者的位置資訊可以藉由所述位置感測器940來加以判斷。

所述音訊控制器920根據從所述音訊伺服器接收到的場所模態參數來產生一聲音濾波器。所述音訊控制器920藉由利用所述聲音濾波器來提供音訊指令至所述揚聲器915a、915b以用於產生聲音，使得一目標區域的場所模態的本地效應被併入所述聲音中。所述音訊控制器920可以是圖6的音訊控制器630的一實施例。

在一實施例中，所述通訊模組(例如，一收發器)可被整合到所述音訊控制器920中。在另一實施例中，所述通訊模組可以是在所述音訊控制器920的外部，並且被整合到所述框架905中以作為一耦接至所述音訊控制器920的個別的模組。額外的配置資訊

本揭露內容的實施例的先前的說明已經為了說明之目的而被提出；其並非打算是窮舉的、或是限制本揭露內容至所揭露的精確形式。根據以上的揭露內容，熟習相關技術者可以體認到許多修改及變化是可能的。

此說明的某些部分是在資訊上的運算的演算法以及符號表示方面來描述本揭露內容的實施例。這些演算法的說明及表示是那些熟習資料處理技術者普遍使用的，以有效地傳達其工作的本質給其他熟習此項技術者。這些運算儘管是在功能上、計算上、或是邏輯上加以敘述的，但理解到的是藉由電腦程式或等效電路、微碼、或類似者來實施的。再者，亦已經證實的是有時稱這些運算的配置為模組是便利的，而不失去一般性。所述運算以及其相關的模組可以用軟體、韌體、硬體、或其之任意組合來體現。

在此所述的步驟、操作、或是程序的任一個都可以利用一或多個硬體或軟體模組、單獨或結合其它裝置來加以執行或實施。在某些實施例中，一軟體模組是利用一包括電腦可讀取的媒體之電腦程式產品來加以實施，所述電腦程式產品包含電腦程式碼，其可藉由一電腦處理器來執行，以用於執行所述步驟、操作、或是程序的任一個或是全部。

本揭露內容的實施例在此亦可以有關於一種用於執行所述操作之設備。此設備可以是針對於所需目的特別被建構的，且/或其可包括一般用途的計算裝置，所述計算裝置藉由在所述電腦中儲存的一電腦程式而選擇性地被啟動或是被重新配置。此種電腦程式可被儲存在一非暫態的有形電腦可讀取的儲存媒體、或是任意類型的適合用於儲存電子指令的媒體中，所述媒體可以耦接至一電腦系統匯流排。再者，在說明書中所參照的任何計算系統都可包含單一處理器、或者可以是為了增大計算功能而採用多個處理器的設計的架構。

本揭露內容的實施例亦可以有關於藉由在此所述的一計算程序產生的一產品。此種產品可包括產生自一計算程序的資訊，其中所述資訊被儲存在一非暫態的有形電腦可讀取的儲存媒體上，並且可包含在此所述的一電腦程式產品或是其它資料組合的任何實施例。

最後，說明書中所用的語言已經主要為了可閱讀性以及指導的目的來選擇的，因而其可能尚未被選擇來描述或限制本發明的標的。因此，所欲的是本揭露內容的範疇並未受限於此詳細說明，而是藉由在一申請案上根據其所核准的任何請求項來加以限制。於是，所述實施例的揭露內容是欲為舉例說明本揭露內容的範疇，而非限制性的，所述範疇是被闡述在以下的申請專利範圍中。

100:場所 105:音源 110:第一階模態 120:第二階模態 130、140、150:位置 210:軸上模態 220:切面模態 230:傾斜模態 300:音訊系統 310:頭戴耳機組 320:音訊伺服器 330:網路 340:使用者 350:場所 400:音訊伺服器 410:資料庫 420:對映模組 430:匹配模組 440:場所模態模組 450:聲音濾波器模組 500:程序 510:步驟 520:步驟 530:步驟 600:音訊組件 610:揚聲器組件 620:麥克風組件 630:音訊控制器 700:程序 710:步驟 720:步驟 800:系統環境 810:頭戴耳機組 815:顯示器組件 820:光學區塊 825:慣性的量測單元(IMU)/成像裝置 830:景深相機組件(DCA) 833:光投影器 835:位置感測器 837:控制器 840:被動式相機組件(PCA) 850:輸入/輸出(I/O)介面 860:控制台 863:應用程式儲存 865:追蹤模組 867:引擎 880:網路 900:頭戴耳機組 905:框架 910:透鏡 915a、915b:揚聲器 920:音訊控制器 925:景深相機組件(DCA) 930:被動式相機組件(PCA) 935:聲音感測器陣列 940:位置感測器

[圖1]是描繪根據一或多個實施例的在一場所中的場所模態的本地效應。

[圖2]是描繪根據一或多個實施例的一立方場所的軸上模態、切面模態、以及傾斜模態。

[圖3]是根據一或多個實施例的一音訊系統的方塊圖。

[圖4]是根據一或多個實施例的一音訊伺服器的方塊圖。

[圖5]是描繪根據一或多個實施例的一種用於判斷描述一聲音濾波器的場所模態參數的程序的流程圖。

[圖6]是根據一或多個實施例的一音訊組件的方塊圖。

[圖7]是描繪根據一或多個實施例的一種部分根據一聲音濾波器來呈現音訊內容的程序的流程圖。

[圖8]是根據一或多個實施例的一系統環境的方塊圖，其包含一頭戴耳機組以及一音訊伺服器。

[圖9]是根據一或多個實施例的包含一音訊組件的一頭戴耳機組的立體圖。

所述圖只是為了說明之目的來描繪本揭露內容的實施例而已。熟習此項技術者從以下的說明將會輕易地體認到在此所描繪的結構及方法的替代實施例可被採用，而不脫離在此所述的揭露內容的原理或是所宣揚的益處。

500:程序

510:步驟

520:步驟

530:步驟

Claims (20)

1. 一種方法，其包括： 判斷目標區域的模型，其部分根據所述目標區域的三維的虛擬表示； 利用所述模型來判斷所述目標區域的場所模態；以及 根據所述場所模態中的至少一個以及使用者在所述目標區域之內的位置來判斷一或多個場所模態參數，其中所述一或多個場所模態參數描述聲音濾波器，所述聲音濾波器被所述頭戴耳機組利用來呈現音訊內容給所述使用者，並且當所述聲音濾波器被施加至音訊內容時，其模擬在所述使用者的位置處並且在和所述至少一場所模態相關的頻率的聲音失真。
2. 如請求項1之方法，其進一步包括： 從所述頭戴耳機組接收描述所述目標區域的至少一部分的景深資訊；以及 利用所述景深資訊來產生所述三維的重建的至少一部分。
3. 如請求項1之方法，其中部分根據所述目標區域的所述三維的重建來判斷所述目標區域的所述模型包括： 比較所述三維的虛擬表示與複數個候選者模型；以及 識別所述複數個候選者模型中之一匹配所述三維的虛擬表示的候選者模型，以作為所述目標區域的所述模型。
4. 如請求項1之方法，其進一步包括： 接收所述目標區域的至少一部分的彩色影像資料； 利用所述彩色影像資料來判斷在所述目標區域的所述部分中的表面的材料組成物； 針對於每一個表面，根據所述表面的所述材料組成物來判斷一衰減參數；以及 利用每一個表面的所述衰減參數來更新所述模型。
5. 如請求項1之方法，其中利用所述模型來判斷所述目標區域的所述場所模態進一步包括： 根據所述模型的形狀來判斷所述場所模態。
6. 如請求項1之方法，其中所述聲音失真描述作為頻率的函數之增幅。
7. 如請求項1之方法，其進一步包括： 發送描述所述聲音濾波器的參數至所述頭戴式裝置頭戴耳機組，以用於在所述頭戴耳機組表現所述音訊內容。
8. 如請求項1之方法，其中所述目標區域是虛擬區域。
9. 如請求項8之方法，其中所述虛擬區域是不同於所述使用者的實際環境。
10. 如請求項1之方法，其中所述目標區域是所述使用者的實際環境。
11. 一種設備，其包括： 被配置以判斷目標區域的模型的匹配模組，其部分根據所述目標區域的三維的虛擬表示； 場所模態模組，其被配置以利用所述模型來判斷所述目標區域的場所模態；以及 聲音濾波器模組，其被配置以根據所述場所模態的至少一場所模態以及使用者在所述目標區域之內的位置來判斷一或多個場所模態參數，其中所述一或多個場所模態參數描述聲音濾波器，所述聲音濾波器是被所述頭戴耳機組利用來呈現音訊內容給所述使用者，並且所述聲音濾波器當被施加至音訊內容時，其模擬在所述使用者的所述位置處並且在和所述至少一場所模態相關的頻率的聲音失真。
12. 如請求項11之設備，其中所述匹配模組被配置以部分根據所述目標區域的所述三維的重建來判斷所述目標區域的所述模型，其藉由： 比較所述三維的虛擬表示與複數個候選者模型；以及 識別所述複數個候選者模型中之一匹配所述三維的虛擬表示的候選者模型，以作為所述目標區域的所述模型。
13. 如請求項11之設備，其中所述場所模態模組被配置以利用所述模型來判斷所述目標區域的所述場所模態，其藉由： 根據所述模型的形狀來判斷所述場所模態。
14. 如請求項11之設備，其中所述聲音失真描述作為頻率的函數之增幅。
15. 如請求項11之設備，其中所述聲音濾波器模組被配置以： 發送描述所述聲音濾波器的參數至所述頭戴耳機組，以用於在所述頭戴耳機組表現所述音訊內容。
16. 一種方法，其包括： 根據一或多個場所模態參數來產生聲音濾波器，所述聲音濾波器模擬在使用者在目標區域之內的位置處並且在和所述目標區域的至少一場所模態相關的頻率的聲音失真；以及 藉由利用所述聲音濾波器來呈現音訊內容給所述使用者，所述音訊內容聽起來是源自於在所述目標區域中的物體，並且正在所述使用者在所述目標區域之內的所述位置處被接收。
17. 如請求項16之方法，其中所述聲音濾波器包括複數個具有在所述至少一場所模態的模態頻率Q值或增益的無限脈衝響應濾波器。
18. 如請求項17之方法，其中所述聲音濾波器進一步包括複數個具有在所述至少一場所模態的模態頻率Q值或增益的全通濾波器。
19. 如請求項16之方法，其進一步包括： 傳送場所模態詢問至音訊伺服器，所述場所模態詢問包括所述目標區域的虛擬資訊以及所述使用者的位置資訊；以及 從所述音訊伺服器接收所述一或多個場所模態參數。
20. 如請求項16之方法，其進一步包括： 根據所述至少一場所模態以及在所述使用者的所述位置上的改變來動態地調整所述聲音濾波器。

Images