TWI850320B - 場景的影像表示 - Google Patents

Abstract

一種設備包含一接收器(301)，該接收器用於接收一場景之一影像表示。一判定器(305)判定一觀看者相對於一觀看者座標系統的觀看者姿勢。一對準器(307)藉由對準一場景參考位置與在該觀看者座標系統中之一觀看者參考位置來對準一場景座標系統與該觀看者座標系統。一演現器(303)回應於該影像表示及該場景座標系統與該觀看者座標系統之該對準而演現用於不同觀看者姿勢的視圖影像。一偏移處理器(309)回應於一對準觀看者姿勢而判定該觀看者參考位置，其中該觀看者參考位置取決於該對準觀看者姿勢之一定向且具有相對於該對準觀看者姿勢之一觀看者眼睛位置的一偏移。該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量。

Description

場景的影像表示

本發明係關於場景之影像表示，且具體而言，但非排他地，係關於產生影像表示及從此影像表示演現影像作為虛擬實境應用之部分。

近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。

例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及「環視」。

此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者例如在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法在例如用於電腦及主控台的遊戲應用（諸如在第一人稱射擊遊戲類別中）係衆所周知的。

亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。

一般而言，虛擬實境應用固有地受限於，虛擬實境應用係基於預定場景模型，且一般係基於虛擬世界的人工模型。經常希望虛擬實境體驗可基於真實世界攝取而提供。然而，在許多情況中，此類方法受限制或往往要求從真實世界攝取來建置真實世界的虛擬模型。然後，藉由評估此模型來產生虛擬實境體驗。

然而，目前的方法往往是次佳的，且往往經常具有高運算或通訊資源需求及/或提供例如降低品質或受限制自由度的次佳使用者體驗。

在許多例如虛擬實境應用中，場景可由影像表示（例如，諸如由表示場景之特定觀看姿勢的一或多個影像）來表示。在一些情況中，此類影像可提供場景之廣角視圖，且可覆蓋例如全360°視圖或覆蓋全視圖球體(full view sphere)。

在許多應用中，且具體而言，對於虛擬實境應用，影像資料串流係從表示場景的資料產生，使得影像資料串流反映使用者在場景中的（虛擬）位置。一般而言，動態且即時地產生此一影像資料串流，使得影像資料串流反映使用者在虛擬場景內的移動。影像資料串流可提供至演現器，該演現器演現來自影像資料串流之影像資料的影像給使用者。在許多應用中，經由頻寬有限的通訊鏈路提供影像資料串流至演現器。例如，影像資料串流可藉由遠端伺服器產生，且例如透過通訊網路傳輸至演現裝置。然而，對於大多數此類應用，重要的是維持合理的資料速率以允許有效率的通訊。

已提出基於360°視訊串流提供虛擬實境體驗，其中由伺服器提供針對給定觀看者位置的場景之完整360°視圖，從而允許用戶端產生針對不同方向的視圖。具體而言，虛擬實境(virtual reality, VR)之大有可為的應用中之一者係全向視訊（例如VR360或VR180）。該方法往往導致高資料速率，且因此提供全360°視圖球體的視點數目一般限於低數目。

作為一具體實例，虛擬實境眼鏡已問市。這些眼鏡允許觀看者體驗經攝取的360度（全景）視訊。這些360度視訊經常使用攝影機承架來預攝取，其中個別影像經拼接在一起成為單一球面映圖。在一些此類實施例中，表示自給定視點之全球面視圖的影像可被產生並傳輸至一驅動器，該驅動器經配置以產生用於該眼鏡對應於使用者之目前觀看的影像。

在許多系統中，可提供一場景之一影像表示，其中影像表示包括針對場景中之一或多個攝取點/視點的影像且經常包括深度。在許多此類系統中，一演現器可經配置以動態產生匹配目前局部觀看者姿勢的視圖。在此類系統中，動態地判定觀看者姿勢，且動態地產生視圖以匹配此觀看者姿勢。此一操作需要觀看者姿勢對準或映射至影像表示。此一般係藉由在應用程式啟動時將觀看者定位在場景/影像表示中之給定最佳或預設位置處，然後追蹤相對於此之觀看者移動來完成。最佳或預設位置一般經選擇以對應於包含影像資料之影像表示的位置，即對應於攝取或錨定位置。

然而，隨著觀看者姿勢從此位置改變，視圖內插及合成是必要的，且這將往往引入劣化及假影，從而降低影像品質。

因此，用於處理及產生場景之影像表示的改善方法將係有利的。具體而言，允許改善操作、增加靈活性、改善虛擬實境體驗、減小資料速率、增加效率、促進散佈、降低複雜度、促進實施、降低儲存需求、增加影像品質、改善演現、改善使用者體驗、及/或改善效能及/或操作的系統及/或方法將是有利的。

因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。

根據本發明之一態樣，提供一種用於演現影像的設備，該設備包含：一接收器，其用於接收一場景之一影像表示，該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一參考位置；一判定器，其用於判定一觀看者的觀看者姿勢，該等觀看者姿勢係相對於一觀看者座標系統而提供；一對準器，其用於藉由對準該場景參考位置與在該觀看者座標系統中之一觀看者參考位置來對準該場景座標系統與該觀看者座標系統；一演現器，其用於回應於該影像表示及該場景座標系統與該觀看者座標系統之該對準而演現用於不同觀看者姿勢的視圖影像；該設備進一步包含：一偏移處理器，其經配置以回應於係用於執行對準之一觀看者姿勢的一第一觀看者姿勢而判定該觀看者參考位置，該觀看者參考位置取決於該第一觀看者姿勢之一定向且具有相對於該第一觀看者姿勢之一觀看者眼睛位置的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；其中該接收器經配置以接收一影像資料信號，該影像資料信號包含該影像表示且進一步包含一偏移指示；且其中該偏移處理器經配置以回應於該偏移指示來判定該偏移。

在許多實施例中，本發明可提供經改善操作及/或效能。本發明具體而言可提供觀看者姿勢範圍之經改善影像品質。

在許多實施例中，該方法可提供經改善使用者體驗，例如在許多情景中，可允許靈活、有效率、及/或高效能虛擬實境(VR)應用。在許多實施例中，可允許或實現VR應用對於不同觀看者姿勢的影像品質之間的實質上經改善權衡。

該方法可特別適合例如在接收端處廣播支援對移動及頭部旋轉之適應的視訊服務。

該影像表示可包含該場景之一或多個影像。一影像表示之各影像可與該場景之一觀看或攝取姿勢相關聯且連結。可參考該場景座標系統來提供該觀看或攝取姿勢。該場景參考位置可係該場景座標系統中之任何位置。該場景參考位置與該觀看者姿勢無關。該場景參考位置可係一預定及/或固定位置。該場景參考位置可在至少一些連續對準之間不變。

該等視圖影像之演現可接在對準之後。該偏移分量藉由與該對準觀看者姿勢之一觀看方向相反而可在與該觀看者眼睛位置之一觀看方向相反的一方向。

該第一觀看者姿勢亦可稱為對準觀看者姿勢（其係執行對準的觀看者姿勢）。

該對準/第一觀看者姿勢可指示/表示/描述該觀看者眼睛位置及該觀看者眼睛位置之該觀看方向。該對準/第一觀看者姿勢包含允許判定該觀看者眼睛位置及該觀看者眼睛位置之該觀看方向的資料。

該偏移指示可指示當對準該場景座標系統與該觀看者座標系統時應用在該場景參考位置與一觀看者眼睛位置之間的一目標偏移。該目標偏移可包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量。

根據本發明之一可選特徵，該偏移分量不小於2 cm。

在許多實施例中，此可提供特別有利的操作。在許多情景中，可允許達成許多觀看者姿勢的足夠高品質改善。

在一些實施例中，該偏移分量不小於1 cm、4 cm、5 cm、或甚至7 cm。已發現較大的偏移改善針對對應於頭部旋轉的觀看姿勢所產生的影像之品質，同時潛在地劣化用於向前視圖的影像品質，雖然一般至很低的程度。

根據本發明之一可選特徵，該偏移分量不大於12 cm。

在許多實施例中，此可提供特別有利的操作。在許多情景中，可提供針對不同觀看者姿勢所產生之影像的經改善影像品質權衡。

在一些實施例中，該偏移分量不大於8 cm或10 cm。

根據本發明之一可選特徵，該接收器(301)經配置以接收一影像資料信號，該影像資料信號包含該影像表示且進一步包含一偏移指示；且其中該偏移處理器經配置以回應於該偏移指示來判定該偏移。

在許多系統及情景中，此可提供有利的操作，諸如尤其對於廣播情景。可允許針對複數個不同演現裝置同時執行偏移最佳化。

根據本發明之一可選特徵，該偏移處理器經配置以回應於至少一個觀看者姿勢的一誤差度量而判定該偏移，該誤差度量取決於該偏移的候選值。

在許多實施例中，此可提供經改善操作及/或效能。在許多實施例中，可特別允許對於不同觀看者姿勢之品質的經改善權衡，且在許多實施例中，可允許動態最佳化。在許多實施例中，可進一步允許低複雜度及/或有效率/低資源操作。

在許多實施例中，該偏移可經判定為針對一或多個觀看者姿勢導致一（經組合）最小誤差度量的一偏移。

在一些實施例中，該誤差度量可表示一連續候選值範圍的一誤差測量或值。例如，該誤差度量可表示為候選偏移的一函數，且該偏移可經判定為此函數經最小化的候選偏移。

在一些實施例中，僅考慮離散數目個候選偏移值，且該偏移處理器可判定這些候選值之各者的一誤差度量/測量/值。然後，可判定該偏移為經發現其最低誤差度量的候選偏移（例如在組合複數個觀看者姿勢的誤差度量之後）。

根據本發明之一可選特徵，該偏移處理器經配置以回應於複數個觀看者姿勢的誤差度量之一組合來判定一候選值的誤差度量。

在許多實施例中，此可提供經改善操作及/或效能。

在一些實施例中，該偏移處理器經配置以回應於針對注視方向之一範圍的一誤差度量而判定觀看者姿勢之該範圍的一個觀看者姿勢之誤差度量。

根據本發明之一可選特徵，對於一觀看者姿勢及該偏移之一候選值的該誤差度量包含一影像品質度量，該影像品質度量用於從該影像表示之至少一個影像所合成的該觀看者姿勢之一視圖影像，取決於該候選值，該至少一個影像具有相對於該觀看者姿勢的一位置。

在許多實施例中，此可提供經改善操作及/或效能。

根據本發明之一可選特徵，對於一觀看者姿勢及該偏移之一候選值的該誤差度量包含一影像品質度量，該影像品質度量用於從該影像表示之至少兩個影像所合成的該觀看者姿勢之一視圖影像，取決於該候選值，該至少兩個影像具有相對於該觀看者姿勢的參考位置。

在許多實施例中，此可提供經改善操作及/或效能。

根據本發明之一可選特徵，該影像表示包括一全向影像表示。

具體而言，本發明可對於基於全向影像（諸如具體而言全向立體(Omni-Directions Stereo, ODS)影像）的影像表示提供經改善效能。

根據本發明之一可選特徵，該偏移包含在垂直於該觀看者眼睛位置之一觀看方向的一方向之一偏移分量。

在許多實施例中，此可提供經改善操作及/或效能。

垂直於該觀看者眼睛位置之一觀看方向的該方向可係一水平方向。具體而言，可係對應於從該觀看者姿勢之一個眼睛至另一眼睛之一方向的一方向。該垂直分量可在對應於該場景座標系統中之一水平方向的一方向。

根據本發明之一可選特徵，該偏移包含一垂直分量。

在許多實施例中，此可提供經改善操作及/或效能。該垂直分量可在垂直於由該觀看者眼睛位置之該觀看方向與該觀看者姿勢的該等眼睛之間的一方向所形成之一平面的一方向。該垂直分量可在對應於該場景座標系統中之一垂直方向的一方向。

根據本發明的一態樣，提供一種用於產生一影像信號的設備，該設備包含：一接收器，其用於接收從一或多個姿勢表示一場景的數個影像；一表示處理器，其用於產生提供該場景之一影像表示的影像資料，該影像資料包含該數個影像，且該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一場景參考位置；一偏移產生器，其用於產生一偏移指示，該偏移指示指示當對準該場景座標系統與一觀看者座標系統時應用在該場景參考位置與一觀看者眼睛位置之間的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；一輸出處理器，其用於產生該影像信號以包含該影像資料及該偏移指示。

根據本發明之一態樣，提供一種演現影像之方法，該方法包含：接收一場景之一影像表示，該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一參考位置；判定一觀看者的觀看者姿勢，該等觀看者姿勢係相對於一觀看者座標系統而提供；藉由對準該場景參考位置與在該觀看者座標系統中之一觀看者參考位置來對準該場景座標系統與該觀看者座標系統；回應於該影像表示及該場景座標系統與該觀看者座標系統之該對準而演現用於不同觀看者姿勢的視圖影像；該方法進一步包含：回應於一第一觀看者姿勢而判定該觀看者參考位置，該觀看者參考位置取決於該第一觀看者姿勢之一定向且具有相對於該第一觀看者姿勢之一觀看者眼睛位置的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；其中接收該場景之該影像表示包含：接收一影像資料信號，該影像資料信號包含該影像表示且進一步包含一偏移指示；且進一步包含回應於該偏移指示來判定該偏移。

根據本發明的一態樣，提供一種用於產生一影像信號的方法，該方法包含：接收從一或多個姿勢表示一場景的數個影像；產生提供該場景之一影像表示的影像資料，該影像資料包含該數個影像，且該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一場景參考位置；產生一偏移指示，該偏移指示指示當對準該場景座標系統與一觀看者座標系統時應用在該場景參考位置與一觀看者眼睛位置之間的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；產生該影像信號以包含該影像資料及該偏移指示。

本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。

允許使用者在一虛擬世界中四處移動的虛擬體驗已變得越來越流行，且正在開發服務以滿足此需求。然而，提供有效率的虛擬實境服務非常具挑戰性，尤其若體驗係基於攝取真實世界環境，而非基於完全虛擬地產生的人工世界。

在許多虛擬實境應用中，反映場景中之虛擬觀看者的姿勢而判定觀看者姿勢輸入。然後，虛擬實境設備/系統/應用針對對應於該觀看者姿勢的觀看者，產生對應於場景之視圖及視埠的一或多個影像。

一般而言，虛擬實境應用產生呈用於左眼及右眼的分開視圖影像形式的三維輸出。然後，這些視圖影像可藉由合適手段（諸如一般而言，VR頭戴裝置之個別左眼顯示器及右眼顯示器）來呈現給使用者。在其他實施例中，影像可例如呈現在一裸視立體(autostereoscopic)顯示器上（在此情況中，可針對觀看者姿勢產生較大數目個視圖影像），或實際上在一些實施例中，可產生僅單一二維影像（例如使用習知二維顯示器）。

在不同應用中，可以不同方式判定觀看者姿勢輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之移動的（例如視覺）識別符。

在一些系統中，可藉由手動方段來提供觀看者姿勢，例如，由使用者手動控制操縱桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一類比操縱桿而使虛擬觀看者在場景內四處移動，且以另一手來手動移動第二類比操縱桿而手動控制虛擬觀看者的觀看方向。

在一些應用中，可使用手動及自動化方法之組合來產生輸入觀看者姿勢。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。

影像之產生係基於虛擬世界/環境/場景的合適表示。在一些應用中，可提供場景的完整三維模型，且可藉由評估此模型來判定來自特定觀看者姿勢之場景的視圖。

在許多實際系統中，該場景可由包含影像資料的影像表示來表示。影像資料一般可包含與一或多個攝取或錨定姿勢相關聯之影像，且具體而言，可包括用於一或多個視埠的影像，其中各視埠對應於一特定姿勢。可使用包含一或多個影像的一影像表示，其中各影像表示一給定觀看姿勢的給定視埠之視圖。此類提供影像資料之觀看姿勢或位置經常稱為錨定姿勢或位置或攝取姿勢或位置（因為影像資料可一般對應於由或將由經定位在場景中之攝影機攝取的影像，其中位置及定向相對應於攝取姿勢）。

許多典型的VR應用可以此類影像表示為基礎而繼續進行提供對應於目前觀看者姿勢的場景之視埠的視圖影像，其中影像經動態更新以反映觀看者姿勢之變化，且其中基於表示（可行的）虛擬場景/環境/世界的影像資料而產生影像。該應用可藉由執行視圖合成及視圖移位演算法來進行此，如將由所屬技術領域中具有通常知識者所知。

在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、攝影機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別性質。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。

許多VR應用係基於具有最大自由度（即，位置及定向之各者的三個自由度導致總共六個自由度）的姿勢。因此姿勢可藉由代表六個自由度的一組六個值或六個值的向量表示，且因此姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。

姿勢可係定向及位置之至少一者。姿勢值可指示定向值及位置值之至少一者。

基於提供最大自由度給觀看者之系統或實體一般稱為具有6個自由度(6DoF)。許多系統及實體僅提供定向或位置，且這些系統及實體一般已知為具有3個自由度(3DoF)。

在一些系統中，可藉由例如獨立裝置（其不使用任何遠端VR資料或處理，或甚至具有對任何遠端VR資料或處理的任何存取）來本端提供VR應用給觀看者。例如，諸如遊戲主控台之裝置可包含：儲存器，其用於儲存場景資料；輸入，其用於接收/產生觀看者姿勢；及處理器，其用於從場景資料產生對應的影像。

在其他系統中，可在觀看者的遠端處實施及執行VR應用。例如，在使用者本端處的裝置可偵測/接收經傳輸至遠端裝置的移動/姿勢資料，該遠端裝置處理該資料以產生觀看者姿勢。然後，該遠端裝置可基於描述場景資料的場景資料來產生觀看者姿勢的合適視圖影像。然後，該等視圖影像被傳輸至在觀看者本端處的裝置，在該裝置處呈現該等視圖影像。例如，該遠端裝置可直接產生直接由該本端裝置呈現的視訊串流（一般為立體/3D視訊串流）。因此，在此類實例中，該本端裝置可不執行任何VR處理，惟傳輸移動資料及呈現所接收視訊資料除外。

在許多系統中，功能性可跨本端裝置及遠端裝置分佈。例如，本端裝置可處理所接收之輸入及感測器資料，以產生連續地傳輸至遠端VR裝置的觀看者姿勢。然後，該遠端VR裝置可產生對應的視圖影像且傳輸這些影像至本端裝置以供呈現。在其他系統中，該遠端VR裝置可不直接產生視圖影像，但可選擇相關場景資料且傳輸此場景資料至本端裝置，然後，可產生所呈現之視圖影像。例如，遠端VR裝置可識別最接近的攝取點，且提取對應的場景資料（例如，從攝取點提取球面影像及深度資料）且傳輸此場景資料至本端裝置。然後，本端裝置可處理所接收場景資料以產生用於特定目前觀看姿勢的影像。觀看姿勢一般將對應於頭部姿勢，且對觀看姿勢之參考一般可等同地視為對應於對頭部姿勢的參考。

在許多應用中，尤其是對於廣播服務，來源可依獨立於觀看者姿勢的場景之影像（包括視訊）表示的形式來傳輸場景資料。例如，用於單一攝取位置之單一視圖球體的影像表示可傳輸至複數個用戶端。然後，個別用戶端可局部地合成對應於目前觀看者姿勢的視圖影像。

特別吸引關注的應用係其中支援有限量的移動，使得所呈現之視圖經更新以遵循對應於僅作小頭部移動及頭部之旋轉的實質上靜態觀看者之小移動及旋轉。例如，坐下之觀看者可轉動其頭部及稍微移動頭部，其中所呈現之視圖/影像經調適以遵循這些姿勢變化。此種方法可提供高度且身歷其境的例如視訊體驗。例如，觀看體育事件的觀看者可感覺到其身在比賽場中的特定點處。

此類有限的自由度應用具有提供經改善體驗的優點，同時不需要從許多不同位置獲得場景之準確表示，從而實質上減少攝取需求。類似地，可實質上減少需要提供給演現器的資料量。實際上，在許多情景中，僅需要提供單一視點的影像與一般深度資料，其中本端演現器能夠從此產生所欲視圖。

具體而言，該方法可係高度適用於其中資料需要透過頻寬有限的通訊頻道從來源傳達至目的地的應用（例如，諸如用於廣播或用戶端伺服器應用）。

圖1繪示其中遠端VR用戶端裝置101與VR伺服器103例如經由網路105（諸如網際網路）聯絡的VR系統的此一實例。伺服器103可經配置以同時支援潛在大量的用戶端裝置101。

VR伺服器103可例如藉由傳輸用於特定視點的影像資料及深度，然後其中用戶端裝置經配置以處理此資訊以局部合成對應於目前姿勢的視圖影像，來支援廣播體驗。

圖2繪示VR伺服器103之一例示性實施方案之實例元件。

設備包含接收器201，該接收器經配置以接收從一或多個姿勢表示一場景的數個影像。

在實例中，接收器201耦接至提供該數個影像的來源203。具體而言，來源203可係儲存影像的本端記憶體，或其可係例如一合適的攝取單元（諸如一組攝影機）。

接收器201耦接至饋送該數個影像的處理器，稱為表示處理器205。表示處理器205經配置以產生該場景之一影像表示，其中該影像表示包括導出自該數個影像的影像資料。

表示處理器205耦接至輸出處理器207，該輸出處理器產生包含影像表示之影像信號，且因此影像信號具體地包含該數個影像的影像資料。在許多實施例中，輸出處理器207可經配置以編碼該等影像，並將其等包括在一合適的資料串流中，例如諸如根據一合適標準所產生之資料串流。

輸出處理器207可進一步經配置以傳輸或廣播該影像信號至遠端用戶端/裝置，且具體而言，該影像信號可傳達至用戶端裝置101。

圖3繪示根據本發明之一些實施例的用於演現影像之設備的一些元件之實例。將在圖1之系統的內容脈絡中描述該設備，其中該設備具體地係用戶端裝置101。

用戶端裝置101包含資料接收器301，該資料接收器經配置以接收來自伺服器103的影像信號。將理解，可使用任何合適之用於傳達的方法及格式而不減損本發明。

資料接收器301耦接至一演現器303，該演現器經配置以產生針對不同視埠/觀看者姿勢之視圖影像。

用戶端裝置101進一步包含觀看姿勢判定器305，該觀看姿勢判定器經配置以動態地判定目前觀看者姿勢。具體而言，觀看姿勢判定器305可接收來自頭戴裝置之反映頭戴裝置之移動的資料。觀看姿勢判定器305可經配置以基於所接收資料來判定觀看姿勢。在一些實施例中，觀看姿勢判定器305可接收例如感測器資訊（例如加速器、及陀螺儀資料）及從此判定一觀看姿勢。在其他實施例中，頭戴裝置可直接提供觀看姿勢資料。

觀看姿勢被饋送至演現器303，該演現器繼續進行以產生對應於自目前觀看者姿勢處的觀看者之兩眼的場景之視圖的視圖影像。使用任何合適的影像產生及合成演算法而從所接收影像表示來產生視圖影像。具體演算法將取決於具體影像表示及個別實施例的偏好與需求。

作為一實例，影像表示可包含一或多個影像，該一或多個影像之各者對應於從給定視點及給定方向觀看場景。因此，對於數個攝取或錨定姿勢之各者，從該視點且在該方向提供對應於對該場景之一視埠的一影像。在許多實施例中，複數個攝影機可例如定位成一排，並從沿此排之不同位置攝取一場景，且所有攝影機瞄準相同方向，諸如在圖4之實例中。應理解，在其他實施例中，可採用包括更多或更少錨點及/或影像的其他攝取組態。

在許多實施例中，影像表示可係根據已知為全向立體(ODS)的特定現有3D影像格式。對於ODS，產生用於左眼影像及右眼影像的射線，使得這些射線具有在具有一般等於例如約6.3 cm的瞳孔距離之直徑的圓上的彼等原點。對於ODS，窄角影像區段係針對對應於觀看圓之正切的相反方向並以觀看圓周圍的規則角距離攝取（參見圖5）。

因此，對於ODS，產生針對左眼的影像，其中各像素行對應於在單元圓上的一個位置且反映在一方向的射線，該方向在此位置正切於ODS觀看圓。在ODS觀看圓上對於各行的位置不同，且一般而言，在ODS觀看圓上的相對大數目個等距位置經定義為用對應於一個位置的各行覆蓋整個360°視場。因此，一單一ODS影像攝取一全360°視場，其中各行對應於在該ODS觀看圓上之一不同位置且至一不同射線方向。

ODS包括右眼的影像及左眼的影像。如圖6所示，對於這些影像的給定行，左眼影像及右眼影像將反映在ODS觀看圓上之相對位置的射線。因此，該ODS影像格式提供360°視圖以及基於僅兩個影像的立體資訊。

應理解，雖然以下描述考慮提供兩個立體影像（對應於左眼影像及右眼影像）的ODS，然而可使用對應格式，其中提供僅一個影像，即，可使用全向單影像格式。此影像仍可相對於一觀看圓提供，從而隨著此例如圍繞眼睛之中心點旋轉而提供自一隻眼睛的視圖。

替代地，藉由讓觀看圓的半徑趨近零，達成單視格式。在該情況中，左視圖與右視圖相同，因此需要僅一個影像來表示兩者。

一般而言，全向視訊/影像可經提供例如作為全向立體視訊/影像，或作為全向單視訊/影像。

對於給定定向（視角），影像可藉由組合針對與給定定向之視埠內的觀看方向匹配之方向的窄角影像區段而產生。因此，給定視圖影像係藉由組合對應於不同方向之攝取的窄角影像區段、但以自該圓上的不同位置的不同窄角影像區段而形成。因此，視圖影像包含自觀看圓上的不同位置而非僅自單一視點的攝取。然而，若ODS表示的觀看圓足夠小（相對於場景的內容），則可將此影響減少至可接受的程度。此外，由於可針對數個不同觀看定向重複使用沿著給定方向的攝取，所以達成所需影像資料量實質減少。用於觀看者雙眼的視圖影像一般將藉由針對適當正切的相反方向的攝取而產生。

圖6中繪示可由ODS支援之理想頭部旋轉的實例。在該實例中，頭部旋轉使得雙眼沿著具有等於瞳孔距離之直徑的圓移動。假設此對應於ODS觀看圓的寬度，不同定向的視圖影像可簡單地藉由選擇對應於不同視圖定向的合適窄角影像區段而判定。

然而，對於標準ODS，觀察者將感知立體視覺但非運動視差。即使係較小的觀察者運動（約數公分），缺少運動視差傾向提供令人不悅的體驗。例如，若觀看者移動使得眼睛不再確切落在ODS觀看圓上，基於簡單地選擇及組合合適的窄角影像區段以產生視圖影像將導致所產生之視圖影像如同使用者眼睛停留在觀看圓上，且據此應得自於使用者移動其頭部的視差將不被表示，且此將導致感知無法相對於真實世界移動。

為解決此問題，並允許基於ODS資料產生運動視差，可將ODS格式擴展以包括深度資訊。可針對各窄角影像區段添加一窄角深度圖區段。圖7中繪示具有相關聯深度圖的ODS影像之實例。此深度資訊可用以實施視點移位，使得所產生的影像對應於觀看圓外側（或內側）的新位置（例如，各視圖影像或窄角影像區段可使用已知的基於影像及深度的視點移位演算法處理）。例如，3D網目可對各眼睛產生，且基於用於左眼及右眼之網目及紋理的ODS資料的演現可用以引入運動視差。

然而，無論影像表示是否係基於例如針對不同攝取姿勢的數個影像或基於ODS資料，針對不同於錨定姿勢（影像資料係針對錨定姿勢而提供）的姿勢產生視圖影像往往引入假影及導致潛在影像劣化的誤差。

演現器303經配置以基於所接收影像表示而產生用於目前觀看姿勢的視圖影像。具體而言，可產生用於立體顯示器（諸如頭戴裝置）的右眼影像及左眼影像，或可產生用於裸視立體顯示器之視圖的複數個視圖影像。應理解，已知用於從場景之所提供影像來產生視圖影像的許多不同演算法及技術，且取決於具體實施例，可使用任何合適的演算法。

然而，對於演現至關重要的操作係判定觀看者姿勢及影像表示必須彼此對準。

參考用於該場景之一給定座標系統來提供影像表示。影像表示包括與特定錨定姿勢相關聯的影像資料，且這些錨定姿勢相對於一場景座標系統而提供。

同樣地，觀看者姿勢參考觀看者座標系統而提供。例如，由觀看姿勢判定器305提供之觀看者姿勢資料可指示觀看者之頭部位置及旋轉的變化，且此資料相對於一座標系統而提供。

因此，固有地，當影像表示及觀看者姿勢經獨立地提供且分開地產生時，影像表示及觀看者姿勢將相對於兩個不同座標系統而提供。為了基於影像表示而演現針對觀看者姿勢的影像，據此必須使這些座標系統彼此連結/對準。在許多情形中，所使用的座標可具有相同標度，且具體而言，可相對於具有匹配真實世界標度的標度之座標系統來提供。例如，兩個錨定位置可經定義或描述為相隔開1公尺，反映藉由在真實世界中相隔開一公尺的攝影機攝取該兩個錨定位置，或該兩個錨定位置提供應解譯為相隔開一公尺的視圖。類似地，觀看者姿勢資料可指示使用者如何在真實世界中移動其頭部，例如，諸如使用者已移動其頭部幾公分。

然而，即使在已知（或假設）該等座標系統的標度相同的情形中，仍必須使該等座標系統之相對位置彼此對準。習知地，此一般係在啟動應用程式時藉由對準場景座標系統中的參考姿勢（且具體而言，位置）與目前觀看者姿勢來完成。因此，當啟動應用程式時，觀看者有效地定位在場景中的標稱或預設起始位置處。隨後使用此對準使得藉由追蹤在場景座標系統中由觀看者姿勢所指示之相對變化來判定場景座標系統中之觀看者位置（當演現視圖時，其可由演現器使用）。因此，觀看者姿勢在觀看者座標系統中已向左變更兩公分的指示將對應於場景座標系統中向左移位兩公分。

因此，該兩個座標系統之開始對準習知地固定且獨立於實際觀看者姿勢。一般而言，對準初始化觀看者在對應於最大品質的場景座標系統中之位置處，諸如在包含影像資料之影像表示的預設位置處。使用者開始在場景中預定起始位置的體驗，且然後追蹤觀看者姿勢的任何變化。

然而，發明人已認識到，雖然此種方法可適用於許多應用，但對於所有應用而言，不理想。已另外認識到，在許多實施例中，其中對準取決於觀看者姿勢（且具體而言，取決於觀看者定向）的更適應性方法可提供經改善操作。這特別有利於其中使用者被限制於例如小頭部移動及頭部旋轉的許多受限制移動服務。在此類服務中，特別有吸引力的是在某些時間執行重新對準（例如，當觀看者姿勢由於上次對準符合一準則而指示一移動時），且在此類情景中，下文所描述之適應性方法可係特別有利。

據此，圖3之設備包含經配置以將場景座標系統與觀看者座標系統對準的一對準器307。具體而言，可藉由對準/連結在場景座標系統中之場景參考位置與在觀看者座標系統中之觀看者參考位置來對準該等座標系統。因此，對準可使得在場景座標系統中之場景參考位置與在觀看者座標系統中之觀看者參考位置重合，即場景參考位置及觀看者參考位置係相同位置。

在場景座標系統中之參考位置可係任何合適的位置，且具體而言係一固定的恆定場景參考位置。具體而言，場景參考位置可係獨立於觀看者姿勢的位置，且通常可係一預定參考位置。在其中重複執行對準的實施例中，場景參考位置可在（至少兩個）連續對準操作之間恆定。

在許多實施例中，場景參考位置可相對於錨定位置而定義。例如，參考位置可係錨定位置或例如針對錨定位置的平均位置(mean position)。在一些實施例中，場景參考位置可對應於其中影像表示包含影像資料的位置及/或對應於可達成最佳影像品質的位置。

與獨立於觀看者姿勢的場景參考位置相對比，觀看者參考位置取決於第一觀看者姿勢（其係用於執行對準的觀看者姿勢）。在下文中，此第一觀看者姿勢將稱為對準觀看者姿勢。該對準觀看者姿勢可係希望執行對準的任何觀看者姿勢。在許多情況中，當執行對準時，該對準觀看者姿勢可係目前觀看者姿勢。該對準觀看者姿勢一般可係目前觀看者姿勢，且具體而言，可係在初始化（重新）對準的時候由觀看者姿勢資料所指示的姿勢。因此，當對準發生時動態地判定該觀看者參考位置，且觀看者參考位置取決於觀看者姿勢，且具體而言，其取決於觀看者姿勢之定向。

因此，圖3之設備包含一偏移處理器309，該偏移處理器耦接至對準器307及觀看姿勢判定器305。偏移處理器309經配置以基於對準觀看者姿勢（且具體而言，基於執行對準時的目前觀看者姿勢）來判定觀看者參考位置。對準觀看者姿勢係執行該兩個座標系統之間的對準的觀看者姿勢，且將在下列描述中將被視為（當執行對準時的）目前觀看者姿勢。

偏移處理器309具體地經配置以判定觀看者參考位置，使得其取決於對準/目前觀看者姿勢的定向。偏移處理器309經配置以產生觀看者參考位置，使得該觀看者參考位置相對於目前觀看者姿勢的觀看者眼睛位置偏移。此外，偏移具有在與該觀看者眼睛位置之一觀看方向相反的方向之分量。

因此，對於給定觀看者姿勢，判定觀看者參考位置，使得觀看者參考位置與該觀看者姿勢的眼睛位置之任何者不重合，且亦未經定位在眼睛位置之側向（或在兩眼之間的線上）。而是，該觀看者參考位置坐落於目前觀看者姿勢之眼睛位置的「後面」。因此，與其中該兩個座標系統經對準使得例如觀看者姿勢位置與參考位置總是對準的習知系統相對比，圖3之設備判定相對於觀看者姿勢（及其眼睛位置）的一偏移觀看者參考位置。偏移係在針對導致該兩個座標系統之間的一偏移的目前觀看者位置之觀看方向向後的方向。此外，由於該偏移具有一向後分量，所以該偏移取決於觀看者姿勢的定向，且不同觀看者姿勢將導致不同的觀看者參考位置，且因此導致不同對準偏移。

具體而言，對於表示相同觀看者位置但不同觀看者定向的兩個觀看者姿勢，所判定的觀看者參考位置將不同。等效地，對於表示不同定向的兩個觀看者姿勢，若該兩個觀看者姿勢表示不同位置，則僅可獲得相同觀看者參考位置。

作為一實例，圖8繪示其中目前觀看者姿勢指示眼睛位置801連同在給定方向805之視圖/視埠803的簡單實例。在此情況中，經判定觀看者參考位置807具有對眼睛位置801的向後偏移809。圖8繪示具有不同定向的兩個實例。如可清楚看見，觀看者參考位置取決於旋轉（若該兩個實例中之眼睛位置801被視為在相同位置，經判定為觀看者參考位置807的位置將明顯不同）。

圖9繪示其中觀看者姿勢901指示使用者眼睛之間的一中點的一對應實例。在向後方向的偏移903提供觀看者參考位置905。圖10展示其中觀看者姿勢表示相同位置但不同定向的兩個重疊實例。如清楚可見地，對應的觀看者參考位置不同。

因此，當觀看者參考位置與場景參考位置對準時，不同定向將導致介於具體地錨定姿勢與觀看者姿勢之間的不同對準。圖11繪示ODS圓影像表示，且圖12繪示三個攝取姿勢之影像的影像表示之實例。在後者實例中，攝取組態之定向不變，但是應理解，在一些實施例中，此可例如被旋轉以對應於觀看者姿勢之間的定向差異。

發明人已認識到，在許多實際應用中，具有定向相依偏移的此類對準可提供實質上經改善品質。具體而言，已發現在其中觀看者受限制於相對小頭部移動及旋轉的應用中提供實質上經改善品質。在此情況中，偏移的適應性變化可有效地將影像資料移動遠離習知使用的標稱位置及預設位置。此會需要執行一些額外視圖移位，其可減少此特定觀看姿勢的影像品質。然而，發明人已認識到，一般可改善其他近端姿勢（且具體而言，旋轉移動）的影像品質。實際上，藉由應用合適的偏移，可減少一些其他姿勢所需的視圖移位，從而允許這些姿勢的經改善品質。發明人已進一步認識到，適應性向後偏移一般可提供非對準觀看者姿勢（即，對於不對應於標稱預設姿勢的姿勢）的品質改善，其實質上超過對準觀看者姿勢的任何品質劣化。本發明人已具體認識到，適應性向後偏移可利用對向前（及向後）方向移位的視點之品質的影響實質上低於側向視點移位（例如，由於解除遮擋效應）之品質的影響。

因此，該方法可藉由犧牲標稱觀看者姿勢的一些品質劣化，以換取其他觀看者姿勢之一範圍內的顯著經改善品質，而提供經改善權衡。具體而言，對於具有限制頭部移動的應用，此經常可提供顯著經改善使用者體驗，且亦可減少重新對準需求，此係因為可支援在較大姿勢範圍內的給定所需影像品質。

在不同實施例中，偏移的確切大小可不同，且在許多實施例中，可動態地判定。然而，在許多實施例中，在觀看者座標系統中，向後偏移分量（且因此在觀看者方向之相反方向的偏移）不小於1 cm、2 cm、或4 cm。觀看者座標系統一般係反映觀看者姿勢之實際變化（且具體而言，在真實世界中之位置）的真實世界標度座標系統。因此，該向後偏移分量可對應於觀看者姿勢的真實世界標度中之至少1 cm、2 cm、或4 cm。

對於許多實際觀看者姿勢及姿勢變化，此類最小偏移值一般可確保該偏移具有顯著的影響，且確保可達成實質的品質改善。

在許多實施例中，在觀看者座標系統中，向後偏移分量（且因此在觀看方向之相反方向的偏移）不大於8 cm、10 cm、或12 cm。該向後偏移分量可對應於在觀看者姿勢的真實世界標度中不大於8 cm、10 cm、或12 cm。

此類最小偏移值一般可確保偏移足夠低，以確保偏移不會不合理地影響對於對準觀看者姿勢所產生的影像之品質。

具體而言，選擇具有此類參數的偏移可導致觀看者參考位置一般定位在觀看者的頭部內。

偏移值可視為在向前觀看品質與側向觀看品質之間的平衡。愈小的偏移值導致對於向前觀看的愈低誤差，此係因為愈小的視點移位。然而，頭部旋轉將由於解除遮擋而導致品質快速劣化。劣化及實際上側向觀看偏移的效應一般往往遠大於對向前觀看的效應，且因此使用偏移的益處往往提供對於頭部旋轉的實質上經改善益處，同時僅導致較小的向前觀看劣化。

因此，當預期觀看者將主要向前看時，較小的偏移值（1至4 cm）係實用的。至多達對應於頭部之旋轉軸（從頸部向上突出）的偏移值的較大偏移值（8至12 cm）導致不取決於頭部旋轉那麼多的品質。因此，當預期觀看者將大幅環視時，大偏移值係合適的。中間偏移值對應於期望對一般觀看者行為而言係最佳的，其中對於向前看而言有偏差，且因此對於向前觀看具有更多品質係有利的，且該方法經應用以減少側向觀看的劣化。

在許多實施例中，向後偏移分量（且因此在觀看者方向之相反方向的偏移）不小於（標稱/預設/假設）眼睛間距離的1/10、1/5、1/3、或1/2。在許多實施例中，向後偏移分量（且因此在觀看方向之相反方向的偏移）不大於（標稱/預設/假設）眼睛間距離的1、1.5、或2倍。

在一些實施例中，用於偏移的正規化標度可視為在[0, 1]的範圍內，其中0在攝影機處（例如無起因於旋轉的位置變化）且1在頸部/頭部旋轉位置處。1之正規化距離經常可視為對應於例如8、10、或12 cm。

在不同實施例中可使用用於判定偏移的不同方法。例如，在一些實施例中，在所有情形中，可簡單地應用預定及固定偏移。因此，偏移可係對準程序的固有部分，且可硬編碼至演算法中。然而，在許多實施例中，在操作期間可動態判定偏移。

在一些實施例中，偏移可在伺服器側處產生，且可連同影像表示一起提供至演現裝置，且具體而言，作為影像信號之部分。

具體而言，圖2的VR伺服器103可包含一偏移產生器209，該偏移產生器經配置以判定介於觀看者參考位置與待執行對準的觀看者姿勢之觀看者眼睛位置之間的偏移。因此，當對準場景座標系統與觀看者座標系統時，偏移產生器209可判定應用在場景參考位置與觀看者眼睛位置之間的偏移。如先前所述，該偏移包括與該觀看者眼睛位置之一觀看方向相反（即，與對準觀看者姿勢之觀看方向相反）的一方向之一偏移分量。然後，偏移指示可經產生以至少部分地表示該偏移，且可在傳輸至用戶端裝置101的影像信號中包括此偏移指示。然後，用戶端裝置101可繼續進行從偏移指示判定待應用之偏移，且然後，可在對準場景座標系統及觀看者座標系統時使用此偏移，具體而言，可應用該偏移至觀看者眼睛位置以判定觀看者參考位置。在許多實施例中，此類方法可尤其有利，例如，諸如針對廣播應用。具體而言，該方法可允許執行最佳化程序，以根據合適的標準來判定最佳偏移，且然後可將此最佳化偏移傳達至所有用戶端裝置，用戶端裝置可在執行對準時使用此最佳化偏移。

因此，在此類實施例中，用戶端裝置101可接收影像資料信號，該影像資料信號除了影像表示之外，亦包括偏移指示。然後，用戶端裝置101可直接使用此偏移（或例如在修改後）。

據此，該偏移可基於例如最佳化程序來動態判定。此一程序可在來源處執行或可例如藉由演現裝置（即，在先前實例中，藉由用戶端裝置101）來執行。

偏移產生器209可使用用於產生適當偏移的任何合適方法。例如，在一些實施例中，使用者輸入可用以選擇較佳的偏移，例如，藉由讓使用者能夠動態調整偏移，且然後產生用於不同觀看者姿勢的影像。在其他實施例中，自動化程序可用於評估用於偏移的候選值之範圍，且可使用導致在合適的觀看者姿勢範圍內之最高品質的值。

具體而言，伺服器可模擬在演現側處執行的操作，以評估不同偏移的影響。例如，可藉由模擬將由演現器執行的處理、且然後使用合適的品質測量來評估所得品質，來評估不同的候選值。事實上，在判定待影像資料串流中指示的偏移時，關於演現器/接收器/用戶端（且具體而言，關於偏移處理器309）所描述之方法、演算法、及考量亦可藉由偏移產生器209執行。

亦應理解，可使用提供偏移之指示的任何合適方式。在許多實施例中，可例如藉由提供二維或三維向量指示來描述待應用的完全描述之偏移。此一偏移向量可例如指示待應用之偏移的方向及大小。然後，當判定觀看者參考位置時，一演現器可將向量定位在對準眼睛位置處且具有相對於對準觀看者姿勢之眼睛觀看方向所判定的方向。

在一些實施例中，該偏移指示可僅包含該偏移之部分表示。例如，在許多實施例中，該偏移指示可僅包括距離/大小指示及/或方向指示。在此類情況中，該演現器可例如判定這些的合適值。因此，在一些實施例中，偏移的判定可基於在伺服器與用戶端側兩者所作出的決策。例如，方向可藉由偏移指示給定且由伺服器判定，而大小/距離係由演現器判定。在下文中，將描述用於由偏移處理器309來判定偏移的方法。應理解，所描述之原理及方法可同等地藉由偏移產生器209來執行，其中所得偏移被包括在影像資料串流中。因此，在下文中，對偏移處理器309的參考可視為同樣地（加上必要的變更）適用於偏移產生器209。

該方法係基於偏移處理器309針對偏移的不同候選值來判定一或多個觀看者姿勢的誤差度量（值/測量）。然後，可選擇導致最低誤差度量的候選值，並在執行對準時使用用於偏移的此值。

在許多實施例中，可回應於複數個觀看者姿勢（諸如具體地針對觀看者姿勢的範圍）之誤差度量的組合來判定給定候選偏移的誤差度量。例如，針對不同觀看者姿勢，當偏移被設定至候選偏移時當從影像表示產生該觀看姿勢的視圖影像時，可判定指示影像品質劣化之誤差度量。然後，針對不同觀看者姿勢的所得誤差度量可經平均，以提供該候選值的經組合誤差度量。然後，可比較不同候選值的經組合誤差度量。

在許多實施例中，可藉由組合自複數個不同位置及/或針對複數個不同姿勢的誤差度量來產生候選值的誤差度量。

在一些實施例中，對於一個候選值的一個觀看者姿勢的誤差度量可回應於複數個注視方向（且一般係注視方向之範圍）的誤差度量。因此，不僅可考慮不同位置及/或定向，而且針對給定姿勢，亦可考慮不同注視方向（即，對於給定觀看姿勢的視埠之不同方向）的品質。

作為一實例，偏移處理器309可判定2 cm、4 cm、6 cm、8 cm、10 cm、及12 cm之向後偏移的誤差度量。可例如針對對應的候選偏移之各者判定誤差度量作為一組觀看者姿勢（例如，諸如對應於目前使用者將其頭部向左或右轉比如說15°、30°、及45°之量的觀看者姿勢）的所演現影像之一影像品質的一指示。然後，可選擇導致最低誤差度量的候選偏移。

在不同實施例中，所考量之精確誤差度量可不同。一般而言，合適的誤差度量指示自該姿勢及候選偏移之影像表示的視圖合成之品質劣化。因此，對於觀看者姿勢及候選值的誤差度量包含從影像表示（之至少一個影像）所合成的觀看者姿勢之一視圖影像的影像品質度量。

在其中在伺服器側基於從場景之一模型的影像產生來判定偏移之實施例中，一給定候選偏移及觀看者姿勢的影像可經產生且與直接從該模型所產生之對應影像相比較。

在其他實施例中，可使用更多間接測量。例如，可判定從觀看者姿勢（其影像資料經合成）至攝取姿勢（提供其影像資料）（連同給定的候選偏移）的距離。距離愈大，誤差度量可視為愈大。

在一些實施例中，判定誤差度量可包括考量多於一個攝取姿勢。因此，具體而言，在影像表示包括多於一個錨定姿勢影像的情況中，可考慮基於不同錨定姿勢影像而產生用於給定觀看者姿勢的經合成影像。例如，對於影像表示（諸如圖12之影像表示），合成可基於錨定影像之任一者，且實際上，可藉由考慮該等錨定影像之二或更多者來產生經合成影像的給定像素。例如，可使用內插。

因此，在一些實施例中，一觀看者姿勢及候選值的誤差度量包含一影像品質度量，該影像品質度量用於從該影像表示之至少兩個影像所合成的該觀看者姿勢之一視圖影像，其中取決於候選偏移值，該至少兩個影像具有相對於該觀看者姿勢的參考位置。

將參考圖13至圖15描述用於選擇偏移之方法的具體實例。在該實例中，影像表示係單一ODS立體影像。

圖13將觀看者頭部繪示為橢圓，其中兩個眼睛位置/視點朝向前面。對應於目前/對準觀看者姿勢的標稱頭部姿勢繪示為與y軸重合。圖式進一步展示分別地向左45°及90°的一些潛在頭部旋轉（僅藉由眼睛位置來繪示向右的對應旋轉）。

圖13進一步繪示習知地對準將如何使得ODS觀看圓經定位以與觀看者之眼睛重合。

圖14繪示如何可針對對應於頭部旋轉α的觀看姿勢來產生誤差度量的實例。在該實例中，可判定左眼的所得位置xl, yl，且判定此位置的注視方向β。判定從眼睛位置xj, xy至在位置xl’,yl’處的ODS觀看圓之切線的距離D，其包含注視方向之射線的影像資料。此距離D指示當該ODS觀看圓如圖所示定位時，當從ODS視圖影像產生針對頭部旋轉α的注視方向β中之像素所發生的影像劣化。因此，可藉由對注視方向之範圍（例如-45°＜ β＜+45°）內及頭部旋轉角度之範圍（例如-90°＜ β＜+90°）內的對應誤差度量求平均，來產生經組合誤差度量（在一些實施例中，亦可考慮頭部的不同位置）。因此，所得的經組合誤差度量可指示當從如所示定位之ODS立體影像來產生頭部旋轉的視圖影像時所需的「視點移位距離」的平均量值。

在許多實施例中，該方法可針對左眼及右眼兩者執行，且可組合這些的度量。

如由圖15所指示，此可針對ODS觀看圓之不同位置進行，且具體而言，針對y方向的不同偏移，且經發現其最低誤差度量的偏移/位置可經選擇作為用於對準的偏移。

在一些實施例中，偏移直接在向後方向，且因此直接在目前/對準觀看者姿勢之觀看方向的相反方向。相對於觀看者座標系統（且因此觀看者），向後方向係（或平行於）觀看者的矢狀或正中切面與橫向或軸向平面之交叉的方向（參見例如https://en.wikipedia.org/wiki/Anatomical_plane）。該方向亦（例如在超音波中）名為軸向（向前、至身體中）方向。

然而，在一些實施例及情景中，偏移亦可包括側向分量，即偏移可包含在垂直於對準觀看者姿勢的觀看方向的方向之偏移分量。此側向分量仍可在水平方向，且具體而言，可在對應於觀看者之兩個眼睛之間之方向的方向。

側向分量可相對於觀看者座標系統（且因此觀看者）、係在觀看者的冠狀面或額平面與橫向或軸向平面之交叉的方向。該方向亦（例如在超音波中）名為側向方向。

側向偏移分量可提供更靈活的方法，在許多實施例中，其可提供在觀看者姿勢之範圍內的經改善品質。例如，若已知或假設執行對準的目前觀看者姿勢相對於預期或假設觀看者之進一步移動不對稱，可藉由使觀看者參考位置側向偏移朝向最有可能是觀看者未來位置的位置，而達成未來觀看者姿勢的經改善平均品質。

在一些實施例中，偏移可包含垂直分量。

該垂直分量可相對於觀看者座標系統（且因此觀看者）、係在（或平行於）觀看者的冠狀面或額平面與矢狀或正中切面之交叉的方向。該方向亦（例如在超音波中）名為橫向方向。

例如，典型的場景具有低於視平線、然後高於視平線的更多情形。當觀看者更可能向下注視、然後向上注視時，則具有小向上偏移以減少當觀看者向下注視時的解除遮擋量係有利的。

作為另一實例，可認為觀看者可藉由上下點頭而移動其頭部。此將引起眼睛位置及定向的移動，且因此將影響視點移位。先前所述的方法可經增強以進一步考慮判定垂直偏移。例如，當判定給定候選偏移值的誤差度量時，此可包括評估對應於不同上下頭部旋轉的觀看者姿勢。類似地，可評估具有垂直分量的候選偏移值。

此種方法可提供使用者移動的經改善靈活性，且可對於增加之移動範圍提供經改善總體品質。

應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。

本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。

雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。

另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。再者，包括在一種類別的請求項中的一特徵並未暗示對於此類別的限制，而是視情況，指示該特徵同樣地適用於其他請求項類別。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。

根據一些實施例，可提供：

一種用於演現影像的設備，該設備包含： 一接收器(301)，其用於接收一場景之一影像表示，該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一參考位置； 一判定器(305)，其用於判定一觀看者的觀看者姿勢，該等觀看者姿勢係相對於一觀看者座標系統而提供； 一對準器(307)，其用於藉由對準該場景參考位置與在該觀看者座標系統中之一觀看者參考位置來對準該場景座標系統與該觀看者座標系統； 一演現器(303)，其用於回應於該影像表示及該場景座標系統與該觀看者座標系統之該對準而演現用於不同觀看者姿勢的視圖影像； 該設備進一步包含 一偏移處理器(309)，其經配置以回應於一對準觀看者姿勢而判定該觀看者參考位置，該觀看者參考位置取決於該對準觀看者姿勢之一定向且具有相對於該對準觀看者姿勢之一觀看者眼睛位置的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量。

一種用於產生一影像信號的設備，該設備包含： 一接收器(201)，其用於接收自一或多個姿勢表示一場景的數個影像； 一表示處理器(205)，其用於產生提供該場景之一影像表示的影像資料，該影像資料包含該數個影像，且該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一場景參考位置； 一偏移產生器(209)，其用於產生一偏移指示，該偏移指示指示介於該場景參考位置與在一觀看者座標系統中之一觀看者參考位置之間的一偏移， 一輸出處理器(207)，其用於產生該影像信號以包含該影像資料及該偏移指示。

一種演現影像之方法，該方法包含： 接收一場景之一影像表示，該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一參考位置； 判定一觀看者的觀看者姿勢，該等觀看者姿勢係相對於一觀看者座標系統而提供； 藉由對準該場景參考位置與在該觀看者座標系統中之一觀看者參考位置來對準該場景座標系統與該觀看者座標系統； 回應於該影像表示及該場景座標系統與該觀看者座標系統之該對準而演現用於不同觀看者姿勢的視圖影像； 該方法進一步包含 回應於一對準觀看者姿勢而判定該觀看者參考位置，該觀看者參考位置取決於該對準觀看者姿勢之一定向且具有相對於該對準觀看者姿勢之一觀看者眼睛位置的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量。

一種用於產生一影像信號的方法，該方法包含： 接收自一或多個姿勢表示一場景的數個影像； 產生提供該場景之一影像表示的影像資料，該影像資料包含該數個影像，且該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一場景參考位置； 產生一偏移指示，該偏移指示指示介於該場景參考位置與在一觀看者座標系統中之一觀看者參考位置之間的一偏移， 產生該影像信號以包含該影像資料及該偏移指示。

上述設備及方法可個別或以任何組合與次請求項之特徵之各者組合。

101:用戶端裝置 103:伺服器 105:網路 201:接收器 203:來源 205:表示處理器 207:輸出處理器 209:偏移產生器 301:接收器 303:演現器 305:判定器 307:對準器 309:偏移處理器 801:眼睛位置 803:視圖/視埠 805:方向 807:觀看者參考位置 809:偏移 901:觀看者姿勢 903:偏移 905:觀看者參考位置 D:距離 y:軸 α:頭部旋轉 β:注視方向

將僅以舉例之方式參考圖式描述本發明的實施例，其中 ［圖1］繪示用於提供一虛擬實境體驗之配置的實例； ［圖2］繪示根據本發明之一些實施例之設備之元件的實例； ［圖3］繪示根據本發明之一些實施例之設備之元件的實例；及 ［圖4］繪示場景的影像表示之組態的實例； ［圖5］繪示場景的全向立體影像表示的實例； ［圖6］繪示場景的全向立體影像表示的實例； ［圖7］繪示具有深度圖之全向立體影像的實例； ［圖8］繪示觀看者參考位置相對於觀看者姿勢之判定的實例； ［圖9］繪示觀看者參考位置相對於觀看者姿勢之判定的實例； ［圖10］繪示觀看者參考位置相對於觀看者姿勢之判定的實例； ［圖11］繪示觀看者參考位置相對於觀看者姿勢之判定的實例； ［圖12］繪示觀看者參考位置相對於觀看者姿勢之偏移之判定的實例； ［圖13］繪示觀看者參考位置相對於觀看者姿勢之偏移之判定的實例； ［圖14］繪示觀看者參考位置相對於觀看者姿勢之偏移之判定的實例；及 ［圖15］繪示觀看者參考位置相對於觀看者姿勢之偏移之判定的實例。

101:用戶端裝置

301:接收器

303:演現器

305:判定器

307:對準器

309:偏移處理器

Claims (14)

1. 一種用於演現影像的設備，該設備包含：一接收器(301)，其用於接收一場景之一影像表示，該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一參考位置；一判定器(305)，其用於判定一觀看者的觀看者姿勢，該等觀看者姿勢係相對於一觀看者座標系統而提供；一對準器(307)，其用於藉由對準該場景參考位置與在該觀看者座標系統中之一觀看者參考位置來對準該場景座標系統與該觀看者座標系統；一演現器(303)，其用於回應於該影像表示及該場景座標系統與該觀看者座標系統之該對準而演現用於不同觀看者姿勢的視圖影像；該設備進一步包含一偏移處理器(309)，其經配置以回應於係用於執行對準之一觀看者姿勢的一第一觀看者姿勢而判定該觀看者參考位置，該觀看者參考位置取決於該第一觀看者姿勢之一定向且具有相對於該第一觀看者姿勢之一觀看者眼睛位置的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；其中該接收器(301)經配置以接收一影像資料信號，該影像資料信號包含該影像表示且進一步包含一偏移指示；且其中該偏移處理器(309)經配置以回應於該偏移指示來判定該偏移，其中該偏移處理器(309)經配置以回應於至少一個觀看者姿勢的一誤差度量而判定該偏移，該誤差度量取決於該偏移的候選值。
2. 如請求項1之設備，其中該偏移分量不小於2cm。
3. 如請求項1及2中任一項之設備，其中該偏移分量不大於12cm。
4. 如請求項1之設備，其中該偏移處理器(309)經配置以回應於複數個觀看者姿勢的誤差度量之一組合來判定一候選值的誤差度量。
5. 如請求項1之設備，其中對於一觀看者姿勢及該偏移之一候選值的該誤差度量包含一影像品質度量，該影像品質度量用於從該影像表示之至少一個影像所合成的該觀看者姿勢之一視圖影像，取決於該候選值，該至少一個影像具有相對於該觀看者姿勢的一位置。
6. 如請求項1之設備，其中對於一觀看者姿勢及該偏移之一候選值的該誤差度量包含一影像品質度量，該影像品質度量用於從該影像表示之至少兩個影像所合成的該觀看者姿勢之一視圖影像，取決於該候選值，該至少兩個影像具有相對於該觀看者姿勢的參考位置。
7. 如請求項1及2之設備，其中該影像表示包括一全向影像表示。
8. 如請求項1及2之設備，其中該偏移包含在垂直於該觀看者眼睛位置之一觀看方向的一方向之一偏移分量。
9. 如請求項1及2之設備，其中該偏移包含一垂直分量。
10. 一種用於產生一影像信號的設備，該設備包含：一接收器(201)，其用於接收自一或多個姿勢表示一場景的數個影像；一表示處理器(205)，其用於產生提供該場景之一影像表示的影像資料，該影像資料包含該數個影像，且該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一場景參考位置；一偏移產生器(209)，其用於產生一偏移指示，該偏移指示指示當對準該場景座標系統與一觀看者座標系統時應用在該場景參考位置與一觀看者眼睛位置之間的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；一輸出處理器(207)，其用於產生該影像信號以包含該影像資料及該偏移指示，其中該偏移產生器(209)經配置以回應於至少一個觀看者姿勢的一誤差度量而判定該偏移，該誤差度量取決於該偏移的候選值。
11. 如請求項10之設備，其中該偏移產生器(209)經配置以回應於複數個觀看者姿勢的誤差度量之一組合來判定一候選值的誤差度量。
12. 一種演現影像之方法，該方法包含：接收一場景之一影像表示，該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一參考位置； 判定一觀看者的觀看者姿勢，該等觀看者姿勢係相對於一觀看者座標系統而提供；藉由對準該場景參考位置與在該觀看者座標系統中之一觀看者參考位置來對準該場景座標系統與該觀看者座標系統；回應於該影像表示及該場景座標系統與該觀看者座標系統之該對準而演現用於不同觀看者姿勢的視圖影像；該方法進一步包含回應於一第一觀看者姿勢而判定該觀看者參考位置，該觀看者參考位置取決於該第一觀看者姿勢的一定向且具有相對於該第一觀看者姿勢之一觀看者眼睛位置的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；其中接收該場景之該影像表示包含：接收一影像資料信號，該影像資料信號包含該影像表示且進一步包含一偏移指示；且進一步包含回應於該偏移指示來判定該偏移，其中該方法包含回應於至少一個觀看者姿勢的一誤差度量而判定該偏移，該誤差度量取決於該偏移的候選值。
13. 一種用於產生一影像信號的方法，該方法包含：接收自一或多個姿勢表示一場景的數個影像；產生提供該場景之一影像表示的影像資料，該影像資料包含該數個影像，且該影像表示係相對於一場景座標系統而提供，該場景座標系統包括一場景參考位置；產生一偏移指示，該偏移指示指示當對準該場景座標系統與一觀 看者座標系統時應用在該場景參考位置與一觀看者眼睛位置之間的一偏移，該偏移包括在與該觀看者眼睛位置之一觀看方向相反的一方向之一偏移分量；回應於至少一個觀看者姿勢的一誤差度量而判定該偏移，該誤差度量取決於該偏移的候選值；及產生該影像信號以包含該影像資料及該偏移指示。
14. 一種電腦程式產品，其包含經調適以當該程式在一電腦上運行時執行如請求項12或13之所有步驟的電腦程式碼構件。

Images