[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI846808B - 表示場景之影像信號 - Google Patents

表示場景之影像信號 Download PDF

Info

Publication number
TWI846808B
TWI846808B TW109102751A TW109102751A TWI846808B TW I846808 B TWI846808 B TW I846808B TW 109102751 A TW109102751 A TW 109102751A TW 109102751 A TW109102751 A TW 109102751A TW I846808 B TWI846808 B TW I846808B
Authority
TW
Taiwan
Prior art keywords
image
ray
images
scene
origin
Prior art date
Application number
TW109102751A
Other languages
English (en)
Other versions
TW202034688A (zh
Inventor
威和莫司 漢卓克司 愛芬瑟司 布爾斯
克莉斯汀 維爾甘
巴特 庫倫
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202034688A publication Critical patent/TW202034688A/zh
Application granted granted Critical
Publication of TWI846808B publication Critical patent/TWI846808B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種設備包含一接收器(301)，該接收器接收表示一場景之一影像信號。該影像信號包括影像資料，該影像資料包含數個影像，其中各影像包含像素，該等像素表示沿一射線的該場景之一影像屬性，該射線具有自一射線原點之一射線方向。對於至少一些像素，該射線原點係不同位置。該影像信號進一步包含複數個參數，該複數個參數針對像素將該等射線原點及/或該等射線方向的一變化描述為像素影像位置之一函數。一演現器(303)基於該複數個參數而從該數個影像演現影像。

Description

表示場景之影像信號
本發明係關於一種表示一場景之影像信號，且具體而言，但非排他地，係關於產生表示一場景之一影像信號，及從該影像信號演現影像作為虛擬實境應用之部分。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及「環視」。
此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者例如在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法在例如用於電腦及主控台的遊戲應用（諸如在第一人稱射擊遊戲類別中）係衆所周知的。
亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
一般而言，虛擬實境應用固有地受限於，虛擬實境應用係基於預定場景模型，且一般係基於虛擬世界的人工模型。經常希望虛擬實境體驗可基於真實世界攝取而提供。然而，在許多情況中，此類方法受限制或傾向於要求從真實世界攝取來建置真實世界的虛擬模型。然後，藉由評估此模型來產生虛擬實境體驗。
然而，目前的方法往往是次佳的，且往往經常具有高運算或通訊資源需求及/或提供例如降低品質或受限制自由度的次佳使用者體驗。
在許多例如虛擬實境應用中，場景可由影像表示（例如，諸如由表示場景之特定觀看姿勢的一或多個影像）來表示。在一些情況中，此類影像可提供場景之寬視角視圖，並且可覆蓋例如全360°視圖或覆蓋全視圖球體(full view sphere)。
已提出基於360°視訊串流提供虛擬實境體驗，其中由伺服器提供針對給定觀看者位置的場景之完整360°視圖，從而允許用戶端產生針對不同方向的視圖。具體而言，虛擬實境(VR)之大有可為的應用中之一者係全向性視訊（例如，VR360或VR180）。該方法往往導致高資料速率，且因此提供全360°視圖球體的視點數目一般限於低數目。
舉一具體實例，虛擬實境眼鏡已問市。這些眼鏡允許觀看者體驗經攝取的360°（全景）視訊。這些360°視訊經常使用攝影機承架來預攝取，其中個別影像經拼接在一起成為單一球面映射。在一些此類實施例中，表示來自給定視點之全球面視圖的影像可被產生並傳輸至一驅動器，該驅動器經配置以產生用於該眼鏡對應於使用者之目前觀看的影像。
在許多系統中，可提供一場景之一影像表示，其中影像表示包括針對場景中之一或多個攝取點/視點的影像且經常包括深度。在許多此類系統中，一演現器可經配置以動態產生匹配目前局部觀看者姿勢的視圖。例如，可動態地判定觀看者姿勢，且動態地產生視圖以匹配此觀看者姿勢。
在影像表示經傳達以允許本端演現器動態合成不同觀看姿勢的顯示影像的系統中，影像表示的特定特性及屬性對於最佳操作而言係關鍵的。希望影像表示能夠提供允許所演現影像之高影像品質的資訊，同時維持足夠低的資料速率。進一步，對於產生及使用影像表示兩者的低複雜度及資源使用係所欲的。
已提出藉由影像資料來表示場景之許多不同格式，並且已藉由各種標準組織來標準化數個這些格式。一種支援全360°影像的特定格式已知為全向性立體(Omni-Directions Stereo, ODS)。在此格式中，提供用於右眼的影像，且提供用於左眼的另一影像，其中當繞眼睛之一中心點旋轉360°時，各影像包含沿著對應於觀察者眼睛的觀看圓之切線的視圖。
然而，雖然許多習知影像表示及格式可在許多應用及服務中提供良好的效能，但在至少一些情況中往往次佳。
因此，用於處理及產生包含場景之影像表示的影像信號之經改善方法將係有利的。具體而言，允許改善操作、增加靈活性、改善虛擬實境體驗、減小資料速率、增加效率、促進散佈、降低複雜度、促進實施、降低儲存需求、增加影像品質、改善演現、改善使用者體驗、及/或改善效能及/或操作的方法將是有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之一態樣，提供一種用於從表示一場景之一影像信號演現影像的設備，該設備包含：一接收器，其用於接收該影像信號，該影像信號包含影像資料及後設資料，該影像資料包含數個影像，各影像包含像素，其中各像素表示沿一射線的該場景之一影像屬性，該射線具有自一射線原點之一射線方向，對於至少一些像素，該射線原點係不同位置，且該後設資料包含複數個參數，該複數個參數針對像素將該等射線原點及該等射線方向中之至少一者的一變化描述為像素影像位置之一函數；及一演現器，其用於從該數個影像且回應於該複數個參數而演現影像。
本發明可提供一場景之一經改善表示，並且在許多實施例及情景中，可提供所演現影像之經改善影像品質對該影像信號之資料速率。在許多實施例中，可提供一場景之一更有效率表示，例如，允許藉由經減少資料速率來達成給定品質。該方法可提供一種用於演現一場景之影像的一更靈活且有效率的方法，且可允許對例如場景屬性的經改善適應。
在許多實施例中，該方法可採用適用於靈活、有效率且高效能虛擬實境(VR)應用的場景之影像表示。在許多實施例中，該方法可允許或實現具有在影像品質與資料速率之間實質上經改善權衡的VR應用。在許多實施例中，該方法可允許經改善的感知影像品質及/或經減少資料速率。
該方法可適合例如在接收端部處廣播支援對移動及頭部旋轉之適應的視訊服務。
該數個影像具體地係光強度影像、深度圖、及/或透明度圖。影像屬性可係深度屬性、透明度屬性、或光強度屬性（例如，諸如顏色通道值）。
在許多實施例中，各像素可具有可經由查找表或經由參數所描述的函數（線性線、餘弦、或正弦等）提供的一不同原點及方向。
該影像資料包含數個影像，即，一或多個影像/至少一個影像。該後設資料包含複數個參數，即，二或更多個參數/至少二個參數。
根據本發明之可選特徵，該數個影像之至少一個影像之一水平列像素的射線位置被映射至在該場景之一水平平面中之一曲線，該複數個參數描述該曲線之屬性。
在許多實施例中，此可提供特別有利的效能。此可減少複雜度，且在許多實例中，可減少需要傳達的參數資訊量。據此，可減少此所需的後設資料量，從而減少附加項(overhead)。
根據本發明之可選特徵，該曲線係一橢圓，且該複數個參數描述該橢圓之屬性。
在許多實施例中，此可係特別有效率的方法，並且可提供介於複雜度、資料速率、對特定條件的適應性、自由度、及所演現影像之潛在影像品質之間的特別所欲權衡。
該等屬性可特別係大小及偏心率之指示。
根據本發明之可選特徵，該曲線係一閉合曲線。
在許多實施例中，此可特別有利。
根據本發明之可選特徵，該閉合曲線係一卵形，且該複數個參數描述該卵形之屬性。
在許多實施例中，此可係特別有效率的方法，並且可提供介於複雜度、資料速率、對特定條件的適應性、自由度、及所演現影像之潛在影像品質之間的特別所欲權衡。
根據本發明之可選特徵，該複數個參數係由一映射所提供，該映射連結至該數個影像之一影像且具有低於該影像的一解析度，該映射具有像素值，該等像素值指示在該影像中之一位置的一射線原點及一射線方向之至少一者，該影像中之該位置對應於該映射中的該像素值之一位置；且其中該演現器經配置以藉由從該映射之該等像素值內插來判定該影像中之一些位置的射線原點及射線方向之至少一者。
在許多實施例中，此可係特別有效率的方法，並且可提供介於複雜度、資料速率、對特定條件的適應性、自由度、及所演現影像之潛在影像品質之間的特別所欲權衡。
具體而言，該方法可允許用於射線位置及/或方向的一高度靈活性及適應性，同時維持用於傳達此資訊所需的後設資料之低附加項。
根據本發明之可選特徵，從影像位置至該等射線原點及射線方向中之至少一者的一映射係一連續函數。
在許多實施例中，此可特別有利。
根據本發明之可選特徵，該影像資料包含複數個影像，且該複數個參數描述針對該複數個影像之至少兩個影像、將像素影像位置映射至該等射線原點及該等射線方向中之一者的不同函數。
此可允許調適射線原點/方向的較高自由度，且據此可允許經改善影像品質。包含在該影像資料中的該數個影像可係複數個影像，且該複數個參數可描述用於此等影像之至少兩者的不同函數。
在一些實施例中，該複數個參數描述該至少兩個影像的射線原點之間的不同位移。
根據本發明之可選特徵，該複數個影像之至少兩個影像表示部分視場，該等部分視場對於該至少兩個影像不同。
在許多實施例中，此可特別有利。
根據本發明之可選特徵，該等射線原點及該等射線方向中之至少一者的該變化係該等射線方向（但可能不是射線原點）的一變化。
根據本發明之可選特徵，該等射線原點及該等射線方向中之至少一者的該變化係該等射線原點（但可能不是射線方向）的一變化。
在一些實施例中，該複數個參數針對像素將該等射線方向的一變化描述為像素影像位置之一函數。
在一些實施例中，該複數個參數針對像素將該等射線原點的一變化描述為像素影像位置之一函數。
根據本發明之可選特徵，該數個影像包含一第一光強度影像及該第一光強度影像之一深度值影像，該第一深度值影像包含該第一光強度影像之該等像素的深度值，該第一光強度影像之一第一像素的一深度值指示沿該射線方向自該第一像素之一射線原點至由該第一像素所表示之一物體的一距離；且該演現器經配置以回應於該第一光強度影像及該第一深度值影像而演現影像。
根據本發明之可選特徵，該演現器經配置以回應於該深度值影像而判定該第一光強度影像之影像物體的場景位置，及回應於該等場景位置而演現影像。
根據本發明之一態樣，提供一種用於產生表示一場景之一影像信號的設備，該設備包含：一第一產生器，其用於產生包含數個影像之影像資料，各影像包含像素，其中各像素表示沿一射線的該場景之一影像屬性，該射線具有自一射線原點之一射線方向，對於至少一些像素，該射線原點係不同位置；及一第二產生器，其用於產生後設資料，該後設資料包含複數個參數，該複數個參數針對像素將該等射線原點及該等射線方向中之至少一者的一變化描述為像素影像位置之一函數；及一信號產生器，其用於產生該影像信號，該信號產生器經配置以在該影像信號中包括該影像資料及該後設資料。
該影像信號可進一步包含該數個影像之至少一第一影像的至少一第一深度圖，該第一深度圖包含該第一影像之該等像素的深度值，該第一影像之一第一像素之一深度值指示沿該射線方向自該第一像素之一射線原點至由該第一像素所表示之一物體的一距離。
該數個影像可包含一第一光強度影像及該第一光強度影像之一深度值影像，該第一深度值影像包含該第一光強度影像之該等像素的深度值，該第一光強度影像之一第一像素的一深度值指示沿該射線方向自該第一像素之一射線原點至由該第一像素所表示之一物體的一距離。
根據本發明之一態樣，提供一種從表示一場景之一影像信號演現影像的方法，該方法包含：接收該影像信號，該影像信號包含影像資料及後設資料，該影像資料包含數個影像，各影像包含像素，其中各像素表示沿一射線的該場景之一影像屬性，該射線具有自一射線原點之一射線方向，對於至少一些像素，該射線原點係不同位置，且該後設資料包含複數個參數，該複數個參數針對像素將該等射線原點及該等射線方向中之至少一者的一變化描述為像素影像位置之一函數；及從該數個影像且回應於該複數個參數而演現影像。
根據本發明之一態樣，提供一種產生表示一場景之一影像信號的方法，該方法包含：產生包含數個影像之影像資料，各影像包含像素，其中各像素表示沿一射線的該場景之一影像屬性，該射線具有自一射線原點之一射線方向，對於至少一些像素，該射線原點係不同位置；及產生後設資料，該後設資料包含複數個參數，該複數個參數針對像素將該等射線原點及該等射線方向中之至少一者的一變化描述為像素影像位置之一函數；及產生該影像信號，該信號產生器經配置以在該影像信號中包括該影像資料及該後設資料。
根據本發明之一態樣，提供一種影像信號，該影像信號包含：包含數個影像之影像資料，各影像包含像素，其中各像素表示沿一射線的該場景之一影像屬性，該射線具有自一射線原點之一射線方向，對於至少一些像素，該射線原點係不同位置；及後設資料，該後設資料包含複數個參數，該複數個參數針對像素將該等射線原點及該等射線方向中之至少一者的一變化描述為像素影像位置之一函數。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
允許使用者在一虛擬世界中四處移動的虛擬體驗已變得越來越流行，且正在開發服務以滿足此需求。然而，提供有效率的虛擬實境服務非常具挑戰性，尤其若體驗係基於攝取真實世界環境，而非基於完全虛擬地產生的人工世界。
在許多虛擬實境應用中，判定反映場景中之虛擬觀看者之姿勢的觀看者姿勢輸入。然後，虛擬實境設備/系統/應用針對對應於該觀看者姿勢的觀看者，產生對應於場景之視圖及觀看區的一或多個影像。
一般而言，虛擬實境應用產生呈用於左眼及右眼的分開視圖影像形式的三維輸出。然後，這些視圖影像可藉由合適手段（諸如一般而言，VR頭戴裝置之個別左眼顯示器及右眼顯示器）來呈現給使用者。在其他實施例中，影像可例如呈現在一裸視立體(autostereoscopic)顯示器上（在此情況中，可針對觀看者姿勢產生較大數目個視圖影像），或實際上在一些實施例中，可產生僅單一二維影像（例如，使用習知二維顯示器）。
在不同應用中，可以不同方式判定觀看者姿勢輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之移動的（例如，視覺）識別符。
在一些系統中，可藉由手動方段來提供觀看者姿勢，例如，由使用者手動控制操縱桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一類比操縱桿而使虛擬觀看者在場景內四處移動，且以另一手來手動移動第二類比操縱桿而手動控制虛擬觀看者的觀看方向。
在一些應用中，可使用手動及自動化方法之組合來產生輸入觀看者姿勢。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。
影像之產生係基於虛擬世界/環境/場景的合適表示。在一些應用中，可提供場景的完整三維模型，且可藉由評估此模型來判定來自特定觀看者姿勢之場景的視圖。
在許多實用系統中，該場景可由包含影像資料的影像表示予以表示。影像資料一般可包含與一或多個攝取或錨定姿勢相關聯之一或多個影像，且具體而言，可包括用於一或多個觀看區的影像，其中各觀看區具有對應於一特定姿勢。可使用包含一或多個影像的一影像表示，其中各影像表示一給定觀看姿勢的給定觀看區之視圖。此類影像資料所提供之觀看姿勢或位置經常稱為錨定姿勢或位置或攝取姿勢或位置（因為影像資料可一般對應於經定位在場景中之由相機而攝取或將由該相機而攝取的影像，其中位置及定向相對應於攝取姿勢）。
許多典型的VR應用可以此類影像表示為基礎而繼續進行提供對應於目前觀看者姿勢的場景之觀看區的視圖影像，其中影像經動態更新以反映觀看者姿勢之變化，且其中基於表示（可行的）虛擬場景/環境/世界的資料而產生影像。該應用可藉由執行視圖合成及視圖偏移演算法來進行此，如所屬技術領域中具有通常知識者所熟知。
在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、相機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別性質。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。
許多VR應用係基於具有最大自由度（即，位置及定向之各者的三個自由度導致總共六個自由度）的姿勢。因此姿勢可藉由代表六個自由度的一組六個值或六個值的向量表示，且因此姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。
姿勢可係定向及位置之至少一者。姿勢值可指示定向值及位置值之至少一者。
基於提供最大自由度給觀看者之系統或實體一般稱為具有6個自由度(6DoF)。許多系統及實體提供僅定向或位置，且這些系統及實體一般已知為具有3個自由度(3DoF)。
在一些系統中，可藉由例如獨立裝置（其不使用任何遠端VR資料或處理，或甚至不具有對任何遠端VR資料或處理的任何存取）來本端提供VR應用給觀看者。例如，諸如遊戲主控台之裝置可包含：儲存器，其用於儲存場景資料；輸入，其用於接收/產生觀看者姿勢；及處理器，其用於從場景資料產生對應的影像。
在其他系統中，可在觀看者的遠端處實施及執行VR應用。例如，在使用者本端處的裝置可偵測/接收經傳輸至遠端裝置的移動/姿勢資料，該遠端裝置處理該資料以產生觀看者姿勢。然後，該遠端裝置可基於描述場景的場景資料來產生觀看者姿勢的合適視圖影像。然後，該等視圖影像被傳輸至在觀看者本端處的裝置，在該裝置處呈現該等視圖影像。例如，該遠端裝置可直接產生直接由該本端裝置呈現的視訊串流（一般為立體/3D視訊串流）。因此，在此類實例中，該本端裝置可不執行任何VR處理，惟傳輸移動資料及呈現所接收視訊資料除外。
在許多系統中，功能性可跨本端裝置及遠端裝置分佈。例如，本端裝置可處理所接收之輸入及感測器資料，以產生連續地傳輸至遠端VR裝置的觀看者姿勢。然後，該遠端VR裝置可產生對應的視圖影像且傳輸這些影像至本端裝置以供呈現。在其他系統中，該遠端VR裝置可不直接產生視圖影像，但可選擇相關場景資料且傳輸此場景資料至本端裝置，然後，可產生所呈現之視圖影像。例如，遠端VR裝置可識別最接近的攝取點，且提取對應的場景資料（例如，從攝取點提取球面影像及深度資料）且傳輸此場景資料至本端裝置。然後，本端裝置可處理所接收場景資料以產生用於特定目前觀看姿勢的影像。觀看姿勢一般對應於頭部姿勢，且對觀看姿勢之參考一般可等同地視為對應於對頭部姿勢的參考。
在許多應用中，尤其是對於廣播服務，來源可依獨立於觀看者姿勢的場景之影像（包括視訊）表示的形式來傳輸場景資料。例如，用於單一攝取位置之單一視圖球體的影像表示可傳輸至複數個用戶端。然後，個別用戶端可局部地合成對應於目前觀看者姿勢的視圖影像。
特別吸引關注的應用係其中支援有限量的移動，使得所呈現之視圖經更新以遵循對應於使頭部之僅小頭部移動及旋轉的實質上靜態觀看者之小移動及旋轉。例如，觀看者坐下時會轉動其頭部且稍微移動頭部，其中所呈現之視圖/影像經調適以遵循這些姿勢變化。此種方法可提供高度且身歷其境的例如視訊體驗。例如，觀看體育事件的觀看者可感覺到其身在比賽場中的特定點處。
此類有限的自由度應用具有提供經改善體驗的優點，同時不需要從許多不同位置獲得場景之準確表示，從而實質上減少攝取需求。類似地，可實質上減少需要提供給演現器的資料量。實際上，在許多情景中，僅需要提供單個視點的影像與一般深度資料，其中本端演現器能夠從此產生所欲視圖。
具體而言，該方法可高度適用於其中資料需要透過頻寬有限的通訊頻道將資料從來源傳達至目的地的應用（例如，諸如用於廣播或用戶端伺服器應用）。
圖1繪示其中遠端VR用戶端裝置101與VR伺服器103例如經由網路105（諸如網際網路）聯絡的VR系統的此一實例。伺服器103可經配置以同時支援潛在大量的用戶端裝置101。
VR伺服器103可例如藉由傳輸包含呈影像資料形式之影像表示的影像信號來支援廣播體驗，可由用戶端裝置使用該影像資料以本端地合成對應於適當姿動的視圖影像。
圖2繪示VR伺服器103之一例示性實施方案之實例元件。
設備包含一第一產生器201，該第一產生器經配置以依一或多個影像之形式產生該場景之一影像表示。影像可例如基於評估場景的模型或基於例如藉由潛在大量數目的相機的真實世界攝取予以產生。
該設備進一步包含輸出處理器203，該輸出處理器產生包含影像表示之影像信號，且因此影像信號具體地包含一或多個影像的影像資料。在許多實施例中，輸出處理器207可經配置以編碼該等影像，並且將該等經編碼影像包括在一合適的資料串流中，例如，諸如根據一合適標準所產生之資料串流。
輸出處理器207可進一步經配置以傳輸或廣播該影像信號至遠端用戶端/裝置，且具體而言，該影像信號可傳達至用戶端裝置101。
圖3繪示根據本發明之一些實施例的用於演現影像之設備的一些元件之實例。將在圖1之系統的內容脈絡中描述該設備，其中該設備具體地係用戶端裝置101。
用戶端裝置101包含資料接收器301，該資料接收器經配置以接收來自伺服器103的影像信號。將理解，可使用任何合適之用於傳達的方法及格式而不減損本發明。據此，該資料接收器可接收用於數個（即，一或多個）影像的影像資料。
資料接收器301耦接至一演現器303，該演現器經配置以產生針對不同觀看區/觀看者姿勢之視圖影像。
用戶端裝置101進一步包含觀看姿勢判定器305，該觀看姿勢判定器經配置以動態地判定目前觀看者姿勢。具體而言，觀看姿勢判定器305可接收來自頭戴裝置之反映頭戴裝置移動的資料。觀看姿勢判定器305可經配置以基於所接收資料來判定觀看姿勢。在一些實施例中，觀看姿勢判定器305可接收例如感測器資訊（例如，加速度、及陀螺資料）及從此判定一觀看姿勢。在其他實施例中，頭戴裝置可直接提供觀看姿勢資料。
觀看姿勢被饋送至演現器303，該演現器繼續進行以產生對應於自目前觀看者姿勢處的觀看者之兩眼的場景之視圖的視圖影像。使用任何合適的影像產生及合成演算法而從所接收影像資料來產生視圖影像。具體演算法將取決於具體影像表示及個別實施例的偏好與需求。
應理解，雖然該方法可具體地用於動態產生對應於所偵測觀看者運動的視圖影像，但是該方法亦可依其他方式使用。舉例而言，可在演現器303中本端儲存一組預定之姿勢，且可循序地提供對應視圖給觀看者，從而提供「劇本式」(scripted)體驗。
演現器303經配置以基於所接收影像表示而產生用於目前觀看姿勢的視圖影像。具體而言，可產生用於立體顯示器（諸如頭戴裝置）的右眼影像及左眼影像，或可產生用於裸視立體顯示器之視圖的複數個視圖影像。應理解，已知用於從場景之所提供影像來產生視圖影像的許多不同演算法及技術，且取決於具體實施例，可使用任何合適的演算法。
現有3D影像格式已知為全向性立體(Omni Directional Stereo, ODS)。對於ODS，針對觀看者的左眼及右眼提供影像。然而，像素僅表示直接在眼睛前面之方向的場景且實質上無視場，而非左眼影像表示自單個左眼位置的觀看區，而右眼影像表示自單個右眼位置的觀看區。影像係由像素所形成，該等像素表示當眼睛圍繞眼睛位置之一中心點旋轉（對應於觀看者的頭繞此點旋轉）時直直向前的視圖。因此，圍繞眼睛之間的中心點的旋轉固有地形成圓，而眼睛保持在此圓上。產生ODS的影像以反映來自此圓在該圓上不同位置的視圖。具體而言，在該圓上的一給定位置之像素值經產生以反映在此點處將沿該圓之切線的視圖。
因此，對於ODS，產生用於左眼影像及右眼影像的射線，使得這些射線具有彼等原點在具有一般等於例如~6.3 cm的瞳孔距離之直徑的圓上。對於ODS，窄角影像區段係針對對應於觀看圓之切線的相反方向並以觀看圓周圍的規則角距離攝取（參見圖4）。
因此，對於ODS，產生針對左眼的影像，其中各像素行對應於在單元圓上的一個位置且反映在一方向的射線，該方向在此位置正切於ODS觀看圓。在ODS觀看圓上對於各行的位置不同，且一般而言，在ODS觀看圓上的相對大數目個等距位置經定義為用對應於一個位置的各行覆蓋整個360°視場。因此，一單一ODS影像攝取一全360°視場，其中各行對應於在該ODS觀看圓上之一不同位置且至一不同射線方向。
ODS包括右眼的影像及左眼的影像。如圖6所示，對於這些影像的給定行，左眼影像及右眼影像將反映在ODS觀看圓上之相對位置的射線。因此，該ODS影像格式提供360°視圖以及基於僅兩個影像的立體資訊。
對於給定定向（視角），影像可藉由組合針對與給定定向之觀看區內的觀看方向匹配之方向的窄角影像區段而產生。因此，給定視圖影像係藉由組合對應於不同方向之攝取的窄角影像區段、但以來自該圓上的不同位置的不同窄角影像區段而形成。因此，視圖影像包含來自觀看圓上的不同位置而非僅來自單一視點的攝取。然而，若ODS表示的觀看圓足夠小（相對於場景的內容），則可將此影響減少至可接受的程度。此外，由於針對個不同的觀看定向可重新使用沿著給定方向的攝取，所以達成大量減少所需影像資料量。用於觀看者雙眼的視圖影像一般將藉由針對該等適當切線的相反方向上的攝取而產生。
圖5繪示可由ODS支援之理想頭部旋轉的實例。在該實例中，頭部旋轉使得雙眼沿著具有等於瞳孔距離之直徑的圓移動。假設此對應於ODS觀看圓的寬度，可簡單地藉由選擇對應於不同視圖定向的合適窄角影像區段而判定不同定向的視圖影像。
然而，對於標準ODS，觀察者將感知立體視覺但非運動視差。即使係較小的觀察者運動（約數公分），缺少運動視差傾向提供令人不悅的體驗。例如，若觀看者移動使得眼睛不再確切落在ODS觀看圓上，基於簡單地選擇及組合合適的窄角影像區段以產生視圖影像將導致所產生之視圖影像如同使用者眼睛停留在觀看圓上，且據此應得自於使用者移動其頭部的視差將不被表示，且此將導致感知無法相對於真實世界移動。
為解決此問題，並允許基於ODS資料產生運動視差，可將ODS格式擴展以包括深度資訊。可針對各窄角影像區段添加一窄角深度圖區段。圖6繪示具有相關聯深度圖的ODS影像之實例。此深度資訊可用以實施視點偏移，使得所產生的影像對應於觀看圓外側（或內側）的新位置（例如，各視圖影像或窄角影像區段可使用已知的基於影像及深度的視點偏移演算法處理）。例如，3D網目可對各眼睛產生，且基於用於左眼及右眼之網目及紋理的ODS資料的演現可用以引入運動視差。
然而，無論影像表示是否係基於例如針對不同攝取姿勢的數個影像或基於ODS資料，針對不同於錨定姿勢（影像資料係針對錨定姿勢而提供）的姿勢產生視圖影像往往引入假影及誤差導致潛在影像劣化。
在圖1至圖3之系統的方法中，使用不同的方法，且具體地使用不同的影像表示。該方法並非基於眼睛旋轉，並且實際上顛覆基本習知假設介於人類立體感知及面相與影像表示之間必須有密切關係。而是，該方法提供非常靈活及高度可調適的方法，在許多情景中，其可提供實質上更佳效能，且具體地實質上經改善影像品與質資料速率的權衡。
該方法係基於一影像表示，其中影像包含像素，其中各像素表示沿一射線的場景之一影像屬性，該射線具有自一射線原點之一射線方向。因此，各像素與一位置連結，該位置係射線/筆直線的原點。各像素進一步與一方向連結，該方向係自原點之射線/筆直線的方向。因此，各像素與一射線/筆直線連結，該射線/筆直線係由一位置/原點及自此位置/原點之一方向所界定。藉由在像素之射線與一場景物體（包括一背景）的第一相交點處的場景之適當屬性而給定像素值。因此，該像素值表示在一射線/筆直線之遠端處的場景之屬性，該射線/筆直線起源於一射線原點位置且具有與該像素相關聯之一射線方向。
在許多情況中，該影像屬性可係一光強度屬性，且該像素值可係在自該原點位置的射線之方向的場景物體（或背景）之一光強度。具體而言，該像素值可係用於自該射線原點且在該射線方向的場景之光強度值。在此類情況中，該像素值可係從由該射線方向所指示之一方向在該原點位置處所接收的射線之一光強度之一測量。該光強度可係在一顏色通道中（或例如在有限頻寬中）的一光強度。
若該影像屬性係例如一深度屬性，則該像素值可指示在該射線方向從該射線原點至該第一像素物體的距離。對於該影像屬性係一透明度的一實例，該像素值可反映在自該射線原點之射線方向的方向的該影像物體之透明度。
在許多實施例中，可提供匹配成對的光強度影像與深度值影像（一般稱為深度圖）。在此類情況中，對於給定像素（在光強度影像與深度圖中之相同位置處），光強度影像值可指示在自射線原點的射線之方向的場景物體（或背景）的光強度，且深度值可指示在射線方向自該射線原點至場景/影像物體的距離。因此，對於在光強度影像中的各像素，深度圖可包含深度值，該深度值指示至由像素所表示之物體的距離。可使用任何適合指示該距離的參數/度量，例如，深度值可給定為距離、視差、Z值、1/Z值等。
此外，與其中所有像素表示自相同位置的視圖的習知影像相對比，所描述方法的影像表示包括表示不同原點/位置的（至少一些）像素。一般而言，（至少一些）像素亦可表示不同的方向。
該方法係基於允許靈活且可適應地選擇射線原點及/或射線方向。具體而言，在許多實施例中，例如取決於場景特性，給定影像之像素的射線方向及射線原點可經調適且至少部分針對給定條件而最佳化。此調適及最佳化可在來源處（具體而言，在VR伺服器103處）執行，且後設資料可傳達至接收點(sink)（具體而言，用戶端裝置101）且用於演現程序中。
例如，對於一給定影像，可用影像之像素值來判定一組位置，該等像素值表示具有在這些位置處之原點的射線並且例如具有相對於該曲線之預定方向（諸如在該位置處垂直於曲線梯度）。圖7提供此一實例，其中箭頭指示在一曲線上於一給定射線原點的射線方向。可用提供一個箭頭之像素值的各行產生一影像，即，各行表示一給定水平射線方向及射線原點的垂直視圖。因此，該影像表示整個該曲線之視圖資訊，其中各行表示沿該曲線在一不同方向且自一不同原點的一非常窄視圖。
舉另一實例，對於一給定影像，可用影像之像素值來判定一組方向，該等像素值表示具有預定原點的射線，例如，諸如在一線上之等距點。圖8提供此一實例，其中箭頭指示自一給定預定射線原點的射線方向。可用提供一個箭頭之像素值的各行產生一影像，即，各行表示一給定水平射線方向及射線原點的垂直視圖。因此，該影像表示來自一組不同射線方向及原點的場景之視圖資訊，其中各行表示沿該線在一不同方向且自一不同原點的一非常窄視圖。
在一些情況中，該調適可包括射線方向及射線原點兩者，例如取決於場景特性，例如可靈活選擇射線方向及射線原點兩者。
在許多實施例中，該方法可允許經改善影像品質，且可例如允許射線聚焦在場景物體或特別重要區域（例如，面部），或聚焦在攝取更具挑戰性的物體或區域上（諸如高度細節的物體）。然而，可達成場景之此經改善表示，同時仍維持低資料速率，且具體而言，藉由仍表示例如單一影像中的資訊（或例如低數目個單一影像或立體影像。例如，2至6個單一影像或1至3個立體影像）。因此，可產生非常高效率的影像信號，從而允許針對給定資料速率所演現影像的高影像品質。
為了支援靈活動態調適及最佳化，VR伺服器101進一步包含經配置以產生後設資料的一後設資料產生器205，該後設資料包括二或更多個參數（自由度），該二或更多個參數將像素的射線原點及/或射線方向的變化描述為像素影像位置之一函數。因此，該等參數可提供介於該影像表示之（多個）影像之像素與對應射線原點及射線方向之間的映射或連結之描述。
後設資料產生器205耦合至輸出處理器203，該輸出處理器經配置以在影像信號中包括描述參數的後設資料。應理解，可使用用於藉由後設資料來表示參數及用於在影像信號中編碼且包括此後設資料的任何合適方法，而不減損本發明。
用戶端裝置101進一步包含後設資料處理器307，該後設資料處理器從資料接收器301饋送來自影像信號的後設資料。後設資料處理器307經配置以自後設資料提取參數，並將這些參數饋送至演現器。由演現器303使用該等參數以判定用於（多個）所接收影像之一給定像素的射線原點及射線方向。因此，該演現器可經配置以回應於影像及參數而執行演現。
演現器303可經配置以判定介於像素位置與射線原點及射線方向中之至少一者之間的映射，並且基於該映射來判定所接收數個影像之像素的射線原點及射線方向。然後，演現器303可基於（該等）所接收影像及針對（該等）所接收影像之像素所判定的經判定射線方向及射線原點來合成一或多個輸出影像。
應理解，可使用任何合適的演現方法及演算法。在一些實施例中，演現器303可簡單地藉由針對對應於影像的觀看區來選擇具有合適射線原點及方向的像素來產生影像。可例如藉由內插/外推來填充任何間隙或孔。
在許多實施例中，演現可基於光強度影像及相關聯深度兩者。具體而言，如先前所提及，影像資料信號可包含光強度影像及深度值影像兩者。一般而言，影像可包括光強度影像連同相關聯深度值影像，其中針對光強度影像中之各像素，該相關聯深度值影像提供至像素所表示之場景物體的深度之指示。因此，光強度像素及對應深度值像素的射線原點及射線方向可相同，且具體而言，光強度值可指示在射線方向自射線原點的物體之光強度，且深度值可指示沿射線方向從射線位置至物體的距離。
在此類情景中，演現器303可基於光強度值及深度值兩者演現影像。此可例如利用自視圖偏移已知的技術，例如基於深度及射線原點與方向，可使用基本幾何來計算對應於觀看區的一影像中的一給定像素之位置，該影像係針對該觀看區而產生。然後，所得影像可例如使用一選擇組合來組合具有重疊位置的值，其中該值經判定為最接近用於產生影像的觀看者姿勢。同樣地，可藉由例如內插來填充任何間隙。
在許多實施例中，演現器303可經配置以使用深度值影像（深度圖）以將像素投射至世界/場景位置。具體而言，一像素可判定為具有一世界/場景位置，該世界/場景位置等於射線原點加上射線方向（給定為一單位向量）乘以該像素之深度值所指示的距離。此可針對所有像素進行，從而組建一3D模型。實際上，該方法可用以產生例如具有像素作為頂點的網格。然後，對應像素的光強度值可提供該模型之視覺表示。
然後，當產生用於特定觀看姿勢的影像時，可藉由演現器303來評估此類所產生模型。此類評估/處理可包括視圖偏移，且該方法可允許有效產生視圖之一範圍的影像。該方法可具體地支援應用及服務，其中可演現視差以匹配觀看者動作。
舉一具體實例，演現器303可藉由計算一浮點影像座標圖、逆投射(unproject)影像座標至世界座標（其中輸入相機係參考圖框）、應用單一仿射變換x→Rx+t以使虛擬相機成為參考圖框、投射該世界座標至該虛擬影像上、及使用三角柵格化來根據該所得圖使該影像形變，來合成特定觀看姿勢的影像。該逆投射操作計算射線原點及方向，且最終在射線之端部處的場景點。投影操作係逆操作。給定投影類型，投射器發現對應於該場景點的影像位置。若需關於更多細節，請參見View Synthesizer (RVS)手冊（ISO/IEC JTC1/SC29/WG11 MPEG/N18068, October 2018, Macau SAR, CN，例如，可瀏覽於https://mpeg.chiariglione.org/standards/exploration/immersive-video/reference-view-synthesizer-rvs-manual）。
RVS軟體係支援自/至規則等矩形及透視投影之合成的軟體之實例。在許多實施例中，可對射線方向或射線原點施加一些限制或極限。例如，在許多實施例中，射線方向與射線原點可具有預定關係，使得射線原點的資訊固有地描述射線方向。例如，射線可經導引而垂直於界定射線原點的曲線之梯度/切線，如前文所述。
圖9繪示針對一水平影像軸而改變之射線原點及射線方向的具體實例。該實例包括分歧射線方向901、903之兩個區域及會聚射線方向905之一個區域。圖9亦展示射線如何可用於產生用於虛擬/經合成視圖的目標射線907。圖式繪示具有不同原點（由不同球體所指定）之射線如何可組合成單一影像的實例。
應注意，影像可係場景之表示，且可表示從場景座標至影像座標的投影。射線原點及方向可反映此投影，即，自場景座標至影像座標之投影可導致各像素表示/對應於/係可係三維之特定場景座標的一投影。射線原點及射線方向可反映/指示此場景座標，且因此用於一像素的射線原點及射線方向指示由該像素所表示之場景座標，且指示自場景座標至該像素之該影像位置的投影。
更具體而言，連續影像位置可由u = (u, v)表示，例如其中對於列索引i 與行索引j ，像素中心位於(0.5 + j, 0.5 + i)。至影像位置/座標的投影可係藉由可經參數化的一投影。該投影參數集可由Θ表示。此投影及參數集可提供有關射線原點及方向的資訊（此係因為射線原點及方向表示場景座標）。該射線原點可由= (x, y, z)（其係場景座標中之3D向量）所表示，且射線方向可由= (dx , dy , dz )（其亦係場景座標中之3D向量，且具體而言，其可係一單位向量）所表示。
表示投影的射線角度/射線原點映射可藉由函數給定，其中該函數係由影像投影給定。
函數f可具體地係一連續函數及/或在影像內不具有任何不連續者。
因此，對於各像素，可提供反映介於場景座標與像素之影像座標之間的投影的一射線原點及一射線方向。在習知方法（包括習知的全向性視訊應用）中，自場景座標之投影係基於針對影像的單一視點（且因此，單一射線原點）且在預定及固定的射線方向（例如，全向性影像可基於在環繞中心點的觀看球體上的投影）。目前方法之優點在於，其允許靈活且適應的變化，這意謂在可使用之投影的有高度靈活性。因此，該方法可允許實質上經改善調適，且特別是品質最佳化。例如，更多像素可分配至視為特別關注或可能對失真特別敏感的場景之區域。
因此，各所提供之影像可表示經調適或經最佳化投影。這些可對於所有影像相同或可不同。各影像可係表示一場景或物體的一（一般而言，矩形）像素陣列。針對各影像，投影可係使得在陣列/影像內的接近性指示場景中之空間接近性。相鄰像素一般可具有類似射線原點及方向。具體而言，相鄰像素經常具有在場景中的類似空間位置（一般而言，惟物體之邊緣等除外，即，其中有深度跳躍(depth jump)）。
影像中的像素可共用（廣義）投影，意指有映射像素（陣列）位置至射線角度及原點的參數化。
在許多實施例中，各影像可表示從場景座標至影像座標之一投影，該投影係連續函數。
在許多實施例中，各影像可表示從場景座標至影像座標的連續投影。
在許多實施例中，各影像可表示從場景座標至影像座標的投影，該投影不包含任何不連續性。
在許多實施例中，各影像可表示從場景座標至影像座標的投影，該投影係使得各場景座標投射至僅一個影像座標。
在許多實施例中，各影像可表示從場景座標至影像座標的投影，該投影係內射函數(injective function)。
在許多實施例中，各影像可表示從場景座標至影像座標的投影，各投影係一對一函數。
在許多實施例中，各影像可表示從場景座標至影像座標的投影，該投影使得影像中之接近性指示場景中之一接近性。
在許多實施例中，各影像可表示從場景座標至影像座標之一投影，且一第一像素的射線原點及射線方向指示投射至該第一像素的一場景座標。該第一像素的射線原點、射線方向、及深度值可指示場景中的三維位置。
在許多實施例中，像素位置至射線原點的映射可係連續映射。例如，函數可定義自影像中之x位置（水平位置）至場景之水平平面中之二維位置的映射。針對二維位置的分量之各者，該函數可係連續函數。圖7繪示此類方法的實例。
因此，在一些實例中，水平列像素的射線位置可映射至場景之水平平面中的曲線。該映射可例如藉由該等分量的分開函數，例如，在水平場景平面中的兩個分量x,y可藉由下列來定義： 其中xi 表示影像中的像素之x位置，且fx (xi )及fx (yi )係合適的平滑函數，意指在函數定義域(domain)內沒有大波動（導數值）。
因為像素位置離散，所以函數亦可視為離散。在此情況中，若與函數的範圍相比較相鄰值之間的絕對差值小，則可將該函數視為是連續的。更具體而言，絕對差值應小於具有相同範圍之線性函數的絕對差值達10倍。
事實上，可藉由用內插函數來變換離散函數而將離散函數延伸成連續函數。相鄰值之間的大差值導致大的導數值。
在許多實施例中，VR伺服器103與用戶端裝置101兩者可已知曲線的形狀屬性或限制。例如，曲線之一大致形狀可係預定的，且參數可描述此曲線之一些可變參數，例如，諸如大小、曲率量、特定事件（例如，方向改變）之位置等。在許多實施例中，此實質上減少描述曲線所需之後設資料量。
非封閉之參數曲線的實例係螺旋。螺旋可開始於例如4 cm之半徑處且停止於12 cm之半徑處。類似於ODS格式，射線可儲存在與螺旋位置正切的方向。與ODS格式相比較，螺旋將給予使用者使他/她頭部稍微側向移動以感知運動視差的能力，從而從該螺旋中選擇不同影像區段。
在許多實施例中，該曲線可係一閉合曲線。在此類實施例中，最左像素位置的射線原點可相鄰於最右像素位置的射線原點。在許多實施例中，該閉合曲線可係卵形，或具體而言可係水平場景平面中的橢圓形。已發現此類形狀在許多實施例中係特別有利的，因為此類形狀提供高程度的靈活性及調適性，其可允許經改善的影像表示，又同時允許低複雜度處理且僅需要少數參數來描述像素位置與射線原點之間的映射。
圖10繪示其中曲線係閉合曲線且具體地曲線係橢圓形的實例。在實例中，射線原點經判定圍繞橢圓的等距位置，且射線方向在射線原點處沿橢圓之切線。該圖式展示八個射線，但將理解，在大多數實施例中，界定更大數目個射線。例如，對於許多實施例，對應於1024個像素的影像之水平解析度的1024個射線可係典型的。
橢圓可由兩個（或更多個）參數來界定，其描述橢圓的大小及形狀。例如，若用戶端裝置101已知射線原點被等距地定位在橢圓上且射線方向沿橢圓之切線，則僅需要的參數是例如橢圓的寬度dx及長度dy。因此，可達成用僅最小附加項進行非常有效率的傳達。因此，值dx及dy可指示橢圓的形狀（例如，偏心率）及大小。
應理解，在許多實施例中，可使用除橢圓形外的其他閉合曲線。例如，更一般而言，曲線可係卵形，且具體而言，曲線可係笛卡爾卵形。
在大多數實施例中，曲線係簡單的（不自相交）、凸形、及/或可微分。曲線通常可係對一或兩個對稱軸對稱的閉合曲線。
在許多實施例中，曲線將係平滑的，且將不具有小於例如1 cm、2 cm、或5 cm之半徑的曲率。
在許多實施例中，合適曲線的其他實例包括卡西尼卵形(cassini oval)、摩斯蛋曲線(Moss’s egg curve)、超橢圓(super-ellipses)、及/或體育場(stadium)。
在一些實施例中，用戶端裝置101可具有複數個可能曲線的先備知識，且後設資料的參數之一者可指示這些曲線中之一者，而其他參數指示所選擇曲線之屬性。
舉一實例，在極座標(r, θ)中，曲線可由函數f: θ -＞ r予以表達，其中f的傅立葉變換在較低諧波(cos 2θ、sin 4θ等）中具有最多能量。
例如，橢圓給定為r(θ) = l / (1 - e cos θ)，其中e係偏心率且l係半正焦弦。對於e=0，此減少為半徑l之圓。在這種情況中，可由後設資料提供e及l之參數。
在一些實施例中，用於提供複數個參數之特別有利的方法係藉由使用連結至影像之一或多者的一映射。該映射可具有比該影像更低的解析度。具體地，可提供一參數映射，其中針對影像的像素之一子集提供一參數值。該參數值可具體地係一射線原點的一指示，例如，諸如在一水平平面中的一二維座標。替代地或另外地，該參數值可係一射線方向（例如，作為一角指示）。
對於在該映射中提供用於其之參數值的影像中之像素，演現器403可直接判定對應的射線原點及/或射線方向作為儲存在參數映射中的值。然而，對於該參數映射不包括用於其之值的影像之像素，演現器403可在該映射中存在的值之間進行內插。例如，僅考慮水平像素位置，若參數映射包含像素10及像素20的射線原點，則可藉由在像素10與像素20的射線原點之間內插來找到像素11至19的射線原點。應瞭解，可使用不同的內插，但已發現在許多實施例中，簡單的線性內插將足以產生導致高影像品質的射線原點。
在許多實施例中，該方法可提供可有效地描述所欲之任何映射的參數資料的特別有效率且靈活的供給。該方法不需要在映射的用戶端裝置101的任何預定知識。該方法亦特別適用於提供多個方向的映射資訊。
實際上，雖然先前的說明已聚焦於其中映射僅取決於x（水平）像素位置且因此其中相同的映射被應用至所有像素列的實施例，但是在一些實施例中，映射亦可取決於y（垂直）像素位置。例如，與在影像中心中的列相比，對於朝向影像之上邊緣或下邊緣的像素列可使用不同映射或閉合曲線。
可使用較低解析度的二維映射來有效地傳達此類靈活性及可變映射，其中射線原點/方向儲存為值。在此類情況中，可在水平方向及垂直方向兩者上應用內插。
因此，在一些實施例中，該等參數可經提供作為降低取樣映射，其係一值陣列（有可能，陣列可係一維的）。然後，可使用內插以產生用於中間像素的射線原點/方向。
舉一實例，對於360°視訊（全向性影像），可沿水平影像邊緣循環地執行內插。（所以當影像列經循環時，經內插結果將相同，除相同循環平移外。）
內插經常被簡單設想為：給定值之網格來判定中間值的任務。然而，當內插函數係連續時，執行內插離散映射導致連續表面。當可微分時可微分等。
可能的內插之實例可包括： •       零階（矩形）內插，其係非連續函數。 •       一階（雙線性）內插，其係連續但不可微分。 •       二階（雙三次），其係可微分但非二階。 •       其他函數，諸如平滑的蘭佐斯(Lanczos)。
在許多實施例中，影像資料可包含複數個影像。在一些情況中，對於不同影像，可使用從影像位置至射線原點/方向的相同映射。此可例如在一些實施例中實用於其中以應用於左眼影像及右眼影像兩者的相同函數來傳輸立體影像的情景。
在一些實施例中，可針對複數個影像應用相同的映射，但是位移被應用至所得位置。例如，若從相隔一公尺的場景攝取位置提供影像，但是原本介於影像與攝取方向之間的關係相同，則可使用相同函數且隨後加上一公尺位移。在此類實施例中，位移可例如在用戶端裝置101處預定且已知，或其可作為後設資料的部分予以傳達。因此，在一些實施例中，參數可描述至少兩個影像的射線原點之間的不同位移。
在一些實施例中，對於影像之至少兩者，可使用用於映射像素影像位置至射線原點及/或方向的不同函數。這些不同函數/映射可由包括在後設資料中之不同參數予以表示。
因此，先前針對一個曲線應用於一個影像所描述的處理可個別地應用於複數個曲線及影像。
此類方法可提供額外的靈活性與調適性，並可導致經改善品質。
在許多實施例中，諸如在上文所描述之具體實例中，影像可係全向性影像且可係完全360°影像。然而，在一些實施例中，影像之至少兩者可僅表示部分視場，且因此可不係完全全向性。在此類情況中，該兩個影像可具體地表示不同視場。此可再次改善靈活性與適應性。
應理解，可使用用於判定介於像素位置與射線原點/射線之間的合適映射的任何合適方法，而不減損本發明。在一些實施例中，VR伺服器103可簡單地經配置以應用恆定使用的一恆定映射（但由於不同伺服器可使用不同映射，所以用戶端裝置101可能不知道該恆定映射）。例如，VR伺服器103的設計者可已認為具有給定大小及偏心率的橢圓可適用於由VR伺服器103支援的大多數場景，且可使用此一映射來產生影像。
在其他實施例中，取決於場景特性，VR伺服器可包含用於在不同映射之間進行選擇的功能。例如，VR伺服器可經配置以針對例如對應於足球場的場景來選擇一曲線，以及針對對應於音樂廳的場景來選擇一不同曲線。
亦將理解，可使用藉由參數而使射線原點及/或射線方向的變化像素影像位置之一函數的任何適當表示，例如，諸如提供原點/方向之映射或定義特定例如一維或二維函數的參數。確切關係及描述關係的參數將取決於個別實施例的偏好及要求。
在一些實施例中，VR伺服器103可例如經配置以執行最佳化程序，以判定映射且因此判定參數。例如，對於給定場景模型及視點，可用候選參數值來產生複數個可能候選曲線的影像表示。然後，演算法可基於這些影像來合成不同視點的視圖影像，並且比較該等視圖影像與直接從評估模型而產生的視圖影像。可選擇導致最低差值的候選曲線與參數。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實施、以複數個單元實施、或實施為其他功能單元的部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。再者，包含在一種類別請求項中的一特徵非意味限於此種類，而是視情況，指示該特徵同樣地適用於其他類別請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
101:用戶端裝置/伺服器 103:伺服器 105:網路 201:第一產生器 203:輸出處理器/信號產生器 205:後設資料產生器/第二產生器 301:接收器 303:演現器 305:觀看姿勢判定器 307:後設資料處理器/接收器 901:分歧射線方向 903:分歧射線方向 905:會聚射線方向 907:目標射線 dx:寬度/值 dy:長度/值
將僅以舉例之方式參考圖式描述本發明的實施例，其中 〔圖1〕繪示用於提供一虛擬實境體驗之配置的實例； 〔圖2〕繪示根據本發明之一些實施例之設備之元件的實例； 〔圖3〕繪示根據本發明之一些實施例之設備之元件的實例；及 〔圖4〕繪示場景的全向性立體影像表示的實例； 〔圖5〕繪示場景的全向性立體影像表示的實例； 〔圖6〕繪示具有深度圖之全向性立體影像的實例； 〔圖7〕繪示根據本發明之一些實施例之用於影像表示之射線原點及方向的實例； 〔圖8〕繪示根據本發明之一些實施例之用於影像表示之射線原點及方向的實例； 〔圖9〕繪示根據本發明之一些實施例之用於影像表示之射線原點及方向的實例；及 〔圖10〕繪示根據本發明之一些實施例之用於影像表示之射線原點及方向的實例。
101:用戶端裝置/伺服器
301:接收器
303:演現器
305:觀看姿勢判定器
307:後設資料處理器/接收器

Claims (32)

  1. 一種演現影像的設備，該設備包含：一接收器電路，其中該接收器電路經配置以接收一影像信號；其中該影像信號表示一場景(scene)；其中該影像信號包含影像資料及後設資料(metadata)；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的一場景之一影像屬性(property)；其中該射線具有自一射線原點(origin)之一射線方向；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中該等射線原點被映射至一閉合曲線(closed curve)；其中該閉合曲線係一卵形(oval)；及其中該複數個參數描述該卵形之至少一屬性；一演現器電路，其中該演現器電路經配置以從該複數個影像回應於該複數個參數而演現(render)影像。
  2. 如請求項1之設備，其中該閉合曲線係一橢圓。
  3. 如請求項1之設備，其中該複數個參數之至少一部份描述針對該複數 個影像之至少兩個影像，將像素影像位置映射至該等射線原點及射線方向中之一者的不同函數。
  4. 如請求項1之設備，其中該複數個影像之至少兩個影像表示部分視場；其中該等部分視場對於該至少兩個影像不同。
  5. 如請求項1之設備，其包含射線方向之一變化。
  6. 如請求項1之設備，其中該複數個影像中之各者包含一第一光強度影像及該第一光強度影像之一第一深度值影像；其中該第一深度值影像包含該第一光強度影像之該等像素的深度值；其中該第一光強度影像之一第一像素的一深度值指示沿一射線方向自該第一像素之該射線原點至由該第一像素所表示之一物體的一距離；其中該演現器電路經配置以回應於該第一光強度影像及該第一深度值影像而演現影像。
  7. 如請求項6之設備，其中該演現器電路經配置以回應於該深度值影像而判定該第一光強度影像之影像物體的場景位置；其中該演現器電路經配置以回應於該等場景位置而演現影像。
  8. 一種設備，該設備包含：一接收器電路，其中該接收器電路經配置以接收一影像信號；其中該影像信號表示一場景；其中該影像信號包含影像資料及後設資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；及一演現器電路，其中該演現器電路經配置以從該複數個影像回應於該複數個參數而演現影像；其中該複數個參數係由一映射所提供；其中該映射連結至該複數個影像之一影像；其中該映射具有低於該影像的一解析度；其中該等射線原點之至少一部份被映射至該映射。
  9. 如請求項8之設備，其中該演現器電路經配置以藉由從映射至該映射的該等射線原點之內插來判定該等射線原點之至少一者。
  10. 一種設備，該設備包含： 一接收器電路，其中該接收器電路經配置以接收一影像信號；其中該影像信號表示一場景；其中該影像信號包含影像資料及後設資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中從影像位置至該等射線原點的一映射係一連續非圓形(non-circular)函數。
  11. 如請求項10之設備，其中該複數個參數之至少一部份描述針對該複數個影像之至少兩個影像，將像素影像位置映射至該等射線原點及射線方向中之一者的不同函數。
  12. 如請求項10之設備，其中該複數個影像之至少兩個影像表示部分視場；其中該等部分視場對於該至少兩個影像不同。
  13. 如請求項10之設備，其包含射線方向之一變化。
  14. 如請求項10之設備，其中該複數個影像中之各者包含一第一光強度影像及該第一光強度影像之一第一深度值影像；其中該第一深度值影像包含該第一光強度影像之該等像素的深度值；其中該第一光強度影像之一第一像素的一深度值指示沿一射線方向自該第一像素之該射線原點至由該第一像素所表示之一物體的一距離；其中該演現器電路經配置以回應於該第一光強度影像及該第一深度值影像而演現影像。
  15. 如請求項14之設備，其中該演現器電路經配置以回應於該深度值影像而判定該第一光強度影像之影像物體的場景位置，其中該演現器電路經配置以回應於該等場景位置而演現影像。
  16. 一種用於產生影像信號的設備，其包含：一信號產生器，其用於產生一影像信號，其中該影像信號表示一場景，其中該信號產生器經配置以在該影像信號中包括一影像資料及一後設資料；一第一產生器；其中該第一產生器經配置以產生該影像資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性； 其中該射線具有自一射線原點之一射線方向；其中對於該等像素之至少一部份，該射線原點是不同的；及一第二產生器；其中該第二產生器經配置以產生該後設資料；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中該等射線原點被映射至一閉合曲線；其中該閉合曲線係一卵形；及其中該複數個參數描述該卵形之至少一屬性。
  17. 如請求項16之設備，其中該閉合曲線係一橢圓。
  18. 一種演現影像的方法，其包含：接收一影像信號；其中該影像信號表示一場景；其中該影像信號包含影像資料及後設資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素中之至少一部份，該射線原點係不同位置；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化； 其中該等射線原點被映射至一閉合曲線；其中該閉合曲線係一卵形；及其中該複數個參數描述該卵形之至少一屬性；及從該複數個影像回應於該複數個參數而演現影像。
  19. 如請求項18之方法，其中該閉合曲線係一橢圓。
  20. 一種產生影像信號的方法，其包含：產生一影像信號；其中信號產生器經配置以在該影像信號中包括影像資料及後設資料；其中該影像信號表示一場景；產生影像資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素中之至少一部份，該射線原點係不同位置；及產生後設資料；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中該等射線原點被映射至一閉合曲線；其中該閉合曲線係一卵形；及 其中該複數個參數描述該卵形之至少一屬性。
  21. 如請求項20之方法，其中該閉合曲線係一橢圓。
  22. 一種儲存於一非暫時性媒體上之電腦程式，其中當該電腦程式在一處理器上執行時，執行如請求項18之方法。
  23. 一種儲存於一非暫時性媒體上之電腦程式，其中當該電腦程式在一處理器上執行時，執行如請求項20之方法。
  24. 一種產生影像信號的設備，其包含：一信號產生器，其用於產生一影像信號；其中該影像信號表示一場景；其中該信號產生器經配置以在該影像信號中包括一影像資料及一後設資料；一第一產生器；其中該第一產生器經配置以產生該影像資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素之至少一部份，該射線原點是不同的；及一第二產生器； 其中該第二產生器經配置以產生該後設資料；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中該複數個參數係由一映射所提供；其中該映射連結至該複數個影像之一影像；其中該映射具有低於該影像的一解析度；其中該等射線原點之至少一部份被映射至該映射。
  25. 一種產生影像信號的方法，其包含：接收一影像信號；其中該影像信號表示一場景；其中該影像信號包含影像資料及後設資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素中之至少一部份，該射線原點係不同位置；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中該複數個參數係由一映射所提供；其中該映射連結至該複數個影像之一影像；其中該映射具有低於該影像的一解析度；其中該等射線原點之至少一部份被映射至該映射；及 從該複數個影像回應於該複數個參數而演現影像。
  26. 如請求項25之方法，其中該演現包含藉由從映射至該映射的該等射線原點之內插來判定該等射線原點之至少一者。
  27. 一種產生影像信號的方法，其包含：產生一影像信號；其中信號產生器經配置以在該影像信號中包括影像資料及後設資料；其中該影像信號表示一場景；產生影像資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素中之至少一部份，該射線原點係不同位置；及產生後設資料；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中該複數個參數係由一映射所提供；其中該映射連結至該複數個影像之一影像；其中該映射具有低於該影像的一解析度；其中該等射線原點之至少一部份被映射至該映射。
  28. 一種產生影像信號的設備，其包含：一信號產生器，其用於產生一影像信號；其中該影像信號表示一場景；其中該信號產生器經配置以在該影像信號中包括一影像資料及一後設資料；一第一產生器；其中該第一產生器經配置以產生該影像資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素之至少一部份，該射線原點是不同的；及一第二產生器；其中該第二產生器經配置以產生該後設資料；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中從影像位置至該等射線原點中之至少一者的一映射係一連續非圓形函數。
  29. 一種演現影像的方法，其包含：接收一影像信號；其中該影像信號表示一場景； 其中該影像信號包含影像資料及後設資料；其中該影像資料包含複數個影像；其中各影像包含像素；其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素中之至少一部份，該射線原點係不同位置；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中從影像位置至該等射線原點中之至少一者的一映射係一連續非圓形函數；及從該複數個影像回應於該複數個參數而演現影像。
  30. 一種儲存於一非暫時性媒體上之電腦程式，其中當該電腦程式在一處理器上執行時，執行如請求項29之方法。
  31. 一種產生影像信號的方法，其包含：產生一影像信號；其中信號產生器經配置以在該影像信號中包括影像資料及後設資料；其中該影像信號表示一場景；產生影像資料；其中該影像資料包含複數個影像；其中各影像包含像素； 其中各像素表示沿一射線的該場景之一影像屬性；其中該射線具有自一射線原點之一射線方向；其中對於該等像素中之至少一部份，該射線原點係不同位置；及產生後設資料；其中該後設資料包含複數個參數；其中該複數個參數描述該等射線原點之一變化；其中從影像位置至該等射線原點中之至少一者的一映射係一連續非圓形函數。
  32. 一種儲存於一非暫時性媒體上之電腦程式，其中當該電腦程式在一處理器上執行時，執行如請求項31之方法。
TW109102751A 2019-01-29 2020-01-30 表示場景之影像信號 TWI846808B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19154195.2 2019-01-29
EP19154195.2A EP3691249A1 (en) 2019-01-29 2019-01-29 Image signal representing a scene

Publications (2)

Publication Number Publication Date
TW202034688A TW202034688A (zh) 2020-09-16
TWI846808B true TWI846808B (zh) 2024-07-01

Family

ID=65268744

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109102751A TWI846808B (zh) 2019-01-29 2020-01-30 表示場景之影像信號

Country Status (10)

Country Link
US (1) US20220165015A1 (zh)
EP (2) EP3691249A1 (zh)
JP (1) JP7479386B2 (zh)
CN (1) CN113366825B (zh)
BR (1) BR112021014627A2 (zh)
CA (1) CA3127847A1 (zh)
MX (1) MX2021008953A (zh)
TW (1) TWI846808B (zh)
WO (1) WO2020156827A1 (zh)
ZA (1) ZA202106244B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12002146B2 (en) * 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
EP4297400A1 (en) * 2022-06-22 2023-12-27 Koninklijke Philips N.V. Data signal comprising a representation of a three dimensional scene

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
EP3419301A1 (en) * 2016-02-17 2018-12-26 Samsung Electronics Co., Ltd. Method for transmitting and receiving metadata of omnidirectional image

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4625957B2 (ja) 2005-10-07 2011-02-02 国立大学法人 東京大学 全周囲ステレオ画像撮影装置
US8442306B2 (en) * 2010-08-13 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Volume-based coverage analysis for sensor placement in 3D environments
CN104299258A (zh) * 2013-07-15 2015-01-21 超威半导体(上海)有限公司 立体图形处理方法和设备
JP5920897B2 (ja) * 2014-07-03 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US10341632B2 (en) * 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
CA2984846A1 (en) * 2015-05-05 2016-11-10 Koninklijke Philips N.V. Generation of image for an autostereoscopic display
CN107431796B (zh) 2015-05-27 2019-02-12 谷歌有限责任公司 全景虚拟现实内容的全方位立体式捕捉和渲染
US10200624B2 (en) 2016-04-06 2019-02-05 Facebook, Inc. Three-dimensional, 360-degree virtual reality exposure control
JP6657475B2 (ja) * 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
KR102697559B1 (ko) 2016-12-22 2024-08-23 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
EP3616403A1 (en) * 2017-04-27 2020-03-04 Google LLC Synthetic stereoscopic content capture
US10373362B2 (en) * 2017-07-06 2019-08-06 Humaneyes Technologies Ltd. Systems and methods for adaptive stitching of digital images
US11178377B2 (en) * 2017-07-12 2021-11-16 Mediatek Singapore Pte. Ltd. Methods and apparatus for spherical region presentation
US10950043B1 (en) * 2018-04-03 2021-03-16 A9.Com, Inc. Rendering three-dimensional models on mobile devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
EP3419301A1 (en) * 2016-02-17 2018-12-26 Samsung Electronics Co., Ltd. Method for transmitting and receiving metadata of omnidirectional image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 賴文能, Chapter 3 : Multi-view geometry, 賴文能 101 年 *

Also Published As

Publication number Publication date
BR112021014627A2 (pt) 2021-10-05
EP3918782A1 (en) 2021-12-08
TW202034688A (zh) 2020-09-16
WO2020156827A1 (en) 2020-08-06
CN113366825B (zh) 2024-06-14
CN113366825A (zh) 2021-09-07
CA3127847A1 (en) 2020-08-06
US20220165015A1 (en) 2022-05-26
ZA202106244B (en) 2023-04-26
KR20210118458A (ko) 2021-09-30
MX2021008953A (es) 2021-08-24
EP3691249A1 (en) 2020-08-05
JP7479386B2 (ja) 2024-05-08
JP2022518285A (ja) 2022-03-14

Similar Documents

Publication Publication Date Title
KR102546358B1 (ko) 장면의 타일식 3차원 이미지 표현을 생성하기 위한 장치 및 방법
US20190045125A1 (en) Virtual reality video processing
US12026903B2 (en) Processing of depth maps for images
TWI846808B (zh) 表示場景之影像信號
TWI850320B (zh) 場景的影像表示
KR20200128661A (ko) 뷰 이미지를 생성하기 위한 장치 및 방법
KR102731194B1 (ko) 장면을 나타내는 이미지 신호
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
TW202027500A (zh) 影像產生設備及其方法
JP7556352B2 (ja) 画像特性画素構造の生成および処理
US20220174259A1 (en) Image signal representing a scene