[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI817273B - 即時多視像視訊轉換方法和系統 - Google Patents

即時多視像視訊轉換方法和系統 Download PDF

Info

Publication number
TWI817273B
TWI817273B TW110145027A TW110145027A TWI817273B TW I817273 B TWI817273 B TW I817273B TW 110145027 A TW110145027 A TW 110145027A TW 110145027 A TW110145027 A TW 110145027A TW I817273 B TWI817273 B TW I817273B
Authority
TW
Taiwan
Prior art keywords
video
view
frames
memory
instructions
Prior art date
Application number
TW110145027A
Other languages
English (en)
Other versions
TW202234882A (zh
Inventor
尼可拉斯 多奇斯
Original Assignee
美商雷亞有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商雷亞有限公司 filed Critical 美商雷亞有限公司
Publication of TW202234882A publication Critical patent/TW202234882A/zh
Application granted granted Critical
Publication of TWI817273B publication Critical patent/TWI817273B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明關於一種針對即時多視像視訊轉換的系統和方法。此轉換可以涉及接收視訊串流(其包含二維(2D)畫面)，其中，每個2D畫面對應於各別的2D視訊時戳。此外，還確定了攝影機基線和中心視點。這些參數可以是使用者指定的或預先決定的。基於攝影機基線和中心視點，對於多視像畫面的視像可以確定目標時戳。視像從具有與目標時戳相鄰的2D視訊時戳的2D畫面子集合以產生。將多視像視訊做彩現處理以顯示，其中多視像視訊包括多視像畫面的視像。

Description

即時多視像視訊轉換方法和系統
本發明關於一種視訊轉換方法和系統，特別是即時多視像視訊轉換方法和系統。
視訊串流包含一系列的幀(frame，亦稱為「畫面」)，其中每一畫面可以由二維(2D)影像組成。視訊串流可以根據視訊編碼規範壓縮，以減少視訊檔案大小，並減輕網路頻寬。視訊串流可以由計算裝置從各種來源接收。視訊串流可以藉由圖形管線進行解碼和彩現處理以進行顯示。以特定的畫面更新率呈現這些畫面，以產生視訊的顯示。
新興的顯示技術(諸如全像顯示器、三維(3D)顯示器、體積式顯示器、光場顯示器和其他類似的顯示器)可以提供比傳統2D視訊更身臨其境的觀看體驗。在可以呈現視訊之前，將2D視訊轉換為不同格式的技術可以涉及大量的預處理工作。
為了實現這些與其他優點並且根據本發明的目的，如本文所體現和廣泛描述的，提供有一種電腦實施的即時多視像視訊轉換的方法，其包括：藉由一計算裝置接收包括二維(2D)畫面的一視訊串流，每個2D畫面對應於各別的2D視訊時戳；藉由該計算裝置確認一攝影機基線和一中心視點；藉由該計算裝置基於該攝影機基線和該中心視點，對於一多視像畫面的一視像確定一目標時戳；藉由該計算裝置從具有與該目標時戳相鄰的該等2D視訊時戳的該等2D畫面之一子集合產生該視像；以及藉由該計算裝置將一多視像視訊彩現處理以顯示，該多視像視訊包括該多視像畫面的該視像。
根據本發明一實施例，電腦實施的即時多視像視訊轉換的方法，進一步包括解碼該視訊串流以在該計算裝置的一圖形處理單元記憶體中提取該等2D畫面。
根據本發明一實施例，電腦實施的即時多視像視訊轉換的方法，進一步包括將該等2D畫面從該圖形處理單元記憶體加載到該計算裝置的一中央處理單元記憶體以產生該視像。
根據本發明一實施例，電腦實施的即時多視像視訊轉換的方法，進一步包括在該計算裝置接收該視訊串流的同時，將該多視像視訊做彩現處理以顯示。
根據本發明一實施例，電腦實施的即時多視像視訊轉換的方法，進一步包括藉由該計算裝置經由一使用者介面接收一使用者輸入，該使用者輸入包括該攝影機基線和該中心視點其中的至少一個。
根據本發明一實施例，電腦實施的即時多視像視訊轉換的方法，進一步包括在該計算裝置彩現處理該多視像視訊的同時，動態地更新該攝影機基線和該中心視點其中的至少一個。
根據本發明一實施例，該視像藉由混合該等2D畫面之該子集合以產生。
根據本發明一實施例，電腦實施的即時多視像視訊轉換的方法，進一步包括：藉由該計算裝置確定該目標時戳與鄰近該目標時戳的該等2D視訊時戳之間的時間差；以及藉由該計算裝置執行與該時間差成比例的一加權混合，以產生該視像。
在本發明之另一態樣中，提供有一種配置為執行即時多視像視訊轉換的系統，該系統包括：一中央處理單元；以及一記憶體，其儲存複數個指令，該複數個指令在執行時使該中央處理單元：將一系列二維(2D)畫面加載到一記憶體緩衝區中，每個2D畫面對應於各別的2D視訊時戳；基於一攝影機基線和一中心視點，對於一多視像畫面的一視像確定一目標時戳；以及從具有與該目標時戳相鄰的該等2D視訊時戳的該等2D畫面之一子集合產生該視像，其 中，該多視像畫面的該視像是一多視像視訊的一部分，該多視像視訊配置為要在一多視像顯示器上呈現。
根據本發明一實施例，配置為執行即時多視像視訊轉換的系統，進一步包括：一圖形處理單元，配置為解碼包括該系列2D畫面的一視訊串流，並將2D畫面加載到一圖形處理單元記憶體中，其中，該系列2D畫面配置為從該圖形處理單元記憶體加載到該記憶體緩衝區。
根據本發明一實施例，該多視像視訊配置為在解碼該視訊串流的同時，在該多視像顯示器上呈現。
根據本發明一實施例，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：產生一使用者介面，該使用者介面配置為在該多視像顯示器上顯示；以及經由該使用者介面接收一使用者輸入，該使用者輸入包括該攝影機基線和該中心視點其中的至少一個。
根據本發明一實施例，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：在將該多視像視訊做彩現處理的同時，動態地更新該攝影機基線和該中心視點其中的至少一個。
根據本發明一實施例，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：產生一使用者介面，該使用者介面配置為在該多視像顯示器上顯示；以及回應經由該使用者介面接收的一使用者輸入，在呈現該多視像視訊與呈現一2D視訊串流之間切換。
根據本發明一實施例，該視像藉由混合該等2D畫面之該子集合以產生。
根據本發明一實施例，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：確定該目標時戳與鄰近該目標時戳的該等2D視訊時戳之間的時間差；以及執行與該時間差成比例的一加權混合以產生該視像。
在本發明之另一態樣中，提供有一種儲存有可執行指令的非臨時性、電腦可讀取儲存媒體，該等指令在被一電腦系統的一處理器執行時，會即時執行多視像視訊轉換的操作，該操作包括：接收包括一系列二維(2D)畫面 的一視訊串流，每個2D畫面對應於各別的2D視訊時戳；對於一多視像畫面的一視像確定一目標時戳，該目標時戳與該等2D視訊時戳的一集合相鄰，該等2D視訊時戳的該集合對應於該等2D畫面的一集合；混合該等2D畫面的該集合以產生該視像；以及在接收該視訊串流的同時將一多視像視訊做彩現處理以顯示，該多視像視訊包括該多視像畫面的該視像。
根據本發明一實施例，非臨時性、電腦可讀取儲存媒體，其中，該操作進一步包括：根據使用者指定的一攝影機基線和使用者指定的一中心視點其中的至少一個以確定該目標時戳。
根據本發明一實施例，非臨時性、電腦可讀取儲存媒體，其中，該操作進一步包括：確定該目標時戳與鄰近該目標時戳的該等2D視訊時戳之間的時間差；以及執行與該時間差成比例的一加權混合以產生該視像。
根據本發明一實施例，非臨時性、電腦可讀取儲存媒體，其中，該操作進一步包括：回應經由一使用者介面接收的一使用者輸入，在呈現該多視像視訊和呈現一2D視訊串流之間切換。
103:視訊擷取處理
105:景象
107:攝影機
109:方向
112:2D視訊串流
115:2D畫面
118:多視像視訊
119:多視像轉換處理
121:多視像畫面(A~N)
124:視像(1~n)
127:視訊源
128:緩衝區
130:CPU記憶體
132:CPU
134:圖形管線
137:GPU
140:GPU記憶體
145:攝影機基線
148:中心視點
150:使用者介面
153:第一區域
156:第二區域
160:多視像顯示器
161:主要角度方向
165:接收2D視訊串流
168:編碼2D畫面
171:解碼
174:解碼2D畫面
177:畫面轉儲
180:視像產生
183:多視像參數
186:多視像畫面
189:顯示
192:彩現處理多視像視訊
195a:時間差
195b:時間差
203:視訊源
206:回放緩衝區模組
209:畫面轉儲器
212:畫面的循環緩衝區
215:2D畫面(A~N)
217:輸出彩現處理器
220:多視像視訊
250:使用者介面
304:步驟
307:步驟
310:步驟
313:步驟
1000:計算裝置
1003:處理器
1006:記憶體
1009:I/O組件
1012:顯示器
1015:匯流排
1031:操作系統
1034:應用程式
1037:顯示驅動器
1040:顯示韌體
根據在本發明所述的原理的示例和實施例的各種特徵可以參考以下結合附圖的詳細描述而更容易地理解，其中相同的元件符號表示相同的結構元件，並且其中：圖1是根據與本發明所述原理一致的一實施例，提供將二維(2D)視訊串流轉換為多視像視訊的處理的概觀圖。
圖2是根據與本發明所述原理一致的一實施例，顯示接收2D視訊串流並將2D畫面加載到緩衝區中的示意圖。
圖3是根據與本發明所述原理一致的一實施例，顯示從2D畫面子集合產生多視像視訊畫面的視像的示例的示意圖。
圖4是根據與本發明所述原理一致的一實施例，顯示用於接收多視像參數的使用者介面的示例的示意圖。
圖5是根據與本發明所述原理一致的一實施例，顯示將多視像視訊做彩現處理以顯示的示例的示意圖。
圖6是根據與本發明所述原理一致的一實施例，顯示在接收2D視訊串流作為輸入的同時，將多視像視訊即時轉換與彩現處理以顯示的示例的示意圖。
圖7A是根據與本發明所述原理一致的一實施例，顯示執行與時間上相鄰的2D畫面的時間差成比例的加權混合以產生視像的示例的示意圖。
圖7B是根據與本發明所述原理一致的一實施例，顯示執行時間上相鄰的2D畫面的基於運動的混合以產生視像的示例的示意圖。
圖8是根據與本發明所述原理一致的一實施例，顯示用於將2D視訊串流即時轉換為多視像視訊的架構的示例的示意圖。
圖9是根據與本發明所述原理一致的一實施例，顯示執行即時多視像視訊轉換的系統和方法的流程圖。
圖10是根據與本發明所述原理一致的一實施例，顯示執行即時多視像視訊轉換的計算裝置的示例的示意方塊圖。
特定示例和實施例具有上述參考附圖所示的特徵之外的其他特徵，或者具有代替上述參考附圖中所示的特徵的其他特徵。下文將參照上述參考附圖，詳細描述這些特徵和其他特徵。
根據本發明所述原理的示例和實施例，本發明提供了一種將二維(2D)視訊串流(video stream)即時轉換為多視像(multiview)視訊的技術。具體來說，本實施例旨在接收2D視訊串流，並將2D視訊串流的2D畫面轉儲(dump)到緩衝區以轉換。二維視訊串流可以表示所擷取的景象(scene)，其中，攝影機的視野沿著相對於景象的線性方向或繞行軌道方向移動。這可以涉及沿某特定方向的平移或者圍繞物體的盤旋。本實施例旨在從2D畫面的採樣子集合中計算出多視像畫面的不同視像。各種多視像參數(例如攝影機基線或中心視點)用於定義多視像畫面中每個視像的目標時戳(timestamp)。使用目標時戳，識別(例如採樣)時間上相鄰的2D畫面，並混合以產生多視像畫面的每 個視像。多視像畫面可以從傳入的二維視訊串流中即時產生，以實現多視像視訊的即時轉換與彩現處理(rendering)。
根據實施例，藉由基於時戳對2D畫面採樣，可以即時動態產生多視像畫面。此外，使用者介面可以允許對多視像參數進行即時更改，從而動態地調整即時彩現處理的輸出。
圖1是根據與本發明所述原理一致的一實施例，提供將二維(2D)視訊串流轉換為多視像視訊的處理的概觀圖。視訊擷取處理103涉及擷取景象105的視訊。景象105可以是觀看者感興趣的物體的實體排列。視訊擷取處理103可以在攝影室或任何其他實體環境中進行。其目的是使用攝影機107對景象105進行視覺擷取。攝影機107可以擷取視訊，其中，視訊是由依時間順序的一系列影像(稱為畫面(frame))組成的。攝影機107可以沿著相對於景象的特定的方向109移動，以擷取景象105的不同角度。方向109可以主要是線性方向或繞行軌道方向，以擷取景象的不同視角。
攝影機107可以連接到相對於景象105移動的車輛上。車輛可以是無人機或其他無人飛行載具(unmanned aerial vehicle，UAV)。在一些示例中，景象105可以包含設置在轉盤上的一個或多個物體，轉盤相對於固定的攝影機107旋轉。視訊擷取處理103最終將占據實體空間的景象的視覺細節轉化為2D視訊串流112。2D視訊串流可以由依時間順序的一系列2D畫面115組成。每個2D畫面115表示景象在特定時間點的單一視像。時間可以記錄特定於對應的2D畫面的時戳。以目標畫面更新率依序呈現2D畫面的結果為觀看者所感知的2D視訊。
雖然2D視訊串流112描述為實體景象的視訊，但應理解為，2D視訊串流112可以藉由相對於3D模型移動虛擬攝影機以產生。例如，遊戲引擎和其他3D模型產生器可以藉由將(以位置和方向定義)虛擬攝影機應用於3D模型(例如，以點雲、表面網格、紋理圖等定義的景象的體積模型)以產生2D視訊。
攝影機107可以經由網路將2D視訊串流傳輸或以其他方式上傳到儲存庫。儲存庫可以包含記憶體儲存器、伺服器、基於雲端的儲存器，或其他配置為接收和儲存視訊檔案的電腦系統。網路可以包含網際網路、內部網路、無線網路、有線網路，或任何其他有利資料流程的網路。2D視訊串流112可以根 據特定的編碼格式以編碼。編碼涉及應用有損或無損的壓縮以減少檔案大小，以適應網路頻寬。視訊編碼格式可以是，例如，H.264格式、H.265格式，任何由動態影像專家小組(Moving Picture Experts Group，MPEG)指定的格式，等等。此外，2D視訊串流112可以分封化以便在網際網路協定(Internet Protocol，IP)網路上傳輸。
多視像視訊118可以使用多視像轉換處理119從2D視訊串流112產生。多視像轉換處理119是由電腦實施的處理，其將2D視訊串流轉換為可以彩現處理以顯示的多視像視訊118。多視像轉換處理119可以實現為可由處理器執行的軟體程式、程序或模組。多視像轉換處理119可以接收2D視訊串流112作為壓縮的、分封的資料串流。例如，多視像轉換處理119可以使用應用程式介面(Application Programming Interface，API)或其他函數呼叫(function call)，以從儲存庫檢索2D視訊串流112。2D視訊串流可以是直播視訊，以使視訊擷取處理103在擷取景象105的視訊時傳輸2D視訊串流，並將2D視訊串流到實施多視像轉換處理的電腦系統。在一些實施例中，2D視訊串流112包含預錄的(非即時)視訊，其配置為根據請求向計算裝置形成串流。
多視像視訊118可以作為一個或多個電腦檔案或以其他檔案格式儲存在記憶體中。多視像視訊118包括一系列多視像畫面121，其描述為多視像畫面A到多視像畫面N。多視像畫面121以指定的畫面更新率(其表示為每秒的畫面更新率(frame rate per second，FPS))依時間順序顯示。因此，多視像畫面121是多視像影像。每個多視像畫面121是由複數個視像124組成的。例如，多視像畫面A描述為具有視像1到視像n，其可以適用於多視像視訊118中的每個多視像畫面121。在一些實施例中，當彩現處理在多視像顯示器上時，多視像畫面121的每個視像124對應於各個主要角度方向，其位於相對於多視像顯示器的表面法線處。因此，觀看者可以同時感知到多個不同的視像124。這導致三維(3D)或光場影像內容。
本實施例針對的是多視像轉換處理119，其可以即時將2D視訊串流轉換為多視像視訊。此外，多視像轉換處理119允許在接收2D視訊串流時進行即時彩現處理和顯示。本發明中，「二維顯示器」或「2D顯示器」定義為配置以提供影像的視像的顯示器，而不論該影像是從甚麼方向觀看的(亦即，在2D 顯示器的預定視角內或預定範圍內)，該影像的視像基本上是相同的。很多智慧型手機和電腦螢幕中會有的傳統液晶顯示器(LCD)是2D顯示器的示例。與此相反，「多視像顯示器」定義為配置從使用者的視點相對於在不同視像方向(view direction)上或從不同視像方向同時提供多視像影像(multiview image)的不同視像(different views)的電子顯示器或顯示系統。具體來說，不同視像可以呈現多視像畫面的不同立體圖。
多視像顯示器可以使用適應不同影像視像的呈現的各種技術以實現，從而同時感知不同影像。多視像顯示器的一個示例是採用繞射光柵以控制不同視像的主要角度方向的多視像顯示器。根據一些實施例，多視像顯示器可以是光場顯示器，其呈現對應不同的視像的不同顏色和不同方向的複數個光束的顯示器。在一些示例中，光場顯示器是所謂的「裸視立體」三維(3D)顯示器，其可以使用繞射光柵以提供多視像影像的自動立體呈現，而不需要特別的眼鏡以感知深度。在一些實施例中，多視像顯示器可以需要眼鏡或其他覆眼裝置已控制使用者的每隻眼睛感知哪些視像。
如本發明所用，「視差(disparity)」定義為多視像影像的至少兩個視像在對應位置的差別。例如，在立體視覺的背景中，左眼和右眼可以看到同一個物體，但由於兩眼之間的視角不同，其物體的位置會略有不同。這種差別可以量化為視差性。整個多視像影像的視差變化表達了深度感。
如本發明所使用，「基線(baseline)」或「攝影機基線」定義為擷取景象的對應視像的兩個攝影機(或在不同時間點上的單一攝影機)之間的距離。例如，在立體視覺的背景中，基線是左眼和右眼之間的距離。較大的基線會導致視差的增加，並且可以增強多視像影像的三維效果。
如本發明所使用，「匯聚偏移(convergence offset)」指的是攝影機和沿著匯聚平面的點之間的距離。修改匯聚偏移將改變匯聚平面的位置，以便將多視像影像重新聚焦到不同深度的新物體上。
此外，如本發明所使用的，冠詞「一」旨在具有其在專利領域中的通常含義，亦即「一個或多個」。例如，「一處理器」指一個或多個處理器，並因此，本發明中「一記憶體」是指「一個或多個記憶體組件」。
本實施例針對的是一種由電腦實施的即時多視像視訊轉換方法。如下文將進一步詳細討論的，圖10提供一個計算裝置的示例，其配置為實施即時多視像視訊匯聚的方法。上文相對圖1所討論的多視像轉換處理119可以配置為執行即時多視像轉換。即時多視像轉換可以包含接收視訊串流(其包括二維(2D)畫面)，其中，每個2D畫面對應於各別的2D視訊時戳。即時多視像轉換可以包含確定攝影機基線和中心視點。即時多視像轉換可以進一步包含根據攝影機基線和中心視點對於多視像畫面的視像確定目標時戳。即時多視像轉換可以進一步包含從2D畫面子集合產生視像，2D畫面子集合具有與目標時戳相鄰的2D視訊時戳。即時多視像轉換可以進一步包含將多視像視訊彩現處理以顯示，多視像視訊包括多視像畫面的視像。
在一些實施例中，即時多視像轉換可以包含將視訊串流解碼，以提取圖形處理單元(GPU)記憶體中的2D畫面。在一些實施例中，即時多視像轉換可以包含將2D畫面從GPU記憶體加載到中央處理單元(CPU)記憶體以產生視像。在一些實施例中，即時多視像轉換可以包含在接收視訊串流的同時將多視像視訊彩現處理以顯示。
部分實施例針對於使用者介面，其在多視像視訊轉換過程中即時獲得使用者指定參數並應用這些使用者指定參數。例如，即時多視像轉換可以包含經由使用者介面接收使用者輸入，使用者輸入包括攝影機基線和中心視點其中的至少一個。在一些實施例中，即時多視像轉換可以包含在彩現處理多視像視訊時動態地更新攝影機基線和中心視點。
在一些實施例中，視像是藉由混合2D畫面的集合以產生。在一些實施例中，即時轉換過程包含確定目標時戳與鄰近目標時戳的2D視訊時間之間的時間差，並且可以進一步包含執行與時間差成比例的加權混合(weighted blend)以產生視像。在一些實施例中，2D畫面的混合可以使用基於運動的混合(motion-based blend)以執行。
圖2是根據與本發明所述原理一致的一實施例，顯示接收2D視訊串流並將2D畫面加載到緩衝區中的示意圖。在此態樣，圖2至少顯示即時多視像視訊轉換的一部分。例如，圖2描繪接收包括二維(2D)畫面的2D視訊串流112，每個2D畫面(例如2D畫面115)對應於各別的2D視訊時戳。時戳可以是反應以 任何時間單位(如秒、日期/時間等)表示的相對或絕對時間的值。每個2D畫面可以包含時戳，以組織時間序列中的畫面。
2D視訊串流112可以由計算裝置從視訊源127接收。視訊源127可以位在相對於計算裝置的遠處，並通過無線網路或有線網路連接與計算裝置耦合。網路連接可以是網際網路連接、內部網路連接、點對點連接，或任何其他網路連接。在這方面，2D視訊串流112可以通過網路從遠端電腦系統下載(例如即時串流)。視訊源127也可以是相對於計算裝置而言的本地端。例如，視訊源127可以包含攝影機應用程式，其接收由與計算裝置通訊的本地攝影機所擷取的視訊。攝影機應用程式可以將本地攝影機的視訊資料轉換為2D視訊串流112。在某些情況下，2D視訊串流112可以格式化為本體格式，以使其沒有被編碼或以其他方式壓縮。在各個實施例中，2D視訊串流表示即時從視訊擷取過程103中獲得的直播視訊。
2D視訊串流112一部分的2D畫面115可以提取並加載到緩衝區128。緩衝區128可以定義為位址空間，其為中央處理單元(CPU)記憶體130的一部分，CPU記憶體130在其中由CPU132使用。CPU132可以是通用處理器，其執行指令、支持操作系統，並提供應用程式(例如使用者級應用程式)。CPU記憶體130可以是系統記憶體，其可由操作系統或在計算裝置上執行的應用程式存取。計算裝置可以包含接收2D視訊串流的圖形管線134。本發明所使用的「圖形管線」定義為以電腦實施的環境，其將影像資料彩現處理以顯示。圖形管線134可以包含一個或多個圖形處理單元(GPUs)137或其他專門處理電路，其最佳化為將影像內容呈現到螢幕。例如，GPU137可以包含向量處理器，其執行指令集以對資料陣列進行並行操作。圖形管線134可以包含圖形卡、圖形驅動器或其他用於彩現處理圖像的硬體和軟體。圖形管線134可以配置為將影像呈現在多視像顯示器上。圖形管線134可以將像素映射到顯示器的對應位置，並控制顯示器發出光以顯示所彩現處理的影像。圖形管線134也可以包含GPU記憶體140。GPU記憶體140可以包含一個或多個由圖形管線134使用的記憶體裝置。
在一些實施例中，圖形管線134是與CPU132分開的子系統。例如，圖形管線134可以包含與CPU132分開的GPU137。在一些實施例中，圖形管線134純粹是由CPU132作為軟體實現的。例如，CPU132可以執行軟體模組，作 為圖形管線134操作，而不需要專門的圖形硬體。在一些實施例中，圖形管線134的部分以專門的硬體實現，而其他部分則由CPU132實現為軟體模組。
圖形管線134可以用於解碼視訊串流，以提取GPU記憶體140中的2D畫面。例如，圖形管線134可以對2D視訊串流112解碼，以根據編碼格式識別2D畫面。例如，在MPEG編碼格式中，畫面可以格式化為I畫面(I-frame)、P畫面(P-frame)、B畫面(B-frame)等。圖形管線134可以將解碼的2D畫面儲存在GPU記憶體140中。然後，這些解碼的2D畫面可以通過畫面轉儲處理加載到緩衝區128中。
雖然圖2顯示執行解碼和畫面擷取的圖形管線134，但應理解的是，在對2D視訊串流112解碼後，可以使用專用的硬體或軟體解碼器將2D畫面115加載到緩衝區128中。在從2D視訊串流112中擷取2D畫面115並將其加載到緩衝區128之後，即時多視像視訊轉換就會對緩衝的2D畫面進行處理，具體細節將在下文中進一步描述。
圖3是根據與本發明所述原理一致的一實施例，顯示從2D畫面子集合產生多視像視訊畫面的視像的示例的示意圖。如圖3的示例所示，2D畫面是2D視訊串流112的一部分。每個2D畫面表示景象的快照，其中景象是由不同深度的物體(例如描繪為圓、三角形、五邊形)組成的。此外，2D視訊串流112表示攝影機相對於觀看者在水平方向上平移時的景象。
圖3描繪使用2D畫面115的即時多視像視訊轉換，2D畫面115可以加載到緩衝區128中以作為轉換處理的輸入。此示例顯示一系列的2D畫面115，其描述為畫面A到畫面E。每個2D畫面115對應於各別的2D視訊時戳(顯示為通用時間單位)。例如，畫面A的時戳為0.0、畫面B的時戳為9.0、畫面C的時戳為18.0、畫面D的時戳為27.0，並且畫面E的時戳為36.0。因此，相鄰畫面之間的時間間隔是9.0個單位的時間。每一畫面的時戳可以儲存為元資料(metadata)。
電腦實施的即時多視像視訊轉換方法涉及使用每個2D畫面的時戳從2D視訊串流112中的2D畫面來產生多視像視訊118。具體來說，此涉及產生一系列的多視像畫面121，其中每個多視像畫面包含不同視像的集合。圖3的示 例使用四個視像124(視像1、視像2、視像3和視像4)以定義每個多視像畫面121。應理解的是，可以使用任何數量的不同視像以定義多視像畫面121。
為了產生每個視像(例如，視像1、視像2、視像3和視像4(視像124))，即時多視像視訊轉換處理可以涉及辨識攝影機基線145和中心視點148。攝影機基線145和中心視點148是多視像參數，其控制在哪裡對2D採樣，以產生多視像畫面121的不同視像。攝影機基線145量化與對應視像相關的攝影機位置(例如虛擬或實體攝影機)之間的距離。大的攝影機基線145表示著景象的兩個視像是從相隔很遠的點上拍攝的。在這方面，隨著攝影機基線145的增加，視像之間的整體視差會增加。而攝影機基線145可以以兩個視點之間的空間的距離為特徵，攝影機基線145也可以表示為時間差，以便進行多視像視訊轉換。例如，攝影機基線145可以根據攝影機的線性運動或軌道運動表示為空間距離也表示為時間距離。在此示例中，攝影機基線145是8.0個單位的時間。
中心視點148指定多視像畫面121中的視像範圍之間的中點。例如，中心視點148是可以與最左視像和最右視像等距的位置。中心視點148可以是表示為多視像畫面121的視點之間的空間距離或基於時間點的時間距離的位置，以構建多視像畫面121。在一些實施例中，攝影機基線145和/或中心視點148可以是儲存在記憶體中的預定參數或以其他方式硬編碼。攝影機基線145和中心視點148可以藉由執行查找或其他讀取命令，來確定表示攝影機基線145和中心視點148的值。在其他實施例中，攝影機基線145和/或中心視點148可以是可以由使用者指定。此外，攝影機基線145和/或中心視點148可以在即時多視像視訊轉換中根據使用者的輸入而動態改變。
即時多視像視訊轉換也可以包含根據攝影機基線145和中心視點148對於多視像畫面121的視像確定目標時戳。攝影機基線145和中心視點148可以用於在視像產生前計算每個視像的目標時戳。例如，中心視點148可以為多視像畫面121指定時間上的中心點，而攝影機基線145可以定義每個視像之間的時間間隔，因為每個視像在時間上圍繞中心點定位。
例如，圖3描繪藉由對2D畫面115(例如畫面A到畫面E)採樣，以產生特定多視像畫面121的四個視像124(例如視像1到視像4)。目標時戳是由7.0個時間單位的攝影機基線145和17.0個時間單位的中心視點148計算出來， 以用於多視像畫面121。使用攝影機基線145和中心視點148，視像1的目標時戳為7.0個時間單位、視像2的目標時戳為15.0個時間單位、視像3的目標時戳為23.0個時間單位、並且視像4的目標時戳為31.0個時間單位。每個視像124都被以時間單位表示的攝影機基線145分開(例如，8.0個時間單位)。此外，中間視像124(例如視像2和視像3)位於中心視點148的任何一側(例如時間等距)。因此，每個視像的目標時戳為了構成多視像畫面121以確定。因此，確定了每個多視像畫面121的目標時戳的集合。
即時多視像視訊轉換也可以包含從2D畫面115子集合產生視像，2D畫面115子集合具有與目標時戳相鄰的2D視訊時戳。例如，在確定目標時戳後，多視像畫面121的每個視像會從2D畫面子集合中產生。2D畫面115的子集合可以是至少一對2D畫面115，其為與目標時戳相鄰的時戳。例如，為了產生視像1，目標時戳是7.0個時間單位。具有與此目標時戳相鄰的2D視訊時戳的2D畫面115的子集合是畫面A和畫面B。為了產生視像2，具有與此目標時戳相鄰的2D視訊時戳的2D畫面115的集合是畫面B和畫面C。為了產生視像3，具有與此目標時戳相鄰的2D視訊時戳的2D畫面115的集合是畫面C和畫面D。並且，為了產生視像4，具有與此目標時戳相鄰的2D視訊時戳的2D畫面115的集合是畫面D和畫面E。具有與此目標時戳相鄰的2D視訊時間戳的2D畫面115可以包含在時間上最接近目標時戳的至少兩個2D畫面115。
對於特定視像，在確定具有與該目標時戳相鄰的2D視訊時戳的2D畫面115的子集合後，視像124會藉由組合2D畫面115的子集合以產生。舉例而言，視像是藉由混合2D畫面子集合以產生。在一些實施例中，混合可以是一種線性混合。在其他實施例中，混合可以是基於運動的混合。混合可以是像素接著像素的混合處裡。使用混合操作從採樣的2D畫面115的子集合產生視像124的示例會相對圖7A和圖7B更詳細的討論。
即時多視像視訊轉換可以也包含將多視像視訊118彩現處理以顯示，多視像視訊118包括多視像畫面121的視像。例如，在產生每個多視像畫面121的每個視像後，多視像畫面可以格式化為預定義視訊格式的多視像視訊118。另外，即時多視像視訊轉換可以包含在接收視訊串流的同時將多視像視訊118彩現 處理以顯示。這使視訊在接收2D視訊時能以多視像格式即時彩現處理。此處將相對圖5更詳細地討論。
再次參見圖2，即時多視像轉換可以包含將視訊串流解碼，以提取圖形處理單元(GPU)記憶體140中的2D畫面。2D視訊串流112可以根據預定的編碼格式以初始編碼。2D畫面115(例如畫面A至畫面E)最初可以被編碼或以其他方式壓縮，以減少2D視訊串流的檔案大小。在將2D畫面解碼到GPU記憶體140中後，即時多視像轉換可以包含將2D畫面從GPU記憶體140加載到CPU記憶體130以產生視像124(例如視像1到視像4)。具體來說，即時多視像轉換可以在解碼時將2D畫面115即時轉儲到緩衝區128。
圖4是根據與本發明所述原理一致的一實施例，顯示用於接收多視像參數的使用者介面的示例的示意圖。即時多視像視訊轉換可以由應用程式實施，其產生用於接收使用者輸入的使用者介面150。例如，即時多視像視訊轉換可以包含經由使用者介面150接收使用者輸入，使用者輸入包括攝影機基線145或中心視點148其中的至少一個。另外，即時多視像視訊轉換可以包含在將多視像視訊118彩現處理的同時動態地更新攝影機基線145和中心視點148。因此，當2D視訊串流轉換為多視像視訊118時，使用者可以動態修改各種多視像參數以動態改變多視像視訊的多視像屬性。
使用者介面150可以包含第一區域153，其顯示彩現處理的多視像視訊118。使用者介面250可以包含第二區域156，其包含各種使用者介面元件的。例如，使用者介面元件可以是滑件、核取方塊、文字欄位、按鈕、開關等等。第二區域156可以疊加在第一區域153上，或者位於第二區域156旁邊。使用者可以使用游標、滑鼠、鍵盤或觸控螢幕介面與各種使用者介面元件互動。
使用者介面150可以接收對於攝影機基線145、平移設置、變焦設置、匯聚偏移、順時針/逆時針選擇、2D/多視像選擇，或任何其他視訊設置的使用者選擇。攝影機基線145控制可以即時動態產生的多視像畫面的視像的目標時戳。例如，平移設置可以轉移視野，從而指定中心視像148。向左平移或向右平移可能導致中心視點148按比例移動。縮放設置可以調整應用於每個多視像畫面121的裁剪區域。舉例而言，使用者可以夾捏縮放或以其他方式操縱縮放控 制條，以指定彩現處理的多視像視訊的區域，並從中放大或縮小。2D畫面115或多視像畫面121可以根據使用者指定的視訊置進行動態處理。
使用者可以指定匯聚偏移。匯聚偏移可以應用於多視像畫面121，以改變多視像視訊彩現處理時匯聚平面的位置。匯聚平面的位置可以修改以更接近或更遠離觀看者。假設在水平視差的情況下(例如當景象在水平方向上相對於攝影機移動時被擷取)，匯聚偏移可以藉由對一個或多個視像進行水平像素偏移操作以修改。水平像素偏移操作可以涉及裁剪每個視像的左邊緣或右邊緣，以有效地水平偏移視像。因此，中心視點148左側的視像可以進一步向左偏移，而中心視點148右側的視像可以進一步向右偏移。或者說，中心視點148左側的視像可以進一步向右偏移，而中心視點148右側的視像可以進一步向左偏移。水平偏移和/或偏移方向的幅度與匯聚偏移相對應。
使用者也可以藉由選擇順時針或逆時針的選擇器以指定視像順序。例如圖3描繪順時針方向，其中視像1定位為最左視像，並且視像4定位為最右視像。視像順序可以修改為逆時針方向，以使視像4定位為最左的視像、視像3定位為左中的視像、視像2定位為右中的視像、並且視像1定位為最右的視像。可以期望的是，使用者根據景象的整體運動方向(例如向左平移、向右平移等)來修改視像順序(例如順時針或逆時針)。
使用者介面150可以包含各種其他的影像處理操作，其調整多視像視訊的最終呈現。使用者指定的參數可以在即時多視像視訊轉換中即時提供。
在一些實施例中，使用者介面150包含選擇器以在2D視訊串流以其原始的2D格式呈現或將2D視訊串流彩現處理為多視像視訊之間選擇。觀看者可以使計算裝置回應經由使用者介面接收的使用者輸入，在呈現多視像視訊和呈現2D視訊串流之間切換。選擇2D格式可以繞過多視像視訊轉換。
圖5是根據與本發明所述原理一致的一實施例，顯示將多視像視訊彩現處理以顯示的示例的示意圖。例如，圖5描繪將多視像視訊118彩現處理以顯示的示例，多視像視訊包括多視像畫面121，每個多視像畫面121包括不同視像124的各個集合(例如視像1到視像4)。如上文所述，應用程式可以提供即時多視像視訊轉換，其從2D視訊串流中產生包括多視像畫面121的多視像視訊。 在產生多視像視訊時，應用程式可以與圖形管線134相接，以在多視像顯示器160上呈現包括多視像畫面121的多視像視訊。圖形管線134可以將每個多視像畫面121的每個視像124映射到多視像顯示器160上的對應像素位置。因此，每個視像124可以對應各個主要角度方向161。雖然圖5提供多視像顯示器160的一個示例，但其他實施例可以用於顯示多視像影像。例如，部分實施例可以需要特殊的眼鏡以感知不同的視像。
圖6是根據與本發明所述原理一致的一實施例，顯示在接收2D視訊串流作為輸入的同時，將多視像視訊即時轉換與彩現處理以顯示的示例的示意圖。如圖6所示，本實施例針對即時多視像視訊轉換，其可以在接收視訊串流的同時將多視像視訊彩現處理以顯示。圖6描繪可以藉由管線以實施平行處理的各種電腦處理。
即時多視像轉換可以藉由接收2D視訊串流165開始。2D視訊串流可以包括一系列2D畫面115，其根據視訊編碼格式格式化為編碼2D畫面168。附圖具體顯示包含在2D視訊串流中的編碼2D畫面168。
當接收2D視訊串流時，即時多視像視訊轉換可以執行解碼171。解碼可以涉及解壓或以其他方式從2D視訊串流中擷取2D畫面。圖形管線134、軟體解碼器或硬體解碼器可以執行解碼171。編碼2D畫面168解碼成解碼2D畫面174。接下來，當2D畫面解碼時，即時多視像視訊轉換可以執行畫面轉儲177。畫面轉儲177可以涉及在解碼時用解碼2D畫面174填充緩衝區128。在此方面，緩衝區128可以是CPU記憶體或其他系統記憶體中的位址空間，其包含最近的解碼2D畫面174。在一些實施例中，緩衝區128是循環緩衝區，其用新的解碼2D畫面替換舊的解碼2D畫面。
接下來，當緩衝區128加載到最近的解碼2D畫面174時，即時多視像視訊轉換會執行視像產生180，以產生每個多視像畫面的視像。圖6中具體顯示從緩衝區128中採樣的特定多視像畫面186是如何從複數個解碼2D畫面174中產生的。例如，這可以涉及從2D畫面子集合產生每個視像，2D畫面子集合具有與視像的目標時戳相鄰的2D視訊時戳。在產生視像的同時，可以確定多視像參數183。例如，多視像參數183可以包含：表示攝影機基線145、中心視點148、匯聚偏移的資料，或者控制多視像畫面的視像應該如何產生以及控制在產生視 像時採樣哪些2D幀的其他參數。多視像參數183可以藉由從記憶體中讀取多視像參數183以辨識。多視像參數183可以由使用者經由使用者介面指定。因此，使用者可以提供使用者輸入以即時控制視像產生180，以改變如何對2D畫面的採樣以產生視像。
接下來，即時多視像視訊轉換可以包含顯示189。顯示189可以涉及在接收2D視訊串流的同時將多視像視訊彩現處理以顯示。多視像視訊是由時間序列的多視像畫面186而組成，其構成彩現處理多視像視訊192的一部分。圖形管線可以將不同視像的像素映射到多視像顯示器的對應位置，以向使用者展示多視像視訊。
圖7A和圖7B提供藉由混合2D畫面子集合以產生視像的示例。具體來說，圖7A是根據與本發明所述原理一致的一實施例，顯示執行與時間上相鄰的2D畫面的時間差成比例的加權混合以產生視像的示例的示意圖。本發明中，「加權混合」定義為兩個變量(例如像素值)的總和或其他組合，其中每個變量根據各個系數(例如權重)進行加權。例如，為了產生視像1，為視像1計算目標時戳，亦即7.0個時間單位。根據目標時戳確定時間上相鄰的2D畫面子集合，其為畫面A和畫面B。加權混合可以是與時間上相鄰的畫面(例如畫面A和畫面B)之間的時間差成比例的加權混合。加權混合中的係數與時間差對應。例如，混合操作可以涉及確定目標時戳和鄰近目標時戳的2D視訊時戳之間的時間差。例如，視像1相對於畫面A可以具有7.0個時間單位的時間差195a，並且相對於幀畫面可以具有2.0個時間單位的時間差195b。因此，視像1可量化地要比視像A更接近畫面B。在確定這些時間差195a和時間差195b後，可以藉由執行與時間差成比例的加權混合來產生視像1，以產生視像124。此可以涉及執行線性像素混合，其根據這些時間差異加權。因此，視像1看起來會更像畫面B而不是畫面A。
圖7B是根據與本發明所述原理一致的一實施例，顯示執行時間上相鄰的2D畫面的基於運動的混合以產生視像的示例的示意圖。例如，使用運動估測技術可以確定時間上相鄰的2D畫面之間的光流。光流是由向量組成的資料集合，其表達特徵如何從初始畫面移動到後續畫面。在這方面，光流包含不同物體或不同像素群組從一個畫面到下一個畫面的速度。光流可以格式化為向 量的矩陣。圖7B顯示畫面B與光流資料重疊，以顯示各種物體相對於畫面A的速度。在確定畫面A和畫面B之間的光流後，可以使用光流根據這些時間上相鄰的畫面的混合以產生視像1。
舉例而言，即時多視像視訊轉換可以在基於處理器的系統中體現，例如計算裝置。在這方面，本實施例針對配置為執行即時多視像視訊轉換的系統，該系統包括中央處理單元(CPU)和儲存複數個指令的記憶體，其執行時會使CPU執行各種執行即時多視像視訊轉換的處理。此系統的示例將在下文相對圖10更詳細地討論。
複數個指令在執行時可以使CPU將一系列二維(2D)畫面加載到記憶體緩衝區，每個2D畫面對應於各別的2D視訊時戳；根據攝影機基線和中心視點，對於多視像畫面的視像確定目標時戳；並且從具有與目標時戳相鄰的2D視訊時戳的2D畫面子集合以產生視像。此外，多視像畫面的視像是多視像視訊的一部分，其配置為在多視像顯示器上呈現。
圖8是根據與本發明所述原理一致的一實施例，顯示用於將2D視訊串流即時轉換為多視像視訊的架構的示例的示意圖。圖8顯示基於處理器的系統，其執行指令以進行即時多視像視訊轉換。具體來說，圖8描繪視訊源203，其將包括一系列2D畫面的2D視訊串流，每個2D畫面對應於各別的2D視訊時戳。視訊源203可以類似於上文相對圖2所討論的視訊源127。
基於處理器的系統可以包含回放緩衝區(echobuffer)模組206，其由儲存在記憶體中並可由處理器(例如CPU)執行的指令集合執行。回放緩衝區模組206可以實施各種應用程式編程介面(application programming interfac，APIs)、函數呼叫或命令以接收2D視訊串流，將2D畫面轉換成多視像畫面，並將多視像視訊輸出即時彩現處理。回放緩衝區模組206可以與各種記憶體裝置相接，以加載並檢索視訊內容(例如畫面)。回放緩衝區模組206可以包含畫面轉儲器209。畫面轉儲器209配置為將一系列二維(2D)畫面加載到記憶體緩衝區中。記憶體緩衝區可以是畫面的循環緩衝區212。
在一些實施例中，畫面轉儲器209與具有圖形處理單元(GPU)的圖形管線相接，其配置為解碼包括一系列2D畫面的視訊串流。GPU可以配置 為將2D畫面加載到GPU記憶體中，以作為解碼2D畫面。然後，畫面轉儲器209可以將一系列2D畫面從GPU記憶體加載到記憶體緩衝區(例如畫面的循環緩衝區212)。因此，一系列2D畫面配置為從GPU記憶體加載到記憶體緩衝區。如圖8所示，記憶體緩衝區儲存包含畫面A到畫面N的2D畫面215。
回放緩衝區模組206可以根據攝影機基線和中心視點，對於多視像畫面的視像確定目標時戳。這可以與圖4的示例類似，圖4顯示攝影機基線145和中心視點148，以用於確定特定視像的目標時戳。回放緩衝區模組206可以包含輸出彩現處理器217，其配置為從具有與目標時戳相鄰的2D視訊時戳的2D畫面子集合產生視像。例如，如上文相對圖7A或圖7B所討論的有關的混合處理可以用於產生基於時間上相鄰的2D畫面的視像。舉例而言，如上文相對圖7A所討論的，CPU可以配置為確定目標時戳與鄰近目標時戳的2D視訊時戳之間的時間差，並且執行與時間差成比例的加權混合以產生視像。如上文相對圖7B所討論的，CPU也可以配置為對時間上相鄰的2D畫面進行基於運動的混合。
輸出彩現處理器217可以產生多視像畫面的多視像視訊220。每個多視像畫面是由不同視像的集合組成的。視像可以藉由將所採樣的時間上相鄰的2D畫面混合在一起以產生。多視像視訊220可以格式化為適合的視訊檔案格式並儲存在記憶體中。多視像視訊220可以配置為在多視像顯示器上彩現處理。上文相對圖5所討論的將多視像視訊彩現處理以顯示的示例。多視像視訊可以配置為在多視像顯示器上呈現，同時如上文相對圖6所討論的那樣對視訊串流解碼。
回放緩衝區模組206可以是由CPU執行的應用程式的一部分，或以其他方式與該應用程式一起工作，以提供使用者介面。使用者介面可以類似上文相對圖4所討論的使用者介面。應用程式可以實施為複數個指令，其可以由CPU執行，以使CPU產生配置為在多視像顯示器上顯示的使用者介面。此外，CPU可以經由使用者介面接收使用者輸入，使用者輸入包括攝影機基線和中心視點其中的至少一個。在將多視像視訊彩現處理時，CPU可以動態地更新攝影機基線和中心視點其中的至少一個。CPU也可以回應經由使用者介面接收的使用者輸入，在呈現多視像視訊和呈現2D視訊串流之間切換。例如，選擇2D視訊格式可以繞過回放緩衝區模組206，將接收到的2D視訊直接路由到圖形管線以呈現，而不需要即時的多視像視訊轉換。
圖9是根據與本發明所述原理一致的一實施例，顯示執行即時多視像視訊轉換的系統和方法的流程圖。圖9的流程圖提供由執行指令集的計算裝置實施的不同類型功能的一個示例。圖9的流程圖也可視為根據一個或多個實施例描繪的以電腦實施的方法的元件的示例。圖9的流程圖也可視為描繪儲存有可執行指令的非臨時性、電腦可讀取儲存媒體的操作，該指令在被電腦系統的處理器執行時，會即時執行多視像視訊轉換的處理。
在步驟304中，該處理包含接收視訊串流(其包括二維(2D)畫面)，每個2D畫面對應於各別的2D視訊時戳。2D畫面可以類似相對圖3所討論的2D畫面115。
在步驟307中，該處理包含對於多視像畫面的視像確定目標時戳。如上文關於圖3的討論，目標時戳可以與2D視訊時戳的集合相鄰，其對應於2D畫面的集合。在一些實施例中，該操作包含根據使用者指定的攝影機基線或使用者指定的中心視點其中的至少一個以確定目標時戳。舉例而言，使用者介面可以用於獲得類似上文相對圖4所討論的使用者輸入。
在步驟310中，該處理包含混合2D畫面的集合以產生視像。舉例而言，如上文相對圖7A所討論的，該混合可以涉及為確定目標時戳與鄰近目標時戳的2D視訊時戳之間的時間差，並且執行與時間差成比例的加權混合以產生視像。混合也可以是基於運動的混合，如上文相對圖7B所討論的。
在步驟313中，該處理包含在接收視訊串流的同時將多視像視訊彩現處理以顯示，多視像視訊包括多視像畫面的視像。例如，圖5描繪將多視像視訊呈現的多視像顯示器，其可以在接收2D視訊並轉換為多視像格式時即時完成。然而多視像視訊是即時轉換和彩現處理的，該處理可以涉及響應經由使用者介面接收到的使用者輸入，從呈現多視像視訊切換到呈現2D視訊串流。
上文討論的圖9的流程圖可以顯示即時多視像視訊轉換的系統或方法，其體現為儲存在記憶體中並可由處理器執行的指令集。如果以軟體實現，每個方框可以代表一模組、代碼的一區段、一部分，其中包括實現(多個)特定邏輯功能的指令。指令可以由原始碼的形式實現，包括以程式語言編寫的人類可讀語句、從源代碼編譯的目標碼、或者機器碼，其包括可以被合適的執行 系統(如處理器或計算裝置)辨識的數字指令。機器碼可以從原始碼中轉換出，等等。如果以硬體實現，每個區塊可以表示一個電路或者多個互相連接的電路以實現指定的(多個)邏輯功能。
儘管圖9的流程圖顯示了具體的執行順序，但應理解的是，執行順序可以與所描述的不同。例如，兩個或多個區塊的執行順序可以相對於所示順序打亂。另外，所示的兩個或多個區塊可以為同時執行，也可以為部分同時執行。此外，在一些實施例中，可以跳過或者省略一個或多個方框，也可以同時執行。
圖10是根據與本發明所述原理一致的一實施例，顯示執行即時多視像視訊轉換的計算裝置的示例的示意方塊圖。計算裝置1000可以包含組件系統，其為計算裝置1000的使用者執行各種計算操作。計算裝置1000可以是膝上型電腦、平板電腦、智慧型手機、觸控螢幕系統、智慧型顯示系統、其他客戶端裝置、伺服器、或其他計算裝置。計算裝置1000可以包含各種組件，例如處理器1003、記憶體1006、輸入/輸出(I/O)組件1009、顯示器1012以及其他可能的組件。這些組件可以耦接到用作局部介面的匯流排1015，以允許計算裝置1000的組件互相通訊。儘管計算裝置1000的組件顯示為包含在計算裝置1000中，應理解為，至少部分組件可以通過外部連接耦接到計算裝置1000。例如，組件可以經由外部埠、插座、插頭、連接器或無線連接從外部插入計算裝置1000或以其他方式與計算裝置1000連接。
處理器1003可以包含中央處理單元(CPU)、圖形處理單元(GPU)、執行電腦處理操作的任何其他積體電路，或其組合。(多個)處理器1003可以包含一個或多個處理核心。(多個)處理器1003包括執行指令的電路。指令包含，例如，電腦編碼、程式、邏輯或其他機器可讀指令，其藉由(多個)處理器1003接收並執行，以執行指令中包含的電腦功能。處理器1003可以執行指令以處理資料或產生資料。例如，(多個)處理器1003可以接收輸入資料(例如影像)、根據指令集處理輸入資料、並產生輸出資料(例如，處理後的影像)。作為另一個示例，一個或多個處理器1003可以接收指令並產生新指令以用於後續執行。處理器1003可以包括實施圖形管線(例如，圖2的圖形管線134)的硬體，以將由應用程式產生的視訊、影像或畫面做彩現處理。例如，(多 個)處理器1003可以包括一個或多個GPU核心、向量處理器、純量處理器、解碼器或硬體加速器。
記憶體1006可以包含一個或多個的記憶體組件。記憶體1006在本發明中界定為包含揮發性和非揮發性記憶體其中之一或之二。揮發性記憶體組件是指那些在斷電後不會保留資訊的記憶體組件。揮發性記憶體可以包含例如隨機存取記憶體(RAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、磁性隨機存取記憶體(MRAM)或其他隨機存取記憶體結構。系統記憶體(例如，主記憶體、快取記憶體等)可以使用揮發性記憶體以實現。系統記憶體是指快速記憶體，其可以臨時儲存用於快速讀取和寫入存取的資料或指令以輔助處理器1003的指令。影像(例如靜止影像、視訊畫面)可以儲存或加載到記憶體1006中，以用於之後存取。
非揮發性記憶體組件是在斷電後保留資訊的記憶體組件。非揮發性記憶體包含唯讀記憶體(ROM)、硬碟驅動器，固態硬碟、USB隨身碟、經由記憶卡讀取器訪問的記憶卡、經由關聯的軟碟驅動器存取的軟碟、經由光碟驅動器存取的光碟、經由適當的磁帶驅動器存取的磁帶。ROM可以包括，例如，可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、可電氣抹除可程式化唯讀記憶體(EEPROM)或其他類似記憶體裝置。可以使用非揮發性記憶體以實現儲存記憶體，以提供資料和指令的長期保留。
記憶體1006可以指用於儲存指令以及資料的揮發性和非揮發性記憶體的組合。例如，資料和指令可以儲存在非揮發性記憶體中，並且加載到揮發性記憶體中以由(多個)處理器1003進行處理。例如，指令的執行可以包含：編譯程式，其譯為格式可以從非揮發性記憶體加載到揮發性記憶體中的機器碼，然後由處理器1003運行；原始碼，其轉換為適當格式，例如能夠加載到揮發性記憶體中以供處理器1003執行的目標碼；原始碼，由另一可執行程式解譯以在揮發性記憶體中產生指令並由處理器1003執行碼。指令可以儲存或加載到記憶體1006的任何部分或組件，例如，記憶體1006包含RAM、ROM、系統記憶體、儲存器或其任何組合。
雖然記憶體1006顯示為與計算裝置1000的其他組件分離，應當理解，記憶體1006可以至少部分地嵌入或以其他方式整合到一個或多個組件 中。例如，一個或多個處理器1003可以包含內建記憶體，其暫存或快取以執行處理操作。
例如，(多個)I/O組件1009包含觸控螢幕、揚聲器、麥克風、按鈕、開關、轉盤、攝影機、感測器、加速計或其他組件以接收使用者輸入或產生導向使用者的輸出。(多個)I/O組件1009可以接收使用者輸入並轉換為資料，以儲存在記憶體1006中或由處理器1003處理。(多個)I/O組件1009可以接收由記憶體1006或(多個)處理器1003輸出的資料，並將其轉換為使用者可以感知的形式(例如，聲音、觸覺響應、視覺資訊等)。
I/O組件1009的一種類型是顯示器1012。顯示器1012可以包含多視像顯示器(例如，多視像顯示器160)、與二維顯示器結合的多視像顯示器、或者任何其他呈現圖像內容的顯示器。可以在顯示器內疊放作為I/O組件1009的電容式觸控螢幕層，以讓使用者在感知視覺輸出同時提供輸入。(多個)處理器1003可以產生資料，其以影像或畫面的格式呈現在顯示器1012上。(多個)處理器1003可以執行指令，以在顯示器1012上呈現影像或畫面給使用者。攝影機I/O組件1009，可以用於視訊擷取處理，所擷取的視訊可以轉換為多視像視訊。
匯流排1015有利於處理器1003、記憶體1006、I/O組件1009、顯示器1012和計算裝置1000的任何其他組件之間的指令和資料通訊。匯流排1015可以包括位址轉換器、位址解碼器、結構、導電跡線、導線、端口、插頭、插座和其他連接器，以讓資料和指令通訊。
記憶體1006內的指令可以由各種實現至少一部分的軟體堆疊的方式實現。例如，這些指令可以體現為操作系統1031、應用程式1034、裝置驅動器(例如顯示驅動器1037)、韌體(例如顯示韌體1040)或其他軟體組件。操作系統1031是支持計算裝置1000的基本功能的軟體平台，諸如排程任務、控制I/O組件1009、提供硬體資源的存取、管理電源以及支持應用程式1034。
應用程式1034可以經由操作系統1031在操作系統1031上執行，並且存取計算裝置1000的硬體資源。在這方面，應用程式1034的執行至少一部分由操作系統1031控制。(多個)應用程式1034可以是向使用者提供高級功能、 服務和其他功能的使用者級軟體程式。在一些實施例中，應用程式1034可以是專用的「app」，使用者可以在計算裝置1000下載或以其他方式存取。使用者可以經由操作系統1031提供的使用者介面以啟動應用程式1034。(多個)應用程式1034可以由開發人員開發並定義為各種原始碼格式。可以使用各種程式語言或手稿語言以開發應用程式1034，例如C、C++、C#、Objective C，Java®、Swift、JavaScript®、Perl、PHP、VisualBasic®、Python®、Ruby、Go或其他手稿語言。應用程式1034可以由編譯器編譯成目標碼，或者可以由解譯器解譯以由處理器1003執行。本發明所討論的各種實施例可以實施為應用程式1034的至少一部分。
諸如顯示驅動器1037的裝置驅動器包含指令，其讓操作系統1031與各種I/O組件1009通訊。每個I/O組件1009可以具有其自己的裝置驅動器。可以安裝裝置驅動器，以使其儲存在儲存器中並加載到系統記憶體中。例如，安裝後，顯示驅動器1037將從操作系統1031接收的高階顯示指令轉換成由顯示器1012實現的較低階指令以顯示影像。
韌體，例如顯示韌體1040，可以包含允許I/O組件1009或顯示器1012以執行低階操作的機器碼或組合語言碼。韌體可以將特定組件的電訊號轉換成更高階的指令或資料。例如，顯示韌體1040可以藉由調整電壓或電流訊號以控制顯示器1012如何啟動低位準電壓的各個像素。韌體可以儲存在非揮發性記憶體中，並且可以直接從非揮發性記憶體執行。例如，顯示韌體1040可以體現在耦接到顯示器1012的ROM晶片中，從而使ROM晶片與計算裝置1000的其他儲存器和系統記憶體分開。顯示器1012可以包含用於執行顯示韌體1040的處理電路。
操作系統1031，應用程式1034、驅動器(例如顯示驅動器1037)、韌體(例如顯示韌體1040)以及其他可能的指令集，可以各自包括處理器1003可執行的指令、或者計算裝置1000的其他處理電路，以執行上述功能和操作。儘管本發明所述的指令可以實現為由上述處理器1003執行的軟體或代碼，但作為替代，指令也可以實現為在專用硬體或軟體和專用硬體的組合中。例如，上文討論的指令執行的功能和操作可以實現為電路或狀態機，其採用多種技術中的任一種或其組合。這些技術可以包含但不限於：分立邏輯電路，其具有用於在應用一個或多個資料訊號時實現各種邏輯功能的邏輯閘；具有適當邏輯閘的 特殊應用積體電路(ASIC)；現場可程式邏輯閘陣列(FPGA)；或者其他組件等。
在一些實施例中，實施上文所討論的功能和操作的指令可以實現在非暫時性電腦可讀取媒體中。電腦可讀取媒體可以是或可以不是計算裝置1000的一部分。例如，指令可以包含可以從電腦可讀取媒體擷取並由處理電路(例如處理器1003)執行的敘述、代碼或宣告。在本發明的上下文中，「電腦可讀取媒體」可以是可以包含、儲存或維護本發明所述指令以供指令執行系統(例如計算裝置1000)使用或與其結合的任何媒體。
電腦可讀取媒體可以包括許多物理媒體其中任一種，例如磁性、光學或半導體媒體。合適的電腦可讀取媒體的更具體的示例可以包含但不限於：磁帶、軟碟、磁性硬碟驅動器、記憶卡、固態硬碟，USB隨身碟或光碟。並且，電腦可讀取媒體可以是隨機存取記憶體(RAM)，例如，其包含靜態隨機存取記憶體(SRAM)和動態隨機存取記憶體(DRAM)或磁性隨機存取記憶體(MRAM)。另外，電腦可讀取媒體可以是唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、可電氣抹除可程式化唯讀記憶體(EEPROM)或其他種類的記憶體裝置。
計算裝置1000可以執行上述的任何操作或實現上述的功能。例如，上文討論的流程圖和處理流程可以由執行指令並處理資料的計算裝置1000以執行。儘管計算裝置1000顯示為單一裝置，但是實施例不限於此。在一些實施例中，計算裝置1000可以由分佈式方式卸載指令的處理，以使複數個計算裝置1000一起運作以執行指令，其可以儲存或加載到分佈式排列的電腦組件。例如，至少一些指令或資料可以在與計算裝置1000結合操作的雲端式系統中儲存、加載或執行。
因此，本發明已描述了即時多視像視訊轉換的示例和實施例。這可以在接收到的2D視訊串流時即時執行。藉由確定目標時戳、根據目標時戳辨識時間上相鄰的2D視訊畫面、並將時間上相鄰的2D視訊混合以產生每個視像，以產生每個多視像畫面的視像。目標時戳可以根據攝影機基線和/或中心視點來確定。應該理解的是，上述示例僅是說明本發明所述的原理的多個具體示例 的其中一些示例。很明顯的，所屬技術領域中具有通常知識者可以輕易設計出多種其他配置，但這些配置不會超出本發明申請專利範圍所界定的範疇。
本申請案請求於2021年2月28日提交的第PCT/US2021/020166號國際專利申請的優先權，該申請案請求於2020年12月7日提交的第63/122,419號美國臨時申請案的優先權，本發明引用上述每篇全文且併入本發明。
103:視訊擷取處理
105:景象
107:攝影機
109:方向
112:視訊串流
115:2D畫面
118:多視像視訊
119:多視像轉換處理
121:多視像畫面(A~N)
124:視像(1~n)

Claims (19)

  1. 一種電腦實施的即時多視像視訊轉換的方法，該方法包括：藉由一計算裝置接收包括二維(2D)畫面的一視訊串流，每個2D畫面對應於各別的2D視訊時戳；藉由該計算裝置確認一攝影機基線和一中心視點；藉由該計算裝置基於該攝影機基線和該中心視點，對於一多視像畫面的一視像確定一目標時戳；藉由該計算裝置從具有與該目標時戳相鄰的該等2D視訊時戳的該等2D畫面之一子集合產生該視像；以及藉由該計算裝置將一多視像視訊彩現處理以顯示，該多視像視訊包括該多視像畫面的該視像，其中，一攝影機擷取該等2D畫面，該攝影機相對於一景象沿一預定方向移動，其中，該攝影機基線係在不同的時間點的該攝影機之間的距離，以及其中，該中心視點係該多視像畫面中的視像的範圍中的一中點。
  2. 如請求項1之方法，進一步包括解碼該視訊串流以在該計算裝置的一圖形處理單元記憶體中提取該等2D畫面。
  3. 如請求項2之方法，進一步包括將該等2D畫面從該圖形處理單元記憶體加載到該計算裝置的一中央處理單元記憶體以產生該視像。
  4. 如請求項1之方法，進一步包括在該計算裝置接收該視訊串流的同時，將該多視像視訊做彩現處理以顯示。
  5. 如請求項1之方法，進一步包括藉由該計算裝置經由一使用者介面接收一使用者輸入，該使用者輸入包括該攝影機基線和該中心視點其中的至少一個。
  6. 如請求項5之方法，進一步包括在該計算裝置彩現處理該多視像視訊的同時，動態地更新該攝影機基線和該中心視點其中的至少一個。
  7. 如請求項1之方法，其中，該視像藉由混合該等2D畫面之該子集合以產生。
  8. 如請求項1之方法，進一步包括：藉由該計算裝置確定該目標時戳與鄰近該目標時戳的該等2D視訊時戳之間的時間差；以及藉由該計算裝置執行與該等時間差成比例的一加權混合，以產生該視像。
  9. 一種配置為執行即時多視像視訊轉換的系統，該系統包括：一中央處理單元；以及一記憶體，其儲存複數個指令，該複數個指令在執行時使該中央處理單元：將一系列二維(2D)畫面加載到一記憶體緩衝區中，每個2D畫面對應於各別的2D視訊時戳；基於一攝影機基線和一中心視點，對於一多視像畫面的一視像確定一目標時戳；以及從具有與該目標時戳相鄰的該等2D視訊時戳的該等2D畫面之一子集合產生該視像，其中，該多視像畫面的該視像是一多視像視訊的一部分，該多視像視訊配置為要在一多視像顯示器上呈現，其中，一攝影機擷取該等2D畫面，該攝影機相對於一景象沿一預定方向移動，其中，該攝影機基線係在不同的時間點的該攝影機之間的距離，以及其中，該中心視點係該多視像畫面中的視像的範圍中的一中點。
  10. 如請求項9之系統，進一步包括：一圖形處理單元，配置為解碼包括該系列2D畫面的一視訊串流，並將該等2D畫面加載到一圖形處理單元記憶體中，其中，該系列2D畫面配置為從該圖形處理單元記憶體加載到該記憶體緩衝區。
  11. 如請求項9之系統，其中，該多視像視訊配置為在解碼該視訊串流的同時，在該多視像顯示器上呈現。
  12. 如請求項9之系統，其中，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：產生一使用者介面，該使用者介面配置為在該多視像顯示器上顯示；以及經由該使用者介面接收一使用者輸入，該使用者輸入包括該攝影機基線和該中心視點其中的至少一個。
  13. 如請求項12之系統，其中，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：在將該多視像視訊做彩現處理的同時，動態地更新該攝影機基線和該中心視點其中的至少一個。
  14. 如請求項9之系統，其中，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：產生一使用者介面，該使用者介面配置為在該多視像顯示器上顯示；以及回應經由該使用者介面接收的一使用者輸入，在呈現該多視像視訊與呈現一2D視訊串流之間切換。
  15. 如請求項9之系統，其中，該視像藉由混合該等2D畫面之該子集合以產生。
  16. 如請求項9之系統，其中，該記憶體儲存該複數個指令，該複數個指令在執行時進一步使該中央處理單元：確定該目標時戳與鄰近該目標時戳的該等2D視訊時戳之間的時間差；以及執行與該等時間差成比例的一加權混合以產生該視像。
  17. 一種儲存有可執行指令的非臨時性、電腦可讀取儲存媒體，該等指令在被一電腦系統的一處理器執行時，會即時執行多視像視訊轉換的操作，該操作包括：接收包括一系列二維(2D)畫面的一視訊串流，每個2D畫面對應於各別的2D視訊時戳； 根據使用者指定的一攝影機基線和使用者指定的一中心視點其中的至少一個以對於一多視像畫面的一視像確定一目標時戳，該目標時戳與該等2D視訊時戳的一集合相鄰，該等2D視訊時戳的該集合對應於該等2D畫面的一集合；混合該等2D畫面的該集合以產生該視像；以及在接收該視訊串流的同時將一多視像視訊做彩現處理以顯示，該多視像視訊包括該多視像畫面的該視像，其中，一攝影機擷取該等2D畫面，該攝影機相對於一景象沿一預定方向移動，其中，使用者指定的該攝影機基線係在不同的時間點的該攝影機之間的距離，以及其中，使用者指定的該中心視點係該多視像畫面中的視像的範圍中的一中點。
  18. 如請求項17之非臨時性、電腦可讀取儲存媒體，其中，該操作進一步包括：確定該目標時戳與鄰近該目標時戳的該等2D視訊時戳之間的時間差；以及執行與該等時間差成比例的一加權混合以產生該視像。
  19. 如請求項17之非臨時性、電腦可讀取儲存媒體，其中，該操作進一步包括：回應經由一使用者介面接收的一使用者輸入，在呈現該多視像視訊和呈現一2D視訊串流之間切換。
TW110145027A 2020-12-07 2021-12-02 即時多視像視訊轉換方法和系統 TWI817273B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063122419P 2020-12-07 2020-12-07
US63/122,419 2020-12-07
PCT/US2021/020166 WO2022125128A1 (en) 2020-12-07 2021-02-28 Real-time multiview video conversion method and system
WOPCT/US21/20166 2021-02-28

Publications (2)

Publication Number Publication Date
TW202234882A TW202234882A (zh) 2022-09-01
TWI817273B true TWI817273B (zh) 2023-10-01

Family

ID=81973886

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110145027A TWI817273B (zh) 2020-12-07 2021-12-02 即時多視像視訊轉換方法和系統

Country Status (8)

Country Link
US (1) US20230328222A1 (zh)
EP (1) EP4256782A4 (zh)
JP (1) JP2023551991A (zh)
KR (1) KR20230101880A (zh)
CN (1) CN116601943A (zh)
CA (1) CA3201940A1 (zh)
TW (1) TWI817273B (zh)
WO (1) WO2022125128A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115280788B (zh) 2020-03-01 2024-06-11 镭亚股份有限公司 多视图风格转换的系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200020151A1 (en) * 2017-11-07 2020-01-16 Dolby Laboratories Licensing Corporation Parameterizing 3d scenes for volumetric viewing
US20200364519A1 (en) * 2019-05-16 2020-11-19 Rpx Corporation Systems and methods for generating composite sets of data from different sensors

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5561781B2 (ja) * 2008-01-29 2014-07-30 トムソン ライセンシング ２ｄ画像データを立体画像データに変換する方法およびシステム
US20120013711A1 (en) * 2009-04-08 2012-01-19 Stergen Hi-Tech Ltd. Method and system for creating three-dimensional viewable video from a single video stream
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
WO2011028837A2 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US20110304693A1 (en) * 2010-06-09 2011-12-15 Border John N Forming video with perceived depth
US9087375B2 (en) * 2011-03-28 2015-07-21 Sony Corporation Image processing device, image processing method, and program
US9172939B2 (en) * 2011-12-30 2015-10-27 Stmicroelectronics (Canada), Inc. System and method for adjusting perceived depth of stereoscopic images
US9237330B2 (en) * 2012-02-21 2016-01-12 Intellectual Ventures Fund 83 Llc Forming a stereoscopic video
EP2765774A1 (en) * 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
JP6588196B2 (ja) * 2014-10-31 2019-10-09 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法および較正方法
US10326972B2 (en) * 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
US10306292B2 (en) * 2015-03-24 2019-05-28 Unity IPR ApS Method and system for transitioning between a 2D video and 3D environment
US10003786B2 (en) * 2015-09-25 2018-06-19 Intel Corporation Method and system of 3D image capture with dynamic cameras
US20170280090A1 (en) * 2016-03-24 2017-09-28 Elsewhere, LLC Binocular display and method for displaying images
US10469821B2 (en) * 2016-06-17 2019-11-05 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
US10659686B2 (en) * 2018-03-23 2020-05-19 Fyusion, Inc. Conversion of an interactive multi-view image data set into a video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200020151A1 (en) * 2017-11-07 2020-01-16 Dolby Laboratories Licensing Corporation Parameterizing 3d scenes for volumetric viewing
US20200364519A1 (en) * 2019-05-16 2020-11-19 Rpx Corporation Systems and methods for generating composite sets of data from different sensors

Also Published As

Publication number Publication date
KR20230101880A (ko) 2023-07-06
EP4256782A1 (en) 2023-10-11
JP2023551991A (ja) 2023-12-13
EP4256782A4 (en) 2024-10-23
WO2022125128A1 (en) 2022-06-16
CN116601943A (zh) 2023-08-15
CA3201940A1 (en) 2022-06-16
US20230328222A1 (en) 2023-10-12
TW202234882A (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
US11087549B2 (en) Methods and apparatuses for dynamic navigable 360 degree environments
JP6410918B2 (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
WO2019073117A1 (en) APPARATUS, METHOD AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
CN112738534B (zh) 数据处理方法及系统、服务器和存储介质
US20220319103A1 (en) Lightweight View Dependent Rendering System for Mobile Devices
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
CN113243112B (zh) 流式传输体积视频和非体积视频
EP3759925A1 (en) An apparatus, a method and a computer program for volumetric video
JP7320146B2 (ja) ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート
WO2019229293A1 (en) An apparatus, a method and a computer program for volumetric video
US20240212294A1 (en) Augmenting video or external environment with 3d graphics
CN114071116B (zh) 视频处理方法、装置、电子设备及存储介质
TW201803358A (zh) 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流
US20240177354A1 (en) 3d object streaming method, device, and non-transitory computer-readable recording medium
TWI817273B (zh) 即時多視像視訊轉換方法和系統
US20150326873A1 (en) Image frames multiplexing method and system
CN112738646B (zh) 数据处理方法、设备、系统、可读存储介质及服务器
KR102674577B1 (ko) 이종 클라이언트 엔드 포인트들로 스트리밍하기 위한 미디어의 적응을 위한 몰입형 미디어에 의한 뉴럴 네트워크 모델의 참조
WO2019077199A1 (en) APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
CN112738009B (zh) 数据同步方法、设备、同步系统、介质和服务器
US20250071252A1 (en) Methods and system of multiview video rendering, preparing a multiview cache, and real-time multiview video conversion
WO2020157376A1 (en) An apparatus, a method and a computer program for volumetric video
TW202344044A (zh) 多視像視訊彩現和製備多視像視訊快取的方法以及即時多視像視訊轉換的系統
JP2025504769A (ja) マルチビュービデオレンダリング、マルチビューキャッシュの準備、およびリアルタイムマルチビュービデオ変換の方法およびシステム
Le Feuvre et al. Graphics Composition for Multiview Displays