TW201227608A - Method and system for rendering multi-view image - Google Patents

Description

201227608 TW6973PA· 六、發明說明： 【發明所屬之技術領域】 本發明疋有關於-種影像之建構方法及系統，且特別 是有關於-種多視角影像之建構方法及系統。 【先前技術】 —數位影像具有「不浪費底片、不佔空間、永不褪色、 谷易儲存、方便攜帶、容易編修」等優點，使得數位影像 • 已經逐漸取代傳統底片所拍攝之照片。

Ik著數位影像科技的發展，各種影像祕技術也不斷 的發展。透過影像編修技術可以美化照片，或者加入有趣 的圖案，甚至是編修成一多視角立體景多像。 然而，多視角立體影像的建構方法相當的複雜。以處 理技術而言，需要有效地提升處理速度，使得多視角立體 影像更能普遍被接受。 籲【發明内容】 根據本發明之一方面，提出一種多視角影像之建構方 法。多視角影像之建構方法包括以下步驟。提供數張單视 角影像，此些單視角影像之視角不同。對此些單視角景J 進f 一解析度調整程序（Resizing)，以獲得數個新解析 =影像之至少部份像素。對此些新解析度影像之此至少告 伤像素進行一交錯排列程序（View Interlace)，以开< 士 一張多視角影像。 夕 201227608

TW6973PA 根據本發明之另一方面，提出—種，-系統。多視角影像之建構系統包括一提供m衫像之建構 元。提供單元用以提供數張單視角影像:處理單 之視角不同。處理單元係對此些單視 ：士現角影像 調整程序（Resizing),、 行一解析度 部份像f㈣L 新解析度影像之至少

抽像素，並對此麵解析度影像 ^之至J 交錯排列程序（View Inte細)素進行-像。 形成一張多視角影 為讓本發明之上述内容能更明顯易懂 實施例，並配合賴圖式，作詳細說明如下了文特舉各種 【實施方式】 以下係提出實施例進行詳細說明， 範例說明，並不會限縮本發明欲保護之範圍。^以作為 術特點。 走顯不本發明之技 第一實施例 請參照第1圖’其、㈣本案第—實_之 簡之建構系統_的示意圖（多視角影像piQ4 第3圖）。多視角影像建構系統1〇〇包括一提供單 ^ 及了處理單元12〇。提供單元11G用以提供各種資訊， 如疋一照相機、-攝影機…儲存雜或連接儲存媒體 一連，埠。處理單元120用以執行各種處理、運算程序 例如疋中央處理器晶片（Central Processing Unit 201227608 TW15973PA* CPU) GPU) 、— 圖形處理器晶片（Graphic Processing Unit， 韋刃體電路或儲存數組程式碼之一儲存媒體。本實 施例之處料兀12G包括數組第1行緒ΐ2ι及數组第二 執^緒122，第-執行緒121係以平行處理之 種處理、運算程序’第二執行緒⑵也是以平行處理之方 式進行各種處理、轉㈣。 請參照第2〜3圖，第2圖繪示第—實施例之多視角 ，04之建構方法之流程圖’第3圖繪示第_實施例 之夕視角影像P1G4之建構過程的示意圖。以下更搭配一 ^程圖及-示意圖說明本實施例之多視角。 及本實施例之多視角影像_之 法。然而，本案所屬技術領域中具有通常知識者均 多視角影像P1°4之建構系統_並不 P1 ， 〇4之建構方法亦不侷限應㈣帛 P104之建構系統1〇〇。 ’夕現角心像

Pioi ^^Γρι〇+ι

=如R」代表紅色、「G」代表綠色、「B」代表藍色) 其解析度為640x360x3。 J 接著，在步驟S102中，處理單元12〇之第一執行 121依據深度資訊，以平行處理之方式對原始影像 行像素平移㈣（Pixel Rendering) A1A像素插補輕= (HoleFilling) A2,以形成數張新視角影像^”。 μ第 201227608

TW6973PA 3圖為例’原始影像舰經過像素平移程序M及像素插 補程序A2後’形成8張新視角影像P1G2。其中每-張新 2影像P102之職也是64G，行數也是湖色域通道 疋3 (「R」代表紅色、「G」代表綠色、％代表藍色）， 其解析度為640x360x3。 其中，像素平移程序^用以將原始影像？1〇1的每一 =平移至適當的位置，以糊建構出8張新視角影像 02。在像素平移過程令，新視角影像⑽可能會出現 缺口的現象’此時則透過像素插補程序A2來填補缺口。 以第3圖為例，單視角影像⑽包括t張原始影像 P101及8騎視角料簡，所以單視心彡像㈣總共 ^張，這些單㈣影像⑽之視角皆不相同，但解析 度^為640x360x3。所以’透過步驟_〜si

了數張單視角影像P110。 T 然後’在步驟S103中，此些第一執行緒121以平行 ^理之方式對此些單視角影像_進行一解析度調整程 序（Resizing) A3，以獲得數個新解析度影像ρι〇3。以第 3圖為例，9張單視㈣像P11G的解析度皆為_χ36㈣， 而母一張新解析度影像P103之列數為192〇，行數為 1080,色域通道為3,其解析度為192〇χΐ〇8〇χ3。 在本實施例中，像素平移程序A1、像素插補程序Μ 及解析度調整程序A3皆利用第一執行緒121以平行處理 之方式執行。以第3圖為例，原始影像ρι〇1與新視 像P102之間的箭頭表示各個第—執行緒m執行像素^ 移程序A1及像素插補程序A2之步驟sl〇2的動作，所以 201227608 TW6973PA. *此Ϊ新Si Ϊ I21之數目係為新視角影像P1 02之列數 八此二新視角景，像p 1 〇 2之張| i本&、 之張數的乘積（即640x8)。 再者，新視角影像P102與新 箭頭表示各個第-執行緒121 ^解析度衫像P103之間的 步_ 3的動作，所以此，第執―行執解_析:,調整程广 夂梱虹、日& —弟執仃緒121之數目也為 乘積^1=2之列數與新視_piG2之張數的 頭表干另卜像_與新解析度影像P103之間的箭 ::理早兀’例如是中央處理器 ^

Pr〇ceSSlngUnit，cpu)來同步執行。 接^在步驟S104中’第二執行緒122以平行處理 (Vi=析度影像⑽之像素進行-交錯排列程序 第3_W^terlaCe) A4’以形成—張多視角影像P104。以 圖為例，新解析度影像P1〇3 之解析度相同(=。=)成 選出對;*執彳了緒122只需直接在崎析度影像P1G3中挑 之:==即可組成多視角影像。ι™ 如第3圖所示，新解析度影像Pl〇3與多視角影僮ριη/1 ^ ^頭表示交錯排列程序A4之步驟S1G4的動作。所 多相Γ㈣122之數目係為多視角影像P104之列數、 χ3)。角影像PH)4之行數及色域通道的乘積（即192〇_ 如第3圖所示，多視角影像ρι〇4所組成之像素皆執 201227608

TW6973PA :::巧調整程序,3，所以多視角 ’ 择^由單視角影像削3之數個鄰 之每-像 ::因此多視角影像pl〇4之每一像素二點運算所 現出t位置應該呈現的内容。 、^夠精準地表 叫參照第4圖，其繪示另一實施例 之建構過程的示意圖。以第4 影像 =像素平移轉（PlxelRendeHm ’2料_ 序（Holejr彳η. N 1及像素摘補鞋 原始影像P10〗卿）形成數張新視角影像P102,後， 4P101及新視角影像P10 後’ 列程序（Vi 丹直接進行交錯排 hew Interlace) A4 來獲得 」〇4 ’而沒有經過解析度調整程序（見角办像 於多視角影像⑽，所組叙像^^ΚΓ1Ζΐη§)Α3。由 程序A3，多# P1ru,像素未執仃過解析度調整 多視角影像蘭之每一像素 P11〇之像素直接挑選。因此多視角 早視角/像 素都較無法精準地表現出此位置上 =4之每-像 來，晝面上將呈現鑛齒現象。㈣呈現的内容。如此一 皆經由反S3旦圖二施二多視角影像_之每一像素 得，戶ΐΓί 個鄰近像㈣浮點運算所獲 出此視角影像麗之每一像素都能夠精準地表現 該呈現的内容，進而使得畫面上的雜齒現象可 第 施例 實施例之多視角 請參照第5〜7圖，第5圖繪示第二 201227608 TW6973PA· 影像P104之建構系統的示意圖，第 施例之多視角影像顧之建構方法之流程圖、，，第=實 不第二實施例之多视角影像P1〇4之建構過程的干土 = % 本:施例之多視角影像P104之建構系統2〇。及方 一實施例之多視角影像_之建構系统議盘方法^第 =於執行緒之執行方式的安排，其餘相同之處不再同重

如第5圖所示’本實施例之處理單元22〇包括 一執行緒221、數個第二執行緒222及數個/第 223。第-執行緒221用以執行像素平移程序 Rendering) A1 及像素插補程序（H〇le Fiuing) μ ^第二執行緒222用以執行解析度調整程序（㈣動 3之動作，第三執行緒223用以執行交錯排列程序^ Interlace) Α4 之動作。 w ,以下係搭配第6及第7圖詳細說明本實施例之多 影像P104之建構方法。在步驟㈣中，提供單元u 供原始影像P101及原始影像P1〇1之深度資訊。 接著，在步驟S202中，處理單元22〇之第一執行緒 221依據深度資訊，以平行處理之方式對原始影像^❾丨進 行像素平移程序Μ及像素插補㈣A2，以形成數張新視 角影像P102。 在本實施射，像素平移㈣A1及像素姉程序A2 皆利用第-執行緒221以平行處理之方式執行1第7圖 為例’原始影像P101與新視角影像P102之間的箭頭表示 各個第-執行緒221執行像素平移程序A1及像素插補程 201227608

TW6973PA 序A2之步驟S202的動作，所以此些第一執 I童 目係為新視角影像P102之列數與此' 張數的乘積（即64〇x8)。 〜新現角影像簡之 然後，在步驟S203中，此些第二執杆 A處3理視角影像，進行解析度調:程： A3以獲侍數個新解析度影像ρι〇3。 緒22f 2施Γ中，解析度調整程序A3係利用第二執行 、，者222以平行處理之方式執行。以第？圖 =象=原始影像Ρ101與物 之間的箭頭表示各個第二執行 = 序A3的動作’所以此些第二執行_之 影像ρ、=@Λ料^像則3之驗、各㈣解析度 之張數Π 域通道數及此些新解析度影像_ 數的乘積（即 1920x1080x3x9)。 接著，在步驟S204中，第三執行緒2以 之方式對新解析度影像削3之傻音推^23以千饤處理 Α4，以形Μ、θ Γ 订交錯排列程序 ^ ^〇3 4,ΓΛ?.ΡΙ04°""7 度相同，因此®^ 》成之纽㈣像P1G4之解杆 P103中挑1屮^灯緒223只需直接在新解析度影像 如、ί應位置之像素即可組成多視角影像pi〇4。 ，箭頭 緒223之叙F听以第二執行 ⑽之行^ #視角影像⑽之列數、多視角影像 仃數及色域通道數的乘積（即192〇χ1〇8〇χ3)。 201227608

TW6973PA 第三實施例 請參照第8〜1〇圖，第8圖繪示第三實施例之多視角 影像P104之建構系統300的示意圖，第9圖繪示第三實 施例之多視角影像P104之建構方法之流程圖，第1〇圖繪 示第三實施例之多視角影像P1〇4之建構過程的示意圖。 本實施例之多視角影像P104之建構系統300及方法與第 一實施例之多視角影像P1〇4之建構系統1〇〇與方法不同 之處在於執行緒之執行方式的安排，其餘相同之處不再重 • 複敘述。 如第8圖所示’本實施例之處理單元32〇包括數個第 一執行緒321及數個第二執行緒322。第一執行緒321用 以執行像素平移程序（Pixel Rendering) A1及像素插補 程序（Hole Filling) A2之動作，第二執行緒322用以執 行解析度調整程序（Resizing) A3及交錯排列程序（View Interlace) A4 之動作。 暑 以下係搭配第9及10圖詳細說明本實施例之多視角 影像P104之建構方法。在步驟S301中，提供單元11〇提 供原始影像P101及原始影像P101之深度資訊。 接著，在步驟S302中，處理單元32〇之第一執行緒 321依據深度資訊，以平行處理之方式對原始影像ρι〇ι進 行像素平移程序（Pixel Rendering) “及像素插補程序 (Hole Filling) A2，以形成新視角影像ρι〇2。 在本實施例中’像素平移程序A1及像素插補程序A2 皆利用第一執行緒321以平行處理之方式執行。以第1〇 圖為例，原始影像P101與新視角影像Pl02之間的箭頭表 11 201227608

TW6973PA 第-執行謂執行像素平移程序Ai及像素插補 之步驟S302的動作’所以此些第一執行緒％】之 數2為新視角影像P102之列數與此些新視角影像謂 之張數的乘積（即640x8)。 然後，在步驟S綱t，此些第二執行緒322以平行 之方式對此些單視角影像ρί1〇進行解析度調整程序 、（ResiZing) A3及交錯排列程序⑽^獻）a4， 以直接獲得多解析度影像PI04。 在本實施例中，第二執行緒322僅針對單視角影像 # P110之部分像素進行解析度調整程序A3，而沒有實際完 成任何-張新解析度影像觸，故第1G圖以虛線標示虛 擬的新解析度影像p1〇3。其中虛擬的新解析度影像P103 並不完整，只有部份的像素被完成，這些像素被完成後， 則直接進行交錯排列程序A4安插至多視角影像ρι〇4内。 單視角影像P110(包含原始影像P101與新視角影像P102) 與多解析度景>像？1 〇4之間的箭頭表示各個第二執行緒322 執行解析度調整程序A3及交錯排列之步驟S3〇3的動作，· 所以此些第二執行緒322之數目係為多視角影像ρι〇4之 列數、多視角影像P104之行數及色域通道數的乘積（即 1920x1080x3)〇 上述實施例之單視角影像P110係由原始影像ρι〇1經 由像素平移程序（Pixel Rendering)八丨及像素插補程序 (Hole Filling) A2來獲得新視角影像P1〇2後所組成， 然而在其他實施例中，單視角影像p11〇係可以直接由數 個不同視角的鏡頭所拍攝，而不需要進行像素平移程序A1 12 201227608 TW6973PA* 及像素插補程序A2。 以上實施例係有關於一種多視角影像之建構方法及 系統，其利用平行處理之方式來提升多視角影像之處理速 度，並利用解析度調整程序來提升多視角影像之品質。 綜上所述，雖然本發明已以各種實施例揭露如上，然 其並非用以限定本發明。本發明所屬技術領域中具有通常 知識者，在不脫離本發明之精神和範圍内，當可作各種之 更動與潤飾。因此，本發明之保護範圍當視後附之申請專 • 利範圍所界定者為準。 【圖式簡單說明】 第1圖繪示本案第一實施例之多視角影像之建構系 統的示意圖。 第2圖繪示第一實施例之多視角影像之建構方法之 流程圖。 第3圖繪示第一實施例之多視角影像之建構過程的 m 不意圖。 第4圖繪示另一實施例之多視角影像之建構過程的 示意圖。 第5圖繪示第二實施例之多視角影像之建構系統的 不意圖。 第6圖繪示第二實施例之多視角影像之建構方法之 流程圖。 第7圖繪示第二實施例之多視角影像之建構過程的 示意圖。 13 201227608

TW6973PA 示意圖。 第8圖繪示第二實施例之多視角影像之 ϋ。 攝系統的 方法之 第9圖繪示第三實施例之多視角影像之建構 流程圖。 第10圖繪示第三實施例之多視角影像 示意圖。 過程的 【主要元件符號說明】 100、200、300 :多視角影像之建構系統 110 :提供單元 120、 220、320 :處理單元 121、 22卜321 :第一執行緒 122、 222、322 :第二執行緒 223 :第三執行緒 Α1 .像素平移程序（pixei Rendering) A2 ·像素插補程序（jj〇ie pilling) A3 :解析度調整程序（Resizing) Μ父錯排列程序（View Interlace) plol、Pl〇i’ ：原始影像 P102、P102’ ：新視角影像 P103:新解析度影像 P1()4 ' P104’ ：多視角影像 P110 .單视角影像 S1〇1〜Sl〇4、S201 〜S204、S301 〜S303 :流程步驟

Claims (1)

1. 201227608 TW6973PA* 七 同 申請專利範圍： 一種多視角影像之建構方法，包括： 提供複數張單視肖影像，該些單視肖雜之視角不 對該解視角影像進行—解析度調整程序 esizing)’以獲得複數個新解析度影像之至少部份像 素，以及 Μ而丨^1亥士新解析度影像之該至少部份像素進行一交錯 2 (VleW Interlace)，以形成一張多視角影像。 方法，·且如申請專利範圍第1項所述之多視角影像之建構 ^ 二中該些單視角影像包括一原始影像及對應該原始 f.之複數張新視角影像’提供該些單視角影像之步驟包 括. 提供°亥原始影像及該原始影像之深度資訊；以及 依據4深度資訊，對該原始影像進行一像素平移程序

   (PlXel Rendering)及一像素插補程序（Hole Filling)， 以獲得該些新視角影像。 、.如申請專利範圍第2項所述之多視角影像之建構 Ί /、中该像素平移程序、該像素插補程序及該解析度 調整程^彻複數個第-執行緒以平行處理之方式執又 灯，該父錯排列程序係利用複數個第二執行緒以平行處理 之方式執行。 、4.如申請專利範圍第3項所述之多視角影像之建構 方法其中該些第一執行緒之數目係為該些新視角影像之 之歹】數與該些新視角影像之張數的乘積，該些第二執行 15 201227608 TW6973PA 緒之數目係為該多視角影像之列數、= ‘、 及色域通道數的乘積。 、該多视角影像之行數 5·如申請專利範圍第2項所 夕 方法’其中該像素平移程序及該像=夕視角影像之建構 個第-執行緒以平行處理之方式執:：補程序係利用複數 係利用複數個第二執行緒以平行處:，該解析度調整輕序 排列程序係利用複數個第三執行方式執行，該交錯 行。 平行處理之方式執 6·如申請專利範圍第5項所 方法，其中該些第-執行緒之數目=多視角影像之建構 與該些新视角影像之張數的乘積，該二該原始影像之列數 係為各該新解析度影像之列數、各:些第二執行緒之數目 數、色域通道數及該麵解析度解析度影像之行 第三執行緒之數目係為該多視=之張數的乘積’該些 像之行數及色域通道數的乘積。之列數、該多视角影 7·如申請專利_第2_ 方法，其中該像素平移程序及 多視角〜像之建構 個第-執行緒以平行處理之方包素插補程序係利用複數 :=_序係，複數㈣:執=::r 方法8.其::請些專二 整程序及該交錯排列程序。° ^驟凡成該解析度調 9·如申請專利範圍第7項所 方法，其中該些第-執行緒之數2多視角影像之建構 曰係為該原始影像之列數 201227608 TW6973PA* 與該些新視角影像之張數的乘積，該 係為該多㈣影像之聰、鮮 細緒之數目 道數的乘積。 知像之行數及色域通 10· -種多視角影像之建構系統 一提供單元，“提供複數張單1俊， 角影像之視角不同；以及 办像，該些單視 -處理單元’係對該些單視 程序ezing)，叫得餘騎析度調整 份像素，輯該些新解析度麟之之至少部 交錯排列程序（View Τη+ ,,主夕邛份像素進行一 像。 ewInterlace)’以形成—張多視角影 構系Γ·，其如中申^專利範圍第10項所述之多視角影像之建 之=些單視角影像包括一原始影像及對應該原 ==數，視角影像’該處理單元依據該原始影像 子°亥原始影像進行一像素平移程序（Pixel (Hole Filling) 該些新視角影像。 12. 如申請專利範圍第丨丨項所述之多視角影像之建 構糸統’其中該處理單元包括： 數個第—執行緒’係以平行處理之方式執行該像素 平移程序、該像素插補程序及該解析度調整程序；以及 複數個第二執行緒，係以平行處理之方式執行該交錯 排列程序。 13. 如申請專利範圍第丨2項所述之多視角影像之建 構系統’其中該些第一執行緒之數目係為該些新視角影像 17 201227608 TW6973PA ‘ ’丨 之一之列數與該些新視角影像之張數的乘積，該些第二執 行緒之數目係為該多視角影像之列數、該多視角影像之行 數及色域通道數的乘積。 14. 如申請專利範圍第11項所述之多視角影像之建 構系統，其中該處理單元包括： 複數個第一執行緒，係以平行處理之方式執行該像素 平移程序及該像素插補程序； 複數個第二執行緒，係以平行處理之方式執行該解析 度調整程序；以及 複數個第三執行緒，係以平行處理之方式執行該交錯 排列程序。 15. 如申請專利範圍第14項所述之多視角影像之建 構系統，其中該些第一執行緒之數目係為該些新視角影像 之一之列數與該些新視角影像之張數的乘積，該些第二執 行緒之數目係為各該新解析度影像之列數、各該新解析度 影像之行數、色域通道數及該些新解析度影像之張數的乘 積，該些第三執行緒之數目係為該多視角影像之列數、該 多視角影像之行數及色域通道數的乘積。 16. 如申請專利範圍第11項所述之多視角影像之建 構系統，其中該處理單元包括： 複數個第一執行緒，係以平行處理之方式執行該像素 平移程序及該像素插補程序；以及 複數個第二執行緒，係以平行處理之方式執行該解析 度調整程序及該交錯排列程序。 17. 如申請專利範圍第16項所述之多視角影像之建 201227608 I W6973FA 構系統，其中該些第二執行緒係在同一步驟完成該解析度 調整程序及該交錯排列程序。 18.如申請專利範圍第16項所述之多視角影像之建 構系統，其中該些第一執行緒之數目係為該些新視角影像 之一之列數與該些新視角影像之張數的乘積，該些第二執 行緒之數目係為該多視角影像之列數、該多視角影像之行 數及色域通道數的乘積。

   19