TW201332341A - 立體影像的原始左視圖和原始右視圖之處理方法 - Google Patents

Abstract

本發明提供立體(3D)影像的原始左視圖和原始右視圖之處理方法，包括步驟為：識別左視圖和/或右視圖內至少一已重像或重像中之區域；處理所識別區域，以便為此識別區域產生雙目抑制效應，再提供由處理過的左視圖和/或右視圖形成之新3D影像。

Description

立體影像的原始左視圖和原始右視圖之處理方法

本發明係關於影像處理方法，尤指防重像之方法，使用雙目抑制，減弱串訊效應之可見度。

本發明關係到3D(立體)顯示器，含3D電視或3D電影。涉及內容製作或適應3D電影或3D電視。

在無完美3D顯示器科技情形下，研究人員視覺感受3D立體內容，必須考慮到串訊。

所有現代顯示器遭受到不同程度的串訊，會導致降低視訊品質和視覺舒適。在最壞情況的場景裡，甚至會妨礙雙目融洽。串訓對人員感受的影響面臨複雜的問題，因不同面向而定，包含觀看條件、內容和不對稱。需要進一步研究，才能瞭解串訊感受，以及開發減少串訊的機制。

本發明要解決的問題是，當一影像頻道漏入其他影像頻道內，在物像上或其周圍產生無意的重像影像時，會減弱在3D顯示器上所發生串訊之可見度。

於今，減少串訊是在後處理或在顯示器訊號處理中進行，出現漏光時，即修飾或隱沒左、右視圖的訊號。此項修飾經計算為實際補償過度光亮，或有時因洩漏等某些效應所致的不足。

在Reynolds & Kenyon所著〈立體影像壓縮用之雙目視覺小波轉換和抑制理論〉中，展示雙目融洽、對抗和抑制：「當兩眼看到相似影像時，結果是場景之單一感受。此現象稱為「雙目融洽」。

另方面，當雙眼看到二截然不同影像。而非組合，二影像會彼此競爭。此稱為「雙目對抗」。最後感受是各眼圖型間不穩定移動。因為此項二影像不穩定組合，會有一影像的某段主宰其他影像之某些段。圖型之此項更替，是各眼間主宰移動所致。較不優勢影像之資料受到抑制，而優勢影像內之資料即可 目視。

因此據說，雙目融洽因二影像間的空間頻道關係而定。為發生融洽，無論低頻或高頻或二組份，必須一致。若低頻或高頻組份不同，會發生雙目對抗，而特定段內含高頻資訊之影像，會主宰最後感受。所以，即會有不同頻帶之抑制。」

在Lipscomb和Wooten發表於Proceedings of SPIE第2177卷第92/96頁(ISBN 0277-786X)之〈降低立體視圖間之串訊〉出版品內，提出一種演算法，包括防串訊處理之第一步驟，影像背景先從黑色提升到深灰色，產生對比喪失。包括第二步驟，估計來自(例如)右視圖之串訊，從左視圖減去。

減法平衡實際產生串訊，而串訊再隱藏於背景提升的水準內。

US 2011025832〈為改進立體投影之重像補償〉，應用同樣原理，增加重像係數對不同影像區域/區之依賴性。US 2011025832揭示一種方法和系統，在平面/立體影像傳輸中減少重像影像。此方法包括步驟為，建立複數預期之重像輪廓，與顯示幕上之複數預定區域關聯，並除去從投射左眼影像漏入投射右眼影像(和反其道)之重像影像量，以補正投設左、右眼影像在各預定區域內之漏光。

第1圖代表繪製本方法之演算結構。此系統包括處理器，構成接收重像幻影，並計算左眼影像和右眼影像之重像補正量(方框504)。處理器又構成除去從投射左眼影像漏入投射右眼影像(和反其道)的實際影像幻影量(方塊506)。處理器亦構成對複數區個別計算重像補正量，各區相當於顯示幕上具有與其關聯的預計重像輪廓之區域。

WO 201001922〈對立體造像增進重像補正〉，擬議在上述防重像過程無效之影像區域內，提高背景位準。

現有防重像方法失敗在二層面：在某一背景水準以下，無足夠光可從重像污染視圖減去，而為此目的提高的局部背景水準，產生可視重像； 現有方法視顯示器系統串訊的準確模式而定，而已知該串訊因視角度、顯示器設定等而定。而且準確顯示器串訊模式之需要，使全然顯示之措施視情形而定，且為指定顯示器模式「防重像」之訊號，不能應用於另一模式或技術。

本發明之目的在於即使白訊號漏入影像黑部之最壞情況，可改進防重像，而期待同一「防重像」訊號應用於不同的立體顯示模式。

本發明提供一種3D影像的原始左視圖和原始右視圖之處理方法。此方法包括步驟為：識別在左視圖和/或右視圖內至少一已重傷或重傷中之區域；以及處理所識別區域，以便為此識別區域產生雙目抑制效應，再提供由處理過的左視圖和/或右視圖形成之新3D影像。

在較佳具體例中，識別區域之處理步驟包括，改變對比，以便在識別區域產生雙目抑制。

在較佳具體例中，識別區域之處理步驟包含，在識別區域內過濾高空間頻率。

在較佳具體例中，識別區域之處理步驟包含，把識別區域模糊化。

在較佳具體例中，識別區域之處理步驟包含，把識別區域顏色解飽和，以修飾識別區域之顏色。

在較佳具體例中，識別至少一已重傷區域或一重傷中區域之步驟，係使用重傷模擬進行。

在較佳具體例中，識別區域之模糊化，係按照下列步驟進行：計算左和/或右α遮罩，其中決定此等遮罩之參數α，介於0至1間之數值範圍，諸如在識別區域內接近1，在識別區域外接近0；把原先左視圖與以左視圖α遮罩之模糊左視圖混成，和/或把原先右視圖與以右視圖α遮罩之模糊右視圖混成，所得 混成左/右視圖係添加模糊左/右視圖之α部份，和原先左/右視圖之一部份(1-α)。

在較佳具體例中，方法又包括修飾步驟，修飾左、右α遮罩，考慮不對稱卡，在左、右α遮罩間交換不對稱資訊，使串訊產生區域內之影像品質降低，而相對應區域內之影像品質上升；以及過濾步驟，過濾屬於左和/或右視圖內同樣物象之左和/或右α遮罩，以避免雙重處理。

在較佳具體例中，方法係應用於3D內容，在後生產位準。

在較佳具體例中，方法係應用於3D內容，做為機上盒或閘口內嵌處理。

本發明上述和其他要旨，由參照附圖所示具體例之詳述，即可更為清楚。

以下，本發明係參照附圖所示具體例更完整說明。

所擬議解決方案不像先前解決方案全賴物理學，而是雙目感受之某些面向。

記得對3D顯示之串訊效應或重像化，其特徵為，與所欲影像部份混合的非所欲影像之可見度。例如觀看者右眼所欲光漏入左眼視覺頻道內。

本發明構想不在抑制或取消發射之非所欲光訊號，而是修飾左、右影像，使觀看者不會見到或感受到，更何況此非所欲光訊號。

呈現此可能性之感受現象，稱為「雙目抑制」，當二不同影像展示眼睛時，由視覺系統進行選擇的結果。雖然有些組態會導致雙目對抗，但許多組態單純導致抑制二可得影像之一(左或右視圖)，視覺系統關注深度相干之感受，有賴雙目不對稱以外的示意。典型上，模糊圖形受到明銳圖形抑制，因對比較低，又損失高空間頻率之故。雖然眼睛優勢會有影響，只有最具對比的(左或右)視圖，而且有最高空間頻率之視圖才看得見，另一視圖則受到抑制或看到較少對比，或根本看不 到。雖然高空間頻率之改變(模糊)，以某種方式觸發雙目抑制，其他影像修飾亦可用來平均位準暗淡、顏色改變(諸如解飽和)或變化影像資訊之局部定向。

重點在強制於左、右視圖間之雙目選擇，成對的二影像之一經處理，以便受到抑制，成對之另一影像經處理，保持在感受內，避免太大差異，以免觸發對抗。左、右感受之改變，會造成困擾。

所擬議之解決方案是，修飾立體影像成對二視圖之一(左或右)所選定影像區域內的影像資訊，把此等區域當做是另一視圖的串訊來源。

進行此項影像資訊修飾，使修飾過的選定區域變成優先受到雙目視覺系統的抑制，而在另一視圖中的相對應未修飾區域成為優位。在一較佳具體例中，選定區域被模糊了。

相輔而言，在立體影像成對的另一視圖內經由不對稱移動之相對應影像資訊，可經處理，使此另一視圖在雙目視覺過程和部份感受中優先。因此，視覺注意即列入此優先之另一視圖內。

視覺注意是人員視覺系統之能力，可快速選擇影像或視訊序列之最相關資料。此行為之主要目的有雙重：減少處理和提供給視覺系統之資訊量，只有任務基本之資訊才告建立。

雙目抑制是普通現象，無意識牽動人的日常生活。例如，當有一客體接近視域，在遠方場景，遠看左方部份，而靠近客體的右方會暗淡或消失(受到抑制)，使遠方場景資訊成為優先，而人的意識注意便指向於此。這相當於「看透」經驗。

對觀看者而言，預料的優點是所感受3D影像有較佳品質，重像造成的困擾較少。對顯示器廠家而言，第一優點是針對重像組態，而不針對現時解決方案，諸如漏光到影像很暗的部份(在此組態中，實體串訊對比高，無法利用減光來校正)。第二優點是，防重像處理有更好穩定性，因為不像現時方法需要準確串訊模式。

本發明在產品上識別，係來自於內容的分析，產生重像的影像區域(可用串訊模擬器識別)，會經修飾出現在串訊產生區域之左視圖之右方，改變其影像資訊，像模糊化、位準平均、對比變化、定向變化或顏色變化，並可能局部加強相對應區域(即經由不對稱移動而相對應)內另一(左或右)視圖之影像資訊。

本發明可例如採取基本演算法的形式，應用於立體影像，或更一般性說為3D內容，於後生產水準，或做為機上盒或閘口內嵌處理。

基本演算法繪於第2圖，可識別二處理途徑： 影像處理

遮罩處理

影像處理

影像處理首先包含線性化步驟(101,102)，把視覺空間線性化，成為線性空間，以便在線性空間內實施隨後計算。

第二步驟，進行(201,202)左、右影像訊號的處理版本。處理可例如模糊化、位準平均、對比變化、定向變化或顏色變化，或適應產生雙目抑制之任何變化。處理強度，以及處理之水平和垂直程度，係演算法之參數。以水平程度31圖元和垂直程度5圖元之高斯過濾器，進行成功之測試。垂直程度可比水平程度小，因串訊作用於水平維度。

第三步驟(301,302)係進行原有左或右影像訊號間之混成作業，及其相對應處理過之左或右影像訊號。混成是使用α遮罩進行，可由下述遮罩處理途徑決定。α(介於0.0和1.0間之變化)係決定所得影像內各圖元處理內容比例之係數。對左、右影像之各圖元而言，係進行加權平均。修飾影像訊號係添加處理影像訊號的α部份，和原先影像訊號之(1-α)部份：[修飾影像]=α*[處理影像]+(1-α)*[原有影像]

當係數α接近1.0，以影像訊號的處理版本為優位，當係數α接近0.0，即保存原先影像訊號。所有中間值容許在此二 狀態之間滑順過渡。

為提高抑制或然率，可進行不同處理之組合。例如，可對局部定向修飾訊號應用光度減弱係數，進一步增加另一視圖之優勢。則方程式變成：[修飾影像]=β*α*[局部定向修飾影像]+(1-α)*[原有影像]β係亮度減弱係數，數值在0.0和1.0之間，以接近1.0為佳，典型上β=0.9。

在影像處理途徑之最後步驟(401,402)，從所用線性空間，應用適當"γ"轉換，處理至顯示空間，旨在修飾內容，因此所得左、右修飾影像，含有突顯的串訊效應。

遮罩處理

遮罩處理途徑之目標，首先識別應加以處理的串訊區域之圖元，且在實施例中，計算相當於係數α之比例，供低通過濾影像與原有影像局部混成。遮罩作用是視訊處理或電腦圖學中的α頻道。

為進行雙目抑制除去串訊所需效應，影像應在指定視圖的串訊產生區域內模糊，故於此由視覺系統選擇另一視圖。為此，係數在產生串訊的區域內要高(接近1.0)，不產生串訊之區域要低(接近0.0)。遮罩過渡應滑順，以免只因混成過程，產生人造邊緣。

遮罩處理之第一步驟501,502，計算來自左、右影像的重像貢獻。此係使用重像模擬進行，例如前引文件US 2011025832所述。系統串訊對比可為相關資訊，做為初始遮罩產生之第一步驟。

第二和第三步驟為第2圖內「計算左(或右)α遮罩貢獻」方框601,602之部份。遮罩之影像，以及對右或左視圖而言，在255代表區的二進影像(位準只有0或255)開頭，在另一視圖產生重像。

此等二進影像會呈現幻影，例如小斑點形式。按照本發明 較佳具體例，此等幻影應加以處置。

因此，第二步驟包含以空間方式處理初始遮罩。初始遮罩再例如以數學語形運算，除去小影像元素。此拓樸輸出仍為二進(0或255)。若結構元素為二進，或者在灰度水準(介於0和255之間)，若結構元素本身在灰度水準。所得遮罩可再經低通過濾，以避免邊緣效應，尤其在二進情況。

第三步驟包含對所得影像訊號，應用查表(LUT)，使處理過的初始遮罩(介於0和255之間)，適應參數α數值，以便把位準範圍0至255帶回到位準範圍0至1，採取來進行所欲混成。0相當於α=0，而255相當於α=1。此函數為線性。

但在本發明具體例中，此函數非線性，故可更佳調節影像在另一影像內之貢獻。

查表(LUT)為轉入分立位準和轉出分立位準間相對應之表。於此使用LUT 1D(一維度)把範圍[0,255]轉換成另一範圍[0,1]，顯然未達成全部位準，而有些重複。

其他影像處理技術，像局部模糊化，使用α影像做為模糊強度參數，會導致相似結果。

此計算出的α遮罩，再用於影像處理，已如上述，進行混成操作。

有些立體影像獨特性，會出現涉及此演算法。例如當淺亮物像呈現在暗背景上，在物像兩側會出現重像。應用上述演算法時，此物像之左、右視圖會被處理，視覺系統得不到原先品質版本，來重建接近原先所欲影像的感受。

第3圖表示處理結構(虛線方框和箭頭)，以管理此等獨特性。此處理結構會開發成輸入不對稱影像，表示物像在左、右視圖的影像平面之局部位移。此不對稱可得自或計算自左、右眼影像。主處理方框701為「不對稱控制過濾器」，作動左和右α遮罩。此過濾器會進行二項操作：從左、右α遮罩排除屬於同一物像之區域，以避免雙重處理和造成模糊感受。過濾後之左、右α遮罩702,703進一步用 於影像處理，進行混成操作。

為左、右視圖製作「獨特性遮罩」，得以在進行混成操作後，於此等面積進行獨特性處理步驟706。

獨特性處理可採取各種形式，例如：只處理二視圖之一：保留串訊，但只在一側，並保留主感受正確而不模糊。

修飾不對稱，以消弭串訊。

雖然基本演算法包含，降低一視圖(左或右)內串訊產生區域之品質，惟此處構想在於加強或增進另一視圖內相對區域之品質。如此一來，加強主感受，而所欲影像區域和非所欲影像區域(處理過者)間之平衡，在雙目抑制機制中更有益於所欲影像區域。

為實現此舉，一種可能性是在步驟801中，交換左、右α遮罩，考量不對稱，應用以此修飾α遮罩加權之敏銳化過濾器。第4圖表示處理結構(虛線方框)，以管理此等交換。

遮罩之交換應考慮到不對稱，在另一視圖內物像之相對應區域重定位α遮罩面積(觀看3D時，相對應區域再與前一視圖之處理面積對準)。

在步驟802,803，原有右或左影像訊號有部份即因此利用此處理中產生視圖優先加強，然後添加於相對應處理過的影像訊號。

有些參數，像由低通過濾器參數決定之模糊量，需加以調節，視使用者敏感性而定。高空間頻率即如此受到抑制。在單一使用者組態，或具有相似感受特徵之少數使用者組態中，如此可應用達成最佳舒適。

在一具體例中，左、右影像之修飾版本包含，利用所識別串訊區域顏色之解飽和，以修飾左或右影像所識別串訊區域之顏色，並為此顏色補正在另一(右或左)視圖同質區域內之解飽和。獨特性處理亦可考慮使用者優勢的一眼。

第5a至5d表示處理情形： 第5a圖表示左、右原有視圖。

第5b圖表示左、右視圖，有來自另一視圖的串訊(模擬)區域，產生重像。左圖中箭頭表示右視圖區域產生之串訊，右圖中箭頭表示左視圖區域產生之串訊。

第5c圖表示產生串訊之區域，經過處理(在此實施例中模糊化)。

第5d圖表示處理過視圖和原有視圖之差異，顯示處理過程得到的改進。已利用模糊化過程除去之高頻率，在此等差異影像內可目視。由於重像減弱可以感受，但在此文件內無法描繪，只能在3D顯示上展現串訊。

感受是：當左影像受到處理(於此係被模糊化)，只有相對應右影像可被感受，反之亦然。

重像感受強烈減弱，因此，串訊效應之顯著性降低。本發明的潛在用途是對3D顯示，諸如電視、電影、遊樂器顯示，可以防重像，改進3D影像和視訊之感受品質。

101,102‧‧‧線性化之步驟

201,202‧‧‧處理發生抑制之步驟

301‧‧‧乘以(1-左α)遮罩

302‧‧‧乘以(1-右α)遮罩

401,402‧‧‧逆轉換之步驟

501,502‧‧‧計算來自左、右眼影像的重像貢獻之步驟

601,602‧‧‧計算來自重像貢獻之左、右α遮罩之步驟

701‧‧‧不對稱控制之過濾器

702‧‧‧過濾後的左α遮罩

703‧‧‧過濾後的右α遮罩

706‧‧‧進行獨特性處理左、右遮罩之步驟

801‧‧‧不對稱基礎之遮罩交換之步驟

802,803‧‧‧處理中產生視圖優先之步驟

第1圖為US 2011025832展現的先前技術已知用過的演算法結構之方框圖；第2圖為防重像演算法結構之方框圖；第3圖為包括管理獨特性的防重像演算法結構之方框圖；第4圖為利用局部處理所增進防重像演算法性能之方框圖；第5a-5d圖相當於處理實例圖示。

701‧‧‧不對稱控制之過濾器

702‧‧‧過濾後的左α遮罩

703‧‧‧過濾後的右α遮罩

706‧‧‧進行獨特性處理左、右遮罩之步驟

Claims (11)

1. 一種立體(3D)影像的原始左視圖和原始右視圖之處理方法，包括步驟為：識別左視圖和/或右視圖內至少一已重像區域或重像中區域；處理識別區域，為此識別區域產生雙目抑制效應，再提供由此處理過左和/或右視圖形成之新3D影像者。
2. 如申請專利範圍第1項之方法，其中識別區域處理步驟包括，更換對比，以便在識別區域內產生雙目抑制者。
3. 如申請專利範圍第1項之方法，其中識別區域處理步驟包含，過濾識別區域內之高空間頻率者。
4. 如申請專利範圍第1項之方法，其中識別區域處理步驟包含，令識別區域模糊化者。
5. 如申請專利範圍第1項之方法，其中識別區域處理步驟包含，對識別區域之顏色解飽和，以修飾識別區域之顏色者。
6. 如申請專利範圍第1至5項之一處理方法，其中至少一已重像區域或一重像中區域之識別步驟，係使用重像模擬進行者。
7. 如申請專利範圍第4項之處理方法，其中識別區域之模糊化，係按照下述步驟進行：計算左和/或右α遮罩，其中所測定此等遮罩之參數α，在0至1間之數值範圍，使在識別區域內接近1，而在識別區域外接近0；將原有左視圖與以左視圖之α遮罩模糊過的左視圖混成，和/或原有右視圖與以右視圖之α遮罩模糊過的右視圖混成，所得混成左/右視圖，係添加模糊左/右視圖之α部份，以及原有左/右視圖之(1-α)部份者。
8. 如申請專利範圍第7項之方法，其中又包括修飾步驟，修飾左、右α遮罩，考慮不對稱卡，在左、右α遮罩間交換不對稱資訊，使串訊產生區域內影像品質降低，而相對應區域內 影像品質提高者。
9. 如申請專利範圍第8項之方法，其中再包括過濾步驟，過濾屬於左和/或右視圖內同一物像之左和/或右α遮罩，故可避免雙重處理者。
10. 如申請專利範圍第1至9項之一處理方法，其中方法係應用於3D內容，在後處理水準者。
11. 如申請專利範圍第1至10項之一處理方法，其中方法應用於機上盒或閘口內嵌處理之3D內容者。