TWI852667B - 虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體 - Google Patents
虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體 Download PDFInfo
- Publication number
- TWI852667B TWI852667B TW112125080A TW112125080A TWI852667B TW I852667 B TWI852667 B TW I852667B TW 112125080 A TW112125080 A TW 112125080A TW 112125080 A TW112125080 A TW 112125080A TW I852667 B TWI852667 B TW I852667B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- clothing
- skeleton
- human
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000007781 pre-processing Methods 0.000 title claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 18
- 238000013145 classification model Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 abstract 3
- 230000000694 effects Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本發明實施例提供一種虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體。所述方法包括：取得包括衣物的衣物影像及包括人體的人體影像，並產生對應於人體的人體骨架圖；基於衣物影像在人體骨架圖中判定骨架影像區域；以及從人體影像截取對應於骨架影像區域的特定影像區域。
Description
本發明是有關於一種影像前處理方法，且特別是有關於一種虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體。
虛擬穿衣市場正在迅速發展，且隨著電子商務和網路技術的發展，越來越多的零售商和品牌商開始使用虛擬穿衣技術來提高銷售額和客戶體驗。同時，由於疫情的影響，越來越多的人在網路上購物，使得客戶可以在不出門的情況下進行虛擬試穿以增加購物體驗，而對於虛擬穿衣的技術需求也因此增加。
現有虛擬穿衣技術多為研究型論文的發表，此類研究型論文為了方便在不同的方法之間作比較，大都採用標準且高品質的影像資料。由於此類的影像資料皆被預先前處理完成，故研究人
員僅著墨於核心演算法的開發，優化最終的虛擬試穿成果。
然而，實務使用上的影像資料難以確保其如同研究型論文的品質，且所需的前處理方法也需另外自行處理完成，難以直接套用相關技術的成果。
有鑑於此，本發明提供一種虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體，其可用於解決上述技術問題。
本發明實施例提供一種虛擬穿衣的影像前處理方法，適於一虛擬穿衣系統，包括：取得包括一衣物的一衣物影像及包括一人體的一人體影像，並產生對應於人體的一人體骨架圖；基於衣物影像在人體骨架圖中判定骨架影像區域；以及從人體影像截取對應於骨架影像區域的一特定影像區域。
本發明實施例提供一種虛擬穿衣系統，包括儲存電路及處理器。儲存電路儲存一程式碼。處理器耦接儲存電路並存取程式碼以執行：取得包括一衣物的一衣物影像及包括一人體的一人體影像，並產生對應於人體的一人體骨架圖；基於衣物影像在人體骨架圖中判定骨架影像區域；以及從人體影像截取對應於骨架影像區域的一特定影像區域。
本發明實施例提供一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄可執行電腦程式，所述可執行電腦程式由虛擬穿
衣系統載入以執行以下步驟：取得包括一衣物的一衣物影像及包括一人體的一人體影像，並產生對應於人體的一人體骨架圖；基於衣物影像在人體骨架圖中判定骨架影像區域；以及從人體影像截取對應於骨架影像區域的一特定影像區域。
100:虛擬穿衣系統
102:儲存電路
104:處理器
201:使用者界面
202,203:上傳按鈕
204,420,816:衣物影像
205,411:人體影像
206:觸發按鈕
207,440,450,615,616,821,822:虛擬穿衣結果影像
411a:人體
412:人體骨架圖
412a,412a’,412b,412b’,412c,412c’:感興趣範圍
420a,811a:衣物
430:參考結果影像
B:骨架影像區域
R:特定影像區域
611:原始影像
611a:人體影像區域
611b:背景區域
612:人物區域
613:背景影像
613a:空區域
614:參考背景影像
811:原始衣物影像
811b:衣物影像區域
812:衣物區域
813:參考衣物影像
813a:衣物影像範圍
813b:參考衣物影像區域
814:影像
815a,815b:中心點
H’:特定高度
W’:特定寬度
H:高度
W:寬度
S310~S330,S510~S530,S710~S740:步驟
圖1是依據本發明之一實施例繪示的虛擬穿衣系統示意圖。
圖2A至圖2C是依據本發明之一實施例繪示的虛擬穿衣應用情境圖。
圖3是依據本發明之一實施例繪示的虛擬穿衣的影像前處理方法流程圖。
圖4A至圖4E是依據本發明第一實施例繪示的影像前處理示意圖。
圖5是依據本發明之一實施例繪示的人物背景消除方法流程圖。
圖6A至圖6C是依據本發明第二實施例繪示的人物背景消除示意圖。
圖7是依據本發明之一實施例繪示的固定衣物影像高寬比方法流程圖。
圖8A至圖8C是依據本發明第三實施例繪示的固定衣物影像高寬比示意圖。
圖9是依據本發明之一實施例繪示的對應不同原始影像及原始衣物影像的應用結果示意圖。
請參照圖1，其是依據本發明之一實施例繪示的虛擬穿衣系統示意圖。在不同的實施例中，虛擬穿衣系統100例如可實現為各式智慧型裝置及/或電腦裝置，但可不限於此。
在圖1中，虛擬穿衣系統100包括儲存電路102及處理器104。
儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。
處理器104耦接於儲存電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器(microprocessor)、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式閘陣列電路(Field Programmable Gate Array，FPGA)、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器(Advanced RISC Machine，ARM)的處理器以及類似品。
在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的方法，以讓虛擬穿衣系統100能夠執行用於虛擬穿衣的相關影像處理方法，進而產生虛擬穿衣結果影像。
請參照圖2A至圖2C，其是依據本發明之一實施例繪示的虛擬穿衣應用情境圖。在圖2A中，使用者例如可在虛擬穿衣系統100提供的使用者界面201中選擇欲進行虛擬穿衣的衣物影像(其例如可對應於購物網站上的衣物商品，但可不限於此)，或是自行透過上傳按鈕202將待用於進行虛擬穿衣的衣物影像上傳至虛擬穿衣系統100。
此外，使用者還可透過上傳按鈕203將包括人體的人體影像上傳至虛擬穿衣系統100，以讓虛擬穿衣系統100可將上述衣物影像中的衣物虛擬地穿著於人體影像中的人體上。
在圖2B中，假設使用者分別透過上傳按鈕202及203上傳衣物影像204及人體影像205，則虛擬穿衣系統100可在使用者界面201中顯示觸發按鈕206，以供使用者觸發虛擬穿衣系統100執行用於虛擬穿衣的相關影像處理方法。
在圖2C中，在使用者點擊觸發按鈕206之後，虛擬穿衣系統100例如可透過上述影像處理方法將衣物影像204中的衣物虛擬地穿著於人體影像205中的人體上，以產生虛擬穿衣結果影像207供使用者參考，而使用者還可下載虛擬穿衣結果影像207作後續使用，但可不限於此。
在本發明的實施例中，為使虛擬穿衣系統100能夠提供具較佳品質的虛擬穿衣結果影像，虛擬穿衣系統100可執行本發明提出的虛擬穿衣的影像前處理方法，以下將作進一步說明。
請參照圖3，其是依據本發明之一實施例繪示的虛擬穿衣的影像前處理方法流程圖。本實施例的方法可由圖1的虛擬穿衣系統100執行，以下即搭配圖1所示的元件說明圖3各步驟的細節。為使本發明概念更易於理解，以下另輔以圖4A至圖4E作說明，其中圖4A至圖4E是依據本發明第一實施例繪示的影像前處理示意圖。
首先，在步驟S310中，處理器104取得包括衣物(下稱C)的衣物影像(下稱A)及包括人體411a的人體影像411，並產生對應於人體411a的人體骨架圖412。
在圖4A中，所考慮的衣物影像A中衣物C的衣物種類(下稱T)例如是上身衣物(例如所示的T恤)、下身衣物(例如所示的長褲)或全身衣物(例如所示的洋裝)，但可不限於此。在不同的實施例中，所考慮的衣物影像A可來自於購物網站或是由使用者自行上傳。
在一實施例中，人體影像411可由使用者自行上傳。在另一實施例中，使用者亦可在於衣物商店選購衣物時，透過商店內的取像裝置來拍攝自身的全身照以作為人體影像411，而所考慮的衣物影像A例如可由使用者自此衣物商店的網站選取，或是可由上述取像裝置直接對衣物商店中的衣物拍攝而得，但可不限於此。
在一實施例中，處理器104例如可基於相關的人體姿態辨識演算法(例如DeepPose)來產生對應於人體411a的人體骨架圖412，但可不限於此。
在圖4A中，人體骨架圖412例如包括對應於人體411a上的多個關節點的節點，且各節點可具有對應的編號，而相關的編號原則可依所選用的人體姿態辨識演算法而定。
之後，在步驟S320中，處理器104基於衣物影像A在人體骨架圖412中判定骨架影像區域(下稱B)。
在一實施例中，處理器104例如可辨識衣物影像A中衣物C的衣物種類T，並基於此衣物種類T在人體骨架圖412中判定上述骨架影像區域B。
在不同的實施例中，處理器104可採用不同的方式辨識衣物C的衣物種類T。在一實施例中，若衣物C選自於衣物商店的現場，則使用者(或其他相關人員)可使用相關的讀取器(例如條碼讀取器)直接讀取衣物C的辨識資訊(例如標籤條碼)，而上述讀取器可將所讀取到的辨識資訊提供予虛擬穿衣系統100。之後，處理器104可查詢衣物商店的衣物資料庫以得知衣物C的相關資訊，例如衣物種類T等，但可不限於此。
在另一實施例中，處理器104可將衣物影像A饋入影像分類模型(下稱M)，其中影像分類模型M可因應於衣物影像A而預測衣物C的衣物種類T。
在不同的實施例中，影像分類模型M可基於視覺幾何組
(Visual Geometry Group，VGG)、MobileNet、EfficientNet等架構實現，但可不限於此。
在一實施例中，為使影像分類模型M具備上述能力，在影像分類模型M的訓練過程中，設計者可將經特殊設計的訓練資料饋入影像分類模型M，以讓影像分類模型M進行相應的學習。舉例而言，在取得經標註為對應某個衣物種類(例如上身衣物、下身衣物或全身衣物)的衣物影像之後，其可作為一筆訓練資料饋入訓練中的影像分類模型M，以讓影像分類模型M學習對應於某個衣物種類的衣物影像具有哪些特徵。
基於相似概念，在將對應於不同衣物種類的衣物影像饋入訓練中的影像分類模型M之後，影像分類模型M即可學習對應於不同衣物種類的衣物影像的特徵。基此，當對經訓練後的影像分類模型M饋入某未知衣物影像時，影像分類模型M即可相應地預測/判定對應的衣物種類，但可不限於此。
在一實施例中，處理器104可基於衣物種類T在人體骨架圖412中判定對應於上半身骨架、下半身骨架或全身骨架的感興趣範圍，如圖4B所例示。
在圖4B中，反應於判定衣物種類T為上身衣物，處理器104可在人體骨架圖412中判定對應於上半身骨架(其例如包括編號0、1、2、3、4、5、6、7、8、9、12、15、16、17、18的節點)的感興趣範圍412a。反應於判定衣物種類T為下身衣物，處理器104在人體骨架圖412中判定對應於下半身骨架(其例如包括編號
8、9、10、11、12、13、14、19、20、21、22、23、24的節點)的感興趣範圍412b。反應於判定衣物種類T為全身衣物，處理器104在人體骨架圖412中判定對應於全身骨架(例如是整個人體骨架圖412)的感興趣範圍412c。
之後，處理器104可依據一特定比率調整所考慮的感興趣範圍，並在人體骨架圖412判定對應於調整後的感興趣範圍的影像區域作為骨架影像區域B。在一實施例中，調整後的感興趣範圍可不超過人體骨架圖412的尺寸。
舉例而言，若所考慮的感興趣範圍為感興趣範圍412a(即，衣物種類T為上身衣物的情境)，則處理器104可將感興趣範圍412a乘以特定比率(例如1.4)以將感興趣範圍412a調整為感興趣範圍412a’。之後，處理器104可判定對應於感興趣範圍412a’的影像區域作為骨架影像區域B。
舉另一例而言，若所考慮的感興趣範圍為感興趣範圍412b(即，衣物種類T為下身衣物的情境)，則處理器104可將感興趣範圍412b乘以特定比率(例如1.4)以將感興趣範圍412b調整為感興趣範圍412b’。之後，處理器104可判定對應於感興趣範圍412b’的影像區域作為骨架影像區域B。
舉再一例而言，若所考慮的感興趣範圍為感興趣範圍412c(即，衣物種類T為全身衣物的情境)，則處理器104可將感興趣範圍412c乘以特定比率(例如1)以將感興趣範圍412c調整為感興趣範圍412c’，但可不限於此。之後，處理器104可判定對
應於感興趣範圍412c’的影像區域作為骨架影像區域B。
接著，在步驟S330中，處理器104從人體影像411截取對應於骨架影像區域B的特定影像區域(下稱R)。
在圖4C情境中，假設所考慮的調整後感興趣範圍為感興趣範圍412a’(即，衣物種類T為上身衣物的情境)，則處理器104可據以在人體骨架圖412中判定骨架影像區域B。之後，處理器104可從人體影像411截取對應於骨架影像區域B的特定影像區域R。
在本發明的實施例中，透過基於上述特定比率調整感興趣範圍的方式，可避免所截取的特定影像區域R中包括被截斷的人體部位(例如被截斷的頭頂及/或肢段末段)。
在一實施例中，在取得包括人體部位(例如上半身)的特定影像區域R之後，處理器104可據以將衣物影像A中的衣物C虛擬地穿著於特定影像區域R中的人體部位，並將穿著有衣物C的人體部位與人體影像411結合，以產生虛擬穿衣結果影像。
在圖4D情境中，假設所考慮的衣物影像A是包括衣物420a(例如屬於上身衣物)的衣物影像420，則處理器104可在取得特定影像區域R之後，將衣物420a虛擬地穿著於特定影像區域R中的人體部位(例如，上半身)，以產生參考結果影像430。
在不同的實施例中，處理器104可基於現有的各式虛擬穿衣演算法(例如「High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions」、「Style-Based
Global Appearance Flow for Virtual Try-On」等)來將衣物420a虛擬地穿著於特定影像區域R中的人體部位上。
之後，處理器104可將參考結果影像430與人體影像411結合為虛擬穿衣結果影像440(可稱為第一虛擬穿衣結果影像)。舉例而言，處理器104可以參考結果影像430覆蓋人體影像411中的特定影像區域R，以得到虛擬穿衣結果影像440。
透過圖3所示的方法，可讓虛擬穿衣結果影像440提供較佳的虛擬穿衣效果，因而可改善使用者體驗。
在圖4E中，虛擬穿衣結果影像450例如是未先以圖3方法進行影像前處理，直接應用現有虛擬穿衣演算法將衣物影像420中的衣物420a虛擬地穿著於人體影像411中人體411a上的結果。
由圖4E可看出，虛擬穿衣結果影像450中衣物圖案的位置明顯偏低，因此無法提供良好的虛擬穿衣效果。相較之下，虛擬穿衣結果影像440則能夠提供更為準確的虛擬穿衣效果。由此可知，在先透過圖3所示方法取得對應於骨架影像區域B的特定影像區域R(其亦可理解為基於衣物種類T取得對應的上半身影像區域、下半身影像區域或全身影像區域)之後，可令後續的虛擬穿衣演算法更準確地將衣物影像420中的衣物420a虛擬地穿著於特定影像區域R中的人體部位。藉此，可提供較佳的虛擬穿衣效果。
在以上實施例中，由於所考慮的人體影像411屬於無背景(或背景較為單純)的類型，因此可直接用於執行圖3所示方法。然而，對於具有較複雜背景的影像而言，由於複雜的背景會導
致虛擬穿衣結果的不確定性，因而可能造成最終虛擬穿衣結果的品質下降。有鑑於此，本發明實施例另提出一人物背景消除方法，以試圖解決上述技術問題。
請參照圖5，其是依據本發明之一實施例繪示的人物背景消除方法流程圖。本實施例的方法可由圖1的虛擬穿衣系統100執行，以下即搭配圖1所示的元件說明圖5各步驟的細節。為使本發明概念更易於理解，以下另輔以圖6A至圖6C作說明，其中圖6A至圖6C是依據本發明第二實施例繪示的人物背景消除示意圖。
首先，在步驟S510中，處理器104取得原始影像611，其中原始影像611包括背景區域611b(其例如包括一面白牆)及對應於人體411a的人體影像區域611a。在本實施例中，原始影像611例如是由使用者自行拍照所上傳，或是在衣物商店的現場拍攝而得，但可不限於此。
在一實施例中，處理器104例如可基於原始影像611執行現有的人物區域分割演算法以得到人物區域612，並據以在原始影像611中判定人體影像區域611a及背景區域611b。
在步驟S520中，處理器104將人體影像區域611a從原始影像611分離，以產生人體影像411及對應於背景區域611b的一背景影像613。在圖6A中，背景影像613可包括對應於人體影像區域611a的空區域613a，而處理器104可將空區域613a以黑像素填滿。另外，在將人體影像區域611a從原始影像611分離之
後，處理器104可將對應於背景區域611b的部分以白像素填滿，以形成人體影像411，但可不限於此。
在步驟S530中，處理器104藉由填補空區域613a以將背景影像613轉換為參考背景影像614，如圖6B所示。在一實施例中，處理器104例如可基於Inpaint的技術或是其他類似的填補技術來填補空區域613a，但可不限於此。
在圖6B的實施例中，處理器104還可透過將虛擬穿衣結果影像440與參考背景影像614結合而產生虛擬穿衣結果影像615(可稱為第二虛擬穿衣結果影像)。
透過圖5所示的方法，可讓虛擬穿衣結果影像615提供較佳的虛擬穿衣效果，因而可改善使用者體驗。
在圖6C中，虛擬穿衣結果影像616例如是未先以圖5方法進行人物背景消除，直接應用現有虛擬穿衣演算法將衣物影像420中的衣物420a虛擬地穿著於原始影像611中人體411a上的結果。
由圖6C可看出，虛擬穿衣結果影像616中手部附近的背景出現明顯的雜訊，因此無法提供良好的虛擬穿衣效果。相較之下，虛擬穿衣結果影像615則能夠避免背景出現過多雜訊，進而可提供較佳的虛擬穿衣效果。
在一些實施例中，由於不同服飾品牌對其衣物的拍照方式皆有所差異，因而可能導致最終虛擬穿衣結果的差異。舉例而言，若不同衣物影像因拍攝方式的不同而具有不同的高寬比，將可
能令最終的虛擬穿衣結果不盡理想。
有鑑於此，本發明實施例另提出一固定衣物影像高寬比方法，以試圖解決上述技術問題。
請參照圖7，其是依據本發明之一實施例繪示的固定衣物影像高寬比方法流程圖。本實施例的方法可由圖1的虛擬穿衣系統100執行，以下即搭配圖1所示的元件說明圖7各步驟的細節。為使本發明概念更易於理解，以下另輔以圖8A至圖8C作說明，其中圖8A至圖8C是依據本發明第三實施例繪示的固定衣物影像高寬比示意圖。
首先，在步驟S710中，處理器104取得包括衣物811a的原始衣物影像811，並在原始衣物影像811中辨識對應於衣物811a的衣物影像區域811b。
在一實施例中，處理器104例如可基於原始衣物影像811執行現有的衣物區域分割演算法(其可相同於上述人物區域分割演算法)以得到衣物區域812，並據以在原始衣物影像811中判定衣物影像區域811b。
在步驟S720中，處理器104將原始衣物影像811填補為參考衣物影像813，並基於衣物影像區域811b在參考衣物影像813中判定衣物影像範圍813a。在一實施例中，處理器104例如可將原始衣物影像811(其解析度例如是500x500)的高、寬皆擴張為2倍，並將不屬於原始衣物影像811的部分以白像素填補，以形成參考衣物影像813(其解析度例如是1000x1000)。相似地，處理器
104還可對衣物區域812進行相應的填補，以形成影像814(其解析度例如是1000x1000)。
之後，處理器104可以一矩形框作為衣物影像範圍813a，其中此矩形框的上、下、左、右側分別對應於衣物影像區域811b的最上、最下、最左、最右像素，但可不限於此。
在步驟S730中，處理器104在參考衣物影像813中擷取包括衣物影像範圍813a的參考衣物影像區域813b，其中參考衣物影像區域813b具有預設高寬比(例如高：寬為4：3)。
在圖8B中，參考衣物影像區域813b具有特定高度H’及特定寬度W’。
在一實施例中，反應於判定衣物影像範圍813a的高寬比滿足預設條件(例如高寬比大於1.33倍)，處理器104可將衣物影像範圍813a的寬度W擴大第一預設倍數(例如1.25倍)以判定特定寬度W’，並將特定寬度W’擴大一第二預設倍數(例如4/3倍)以判定該特定高度H’。
在另一實施例中，反應於判定衣物影像範圍813a的高寬比未滿足預設條件(例如高寬比不大於1.33倍)，處理器104可將衣物影像範圍813a的高度H擴大第一預設倍數以判定特定高度H’，並將特定高度H’擴大第二預設倍數以判定特定寬度W。
此外，在圖8B中，參考衣物影像區域813b的中心點815b對應於衣物影像範圍813a的中心點815a，但可不限於此。
之後，在步驟S740中，處理器104將參考衣物影像區域
813b的解析度轉換為預設解析度(例如1024x768)，以產生衣物影像816，如圖8C所示。
在圖8C中，處理器104可基於原始衣物影像811及原始影像611執行虛擬穿衣演算法，以得到虛擬穿衣結果影像821。另外，處理器104可基於衣物影像816及原始影像611執行虛擬穿衣演算法，以得到虛擬穿衣結果影像822。
由圖8C可看出，若未先執行圖7的方法而直接基於原始衣物影像811及原始影像611執行虛擬穿衣演算法，將可能令虛擬穿衣結果影像821出現不盡理想的效果(例如袖子未能正確地匹配手臂)。然而，若先執行圖7的方法以將原始衣物影像811轉換為衣物影像816再據以執行虛擬穿衣演算法，將可令虛擬穿衣結果影像822出現較佳的效果(例如袖子能夠正確地匹配手臂)。
請參照圖9，其是依據本發明之一實施例繪示的對應不同原始影像及原始衣物影像的應用結果示意圖。
由圖9可看出，相較於直接基於原始影像及原始衣物影像執行虛擬穿衣演算法，先應用本發明實施例的虛擬穿衣的影像前處理方法、人物背景消除方法及/或固定衣物影像高寬比方法，再套用虛擬穿衣演算法的方式可得到具較佳效果的虛擬穿衣結果影像。
在其他實施例中，在執行本發明實施例的虛擬穿衣的影像前處理方法、人物背景消除方法及/或固定衣物影像高寬比方法之後，還可對所獲得的衣物影像(例如圖8C的衣物影像816)及
/或對應於骨架影像區域的特定影像區域(例如圖4D的特定影像區域R)進行其他前處理，例如「High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions」、「Style-Based Global Appearance Flow for Virtual Try-On」等各式虛擬穿衣演算法對應的前處理手段等，但可不限於此。
綜上所述，本發明實施例可透過虛擬穿衣的影像前處理方法、人物背景消除方法及/或固定衣物影像高寬比方法來改善後續虛擬穿衣演算法所提供的虛擬穿衣結果影像，藉以提供較佳的使用體驗。
另外，由於可改善虛擬穿衣結果影像的品質，故本發明實施例的方法至少還可達到以下效果：(1)提高購物體驗：讓消費者在不出門的情況下進行試穿，增加其線上購物的體驗；(2)減少退貨率：讓消費者預先獲知該服飾的穿搭效果，是否符合自身穿搭風格，減少消費者收到衣服後卻不滿意的退貨率；(3)提高銷售額：相較其他未導入虛擬穿衣產品的服飾品牌，此功能可做為其一宣傳噱頭，吸引消費者使用此虛擬穿衣產品，進而增加其銷售額；(4)提高客戶回購率：搭配服裝推薦演算法，即時試穿所推薦的衣服以吸引消費者購買，增加消費者於該品牌的黏著度；(5)降低成本：透過虛擬穿衣技術，減少商店衣服的庫存成本，且亦同時減少因試穿所帶來的產品損壞，如：試穿時於服飾上留下口紅印、試穿衣服僅能做為福利品銷售。
雖然本發明已以實施例揭露如上，然其並非用以限定本
發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S310~S330:步驟
Claims (18)
- 一種虛擬穿衣的影像前處理方法，適於一虛擬穿衣系統，包括：取得包括一衣物的一原始衣物影像，並在該原始衣物影像中辨識對應於該衣物的一衣物影像區域；將該原始衣物影像填補為一參考衣物影像，並基於該衣物影像區域在該參考衣物影像中判定一衣物影像範圍；在該參考衣物影像中擷取包括該衣物影像範圍的一參考衣物影像區域，其中該參考衣物影像區域具有一預設高寬比；將該參考衣物影像區域的解析度轉換為一預設解析度，以產生一衣物影像；取得包括該衣物的該衣物影像及包括一人體的一人體影像，並產生對應於該人體的一人體骨架圖；基於該衣物影像在該人體骨架圖判定一骨架影像區域；以及從該人體影像截取對應於該骨架影像區域的一特定影像區域。
- 如請求項1所述的方法，其中基於該衣物影像從該人體骨架圖截取該骨架影像區域的步驟包括：辨識該衣物影像中該衣物的衣物種類；以及基於該衣物種類在該人體骨架圖中判定該骨架影像區域。
- 如請求項2所述的方法，其中基於該衣物種類在該人體骨架圖中判定該骨架影像區域的步驟包括： 基於該衣物種類在該人體骨架圖中判定對應於上半身骨架、下半身骨架或全身骨架的感興趣範圍；以及依據一特定比率調整該感興趣範圍，並在該人體骨架圖中判定對應於調整後的該感興趣範圍的影像區域作為該骨架影像區域。
- 如請求項3所述的方法，其中基於該衣物種類在該人體骨架圖中判定對應於該上半身骨架、該下半身骨架或該全身骨架的該感興趣範圍的步驟包括：反應於判定該衣物種類為上身衣物，在該人體骨架圖中判定對應於該上半身骨架的該感興趣範圍；反應於判定該衣物種類為下身衣物，在該人體骨架圖中判定對應於該下半身骨架的該感興趣範圍；以及反應於判定該衣物種類為全身衣物，在該人體骨架圖中判定對應於該全身骨架的該感興趣範圍。
- 如請求項2所述的方法，其中辨識該衣物影像中該衣物的該衣物種類的步驟包括：將該衣物影像饋入一影像分類模型，其中該影像分類模型因應於該衣物影像而預測該衣物的該衣物種類；或者取得該衣物的一辨識資訊，並據以判定該衣物的該衣物種類。
- 如請求項1所述的方法，更包括：取得一原始影像，其中該原始影像包括一背景區域及對應於該人體的一人體影像區域； 將該人體影像區域從該原始影像分離，以產生該人體影像及對應於該背景區域的一背景影像，其中該背景影像包括對應於該人體影像區域的空區域；藉由填補該空區域以將該背景影像轉換為一參考背景影像。
- 如請求項1所述的方法，其中該特定影像區域包括一人體部位，且所述方法更包括：將該衣物影像中的該衣物虛擬地穿著於該特定影像區域中的該人體部位，以產生一參考結果影像；以及將該參考結果影像與該人體影像結合為一第一虛擬穿衣結果影像。
- 如請求項7所述的方法，更包括：透過將該第一虛擬穿衣結果影像與一參考背景影像結合而產生一第二虛擬穿衣結果影像。
- 如請求項1所述的方法，其中該參考衣物影像區域具有一特定高度及一特定寬度，且所述方法更包括：反應於判定該衣物影像範圍的高寬比滿足一預設條件，將該衣物影像範圍的寬度擴大一第一預設倍數以判定該特定寬度，並將該特定寬度擴大一第二預設倍數以判定該特定高度；反應於判定該衣物影像範圍的高寬比未滿足該預設條件，將該衣物影像範圍的高度擴大該第一預設倍數以判定該特定高度，並將該特定高度擴大該第二預設倍數以判定該特定寬度； 其中該參考衣物影像區域的中心點對應於該衣物影像範圍的中心點。
- 一種虛擬穿衣系統，包括：一儲存電路，其儲存一程式碼；以及一處理器，其耦接該儲存電路並存取該程式碼以執行：取得包括一衣物的一原始衣物影像，並在該原始衣物影像中辨識對應於該衣物的一衣物影像區域；將該原始衣物影像填補為一參考衣物影像，並基於該衣物影像區域在該參考衣物影像中判定一衣物影像範圍；在該參考衣物影像中擷取包括該衣物影像範圍的一參考衣物影像區域，其中該參考衣物影像區域具有一預設高寬比；將該參考衣物影像區域的解析度轉換為一預設解析度，以產生一衣物影像；取得包括該衣物的該衣物影像及包括一人體的一人體影像，並產生對應於該人體的一人體骨架圖；基於該衣物影像從該人體骨架圖截取一骨架影像區域；以及從該人體影像截取對應於該骨架影像區域的一特定影像區域。
- 如請求項10所述的虛擬穿衣系統，其中該處理器執行：辨識該衣物影像中該衣物的衣物種類；以及 基於該衣物種類在該人體骨架圖中判定該骨架影像區域。
- 如請求項11所述的虛擬穿衣系統，其中該處理器執行：基於該衣物種類在該人體骨架圖中判定對應於上半身骨架、下半身骨架或全身骨架的感興趣範圍；以及依據一特定比率調整該感興趣範圍，並在該人體骨架圖中判定對應於該感興趣範圍的影像區域作為該骨架影像區域。
- 如請求項12所述的虛擬穿衣系統，其中該處理器執行：反應於判定該衣物種類為上身衣物，在該人體骨架圖中判定對應於該上半身骨架的該感興趣範圍；反應於判定該衣物種類為下身衣物，在該人體骨架圖中判定對應於該下半身骨架的該感興趣範圍；以及反應於判定該衣物種類為全身衣物，在該人體骨架圖中判定對應於該全身骨架的該感興趣範圍。
- 如請求項11所述的虛擬穿衣系統，其中該處理器執行：將該衣物影像饋入一影像分類模型，其中該影像分類模型因應於該衣物影像而預測該衣物的該衣物種類；或者取得該衣物的一辨識資訊，並據以判定該衣物的該衣物種類。
- 如請求項10所述的虛擬穿衣系統，其中該處理器更執行： 取得一原始影像，其中該原始影像包括一背景區域及對應於該人體的一人體影像區域；將該人體影像區域從該原始影像分離，以產生該人體影像及對應於該背景區域的一背景影像，其中該背景影像包括對應於該人體影像區域的空區域；藉由填補該空區域以將該背景影像轉換為一參考背景影像。
- 如請求項10所述的虛擬穿衣系統，其中該特定影像區域包括一人體部位，且該處理器更執行：將該衣物影像中的該衣物虛擬地穿著於該特定影像區域中的該人體部位，以產生一參考結果影像；以及將該參考結果影像與該人體影像結合為一第一虛擬穿衣結果影像；以及透過將該第一虛擬穿衣結果影像與一參考背景影像結合而產生一第二虛擬穿衣結果影像。
- 如請求項10所述的虛擬穿衣系統，其中該參考衣物影像區域具有一特定高度及一特定寬度，且該處理器更執行：反應於判定該衣物影像範圍的高寬比滿足一預設條件，將該衣物影像範圍的寬度擴大一第一預設倍數以判定該特定寬度，並將該特定寬度擴大一第二預設倍數以判定該特定高度； 反應於判定該衣物影像範圍的高寬比未滿足該預設條件，將該衣物影像範圍的高度擴大該第一預設倍數以判定該特定高度，並將該特定高度擴大該第二預設倍數以判定該特定寬度；其中該參考衣物影像區域的中心點對應於該衣物影像範圍的中心點。
- 一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄可執行電腦程式，所述可執行電腦程式由虛擬穿衣系統載入以執行以下步驟：取得包括一衣物的一原始衣物影像，並在該原始衣物影像中辨識對應於該衣物的一衣物影像區域；將該原始衣物影像填補為一參考衣物影像，並基於該衣物影像區域在該參考衣物影像中判定一衣物影像範圍；在該參考衣物影像中擷取包括該衣物影像範圍的一參考衣物影像區域，其中該參考衣物影像區域具有一預設高寬比；以及將該參考衣物影像區域的解析度轉換為一預設解析度，以產生一衣物影像；取得包括該衣物的該衣物影像及包括一人體的一人體影像，並產生對應於該人體的一人體骨架圖；基於該衣物影像從該人體骨架圖截取一骨架影像區域；以及從該人體影像截取對應於該骨架影像區域的一特定影像區域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112125080A TWI852667B (zh) | 2023-07-05 | 2023-07-05 | 虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112125080A TWI852667B (zh) | 2023-07-05 | 2023-07-05 | 虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI852667B true TWI852667B (zh) | 2024-08-11 |
Family
ID=93284075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112125080A TWI852667B (zh) | 2023-07-05 | 2023-07-05 | 虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI852667B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982525A (zh) * | 2011-06-01 | 2013-03-20 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN103020961A (zh) * | 2012-11-26 | 2013-04-03 | 谭平 | 基于图像的虚拟服装拟合的方法和设备 |
| US20180144473A1 (en) * | 2015-05-28 | 2018-05-24 | Galgo Medical, S.L. | Method, a system and a computer program for determining data defining an estimate of the thickness and density of a cortical bone tissue structure of interest from imaging data |
-
2023
- 2023-07-05 TW TW112125080A patent/TWI852667B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982525A (zh) * | 2011-06-01 | 2013-03-20 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN103020961A (zh) * | 2012-11-26 | 2013-04-03 | 谭平 | 基于图像的虚拟服装拟合的方法和设备 |
| US20180144473A1 (en) * | 2015-05-28 | 2018-05-24 | Galgo Medical, S.L. | Method, a system and a computer program for determining data defining an estimate of the thickness and density of a cortical bone tissue structure of interest from imaging data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10489683B1 (en) | Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks | |
| US11010896B2 (en) | Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation | |
| EP3479296B1 (en) | System of virtual dressing utilizing image processing, machine learning, and computer vision | |
| US8209240B2 (en) | Method, apparatus, and computer readable recording medium for acquiring information on products attached to person in image data | |
| CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
| EP2686834B1 (en) | Improved virtual try on simulation service | |
| US9013489B2 (en) | Generation of avatar reflecting player appearance | |
| Huang et al. | Real-time classification of green coffee beans by using a convolutional neural network | |
| JP5439787B2 (ja) | カメラ装置 | |
| JP2017533606A (ja) | 写真撮影テンプレートデータベースを作成し、写真撮影推奨情報を提供する方法及び装置 | |
| WO2009031155A2 (en) | Modelization of objects in images | |
| KR102014660B1 (ko) | 개선된 나이 모델링 방법 | |
| US11069089B2 (en) | Information processing apparatus, information processing method, and computer program product | |
| JP2014139783A (ja) | 製品のカスタマイズに用いるデジタル画像を生成するために赤外線写真を用いる方法 | |
| CN109147007B (zh) | 贴纸加载方法、装置、终端及计算机可读存储介质 | |
| CN104754211A (zh) | 图像处理装置以及图像处理方法 | |
| CN108876936A (zh) | 虚拟显示方法、装置、电子设备及计算机可读存储介质 | |
| US20240037869A1 (en) | Systems and methods for using machine learning models to effect virtual try-on and styling on actual users | |
| JP6969878B2 (ja) | 識別器学習装置および識別器学習方法 | |
| Xia et al. | Acquiring accurate body measurements on a smartphone from supplied colored garments for online apparel purchasing platforms and e-retailers | |
| JP2018112777A (ja) | 推奨アイテム出力プログラム、出力制御プログラム、推奨アイテム出力装置、出力制御装置、推奨アイテム出力方法および出力制御方法 | |
| Shadrach et al. | Smart virtual trial room for apparel industry | |
| TWI852667B (zh) | 虛擬穿衣的影像前處理方法、虛擬穿衣系統及電腦可讀儲存媒體 | |
| CN110084676A (zh) | 一种线上商品推荐方法、网络终端和具有存储功能的装置 | |
| WO2015172229A1 (en) | Virtual mirror systems and methods |