1.一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣系統(tǒng),其特征在于,包括用于獲取服裝和用戶待試衣圖像的模塊、用于模特圖像語(yǔ)義分割和姿勢(shì)形態(tài)的特征處理模塊、用于生成虛擬試衣效果圖的擴(kuò)散模型生成模塊、用于將生成的虛擬試衣效果圖反饋給用戶的輸出模塊;
2.根據(jù)權(quán)利要求1所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣系統(tǒng),其特征在于,所述擴(kuò)散模型用于生成虛擬試衣效果圖,逐步去噪生成模特與服裝結(jié)合后的逼真圖像;所述擴(kuò)散模型的工作流程包含前向擴(kuò)散過(guò)程和反向生成過(guò)程;
3.根據(jù)權(quán)利要求2所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣系統(tǒng),其特征在于,?訓(xùn)練過(guò)程中所述擴(kuò)散模型的訓(xùn)練目標(biāo)是最小化每個(gè)時(shí)間步之間的去噪誤差,通過(guò)一個(gè)l2?損失函數(shù)來(lái)實(shí)現(xiàn):
4.根據(jù)權(quán)利要求2或3所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣系統(tǒng),其特征于,所述擴(kuò)散模型的反向生成過(guò)程用于虛擬試衣效果的生成,具體包括:
5.一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣方法,其特征在于該方法包括以下步驟:
6.根據(jù)權(quán)利要求5所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣方法,其特征在于,步驟2具體包括:通過(guò)mask2former網(wǎng)絡(luò)獲取模特的語(yǔ)義分割圖,選擇特定服裝語(yǔ)義的編號(hào)獲取特定的掩膜,根據(jù)服裝類型和掩膜區(qū)域進(jìn)行擴(kuò)張,用以兼容不同款式的服裝;
7.根據(jù)權(quán)利要求6所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣方法,其特征在于,通過(guò)densepose網(wǎng)絡(luò)模型獲取模特的densepose圖,用于體現(xiàn)人體不同區(qū)域的姿勢(shì);通過(guò)dwpose網(wǎng)絡(luò)模型獲取模特的骨架圖,用于體現(xiàn)人體的整體架構(gòu)。
8.根據(jù)權(quán)利要求5所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣方法,其特征在于,擴(kuò)散模型的訓(xùn)練包括:在試裝完成的真實(shí)模特圖上添加設(shè)定的噪聲,加噪的幅度由擴(kuò)散模型預(yù)先設(shè)定;將加噪的服裝,服裝區(qū)域掩膜以及模特保留區(qū)域拼接在一起之后輸入擴(kuò)散模型進(jìn)行訓(xùn)練;人體形態(tài)姿勢(shì)通過(guò)多層卷積網(wǎng)絡(luò)之后添加到上述的輸入中一起進(jìn)行訓(xùn)練;結(jié)合服裝特征模型一起訓(xùn)練;擴(kuò)散模型的損失函數(shù)包括但不限于通過(guò)預(yù)測(cè)所加噪聲與真實(shí)噪聲之間的均方誤差,使得模型得以習(xí)得去噪過(guò)程,并能從初始的完全隨機(jī)噪聲中逐步去除噪聲,以達(dá)到可控圖像生成的效果。
9.根據(jù)權(quán)利要求5所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣方法,其特征在于,雙流結(jié)構(gòu)是通過(guò)采用dwpose雙流權(quán)重共享人體姿態(tài)估計(jì)方法實(shí)現(xiàn)。
10.根據(jù)權(quán)利要求5所述的一種基于擴(kuò)散模型保持局部細(xì)節(jié)的虛擬試衣方法,其特征在于,步驟5中對(duì)生成的虛擬試衣效果圖需要經(jīng)過(guò)后處理提升圖片質(zhì)量,具體的:將生成圖與原圖進(jìn)行alpha融合,融合的掩膜為服裝區(qū)域掩膜,使得保留區(qū)域能夠更接近原圖的保留區(qū)域,同時(shí)保留生成的服裝區(qū)域;采用stable?diffusion系列模型,輸入的圖像為經(jīng)過(guò)vae處理之后的圖像latent,在最終生圖效果展示的時(shí)候經(jīng)過(guò)vae的解碼器。