本發(fā)明涉及一種虛擬試衣系統(tǒng)及方法，更具體一點說，涉及一種基于擴散模型保持局部細節(jié)的虛擬試衣系統(tǒng)及方法，屬于計算機視覺和人工智能領(lǐng)域。
背景技術(shù)：
：：1、傳統(tǒng)的在線購物方式無法提供用戶真實的試穿體驗，用戶往往難以判斷衣物的款式、尺寸和穿著效果。為了解決這一問題，虛擬試衣技術(shù)應運而生。虛擬試衣是一種特定的圖像生成功能，給定試衣模特，可以是用戶上傳的自身圖片，也可以是商家指定的用于產(chǎn)品展示的人物模特，同時給定需要試穿的服裝，直接生成試裝模特穿著給定服裝的效果，不需要實際換裝而直接利用人工智能生成的圖像生成技術(shù)。通過將用戶虛擬化、服裝數(shù)字化，模擬真實試穿場景，使用戶能夠更直觀地看到服裝的上身效果，避免了商家的產(chǎn)品展示需要模特拍攝著裝效果，通常費時費力。2、但是現(xiàn)有的虛擬試衣系統(tǒng)是基于三維建模和計算機圖形學技術(shù)，雖然能一定程度上模擬衣物的動態(tài)和穿著效果，但存在以下幾個主要問題：首先，服裝與人體之間存在較大縫隙或變形，上身效果不夠自然且對服裝的細節(jié)和材質(zhì)表現(xiàn)不足；其次，由于人體形態(tài)的多樣性，對個性化需求的支持有限，無法滿足用戶對特定風格或尺寸的個性化需求，用戶體驗不佳；最后，建模過程復雜且耗時，無法實時生成高質(zhì)量的虛擬試衣效果。技術(shù)實現(xiàn)思路1、為了解決上述現(xiàn)有技術(shù)問題，本發(fā)明提供具有能夠生成高質(zhì)量的虛擬試衣效果，提供個性化的服裝推薦與試穿功能，以解決目前虛擬試衣的真實感不足，個性化體驗較差，建模過程復雜耗時等問題的一種基于擴散模型保持局部細節(jié)的虛擬試衣系統(tǒng)及方法。2、為了實現(xiàn)上述目的，本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：3、一種基于擴散模型保持局部細節(jié)的虛擬試衣系統(tǒng)，包括用于獲取服裝和用戶待試衣圖像的模塊、用于模特圖像語義分割和姿勢形態(tài)的特征處理模塊、用于生成虛擬試衣效果圖的擴散模型生成模塊、用于將生成的虛擬試衣效果圖反饋給用戶的輸出模塊；4、所述擴散模型生成模塊通過預先訓練的擴散模型，從噪聲圖像生成高保真試衣效果圖；所述局部細節(jié)增強模塊基于雙流結(jié)構(gòu)和不同權(quán)重損失函數(shù)，以提高服裝區(qū)域的細節(jié)保真度；所述特征處理模塊能夠基于用戶輸入的待試衣模特圖和服裝白底圖，獲取擴散模型所需的特征；所述輸出模塊能夠?qū)崟r地將生成結(jié)果反饋到用戶終端。5、優(yōu)選的，所述擴散模型用于生成虛擬試衣效果圖，逐步去噪生成模特與服裝結(jié)合后的逼真圖像；所述擴散模型的工作流程包含前向擴散過程和反向生成過程；6、所述前向擴散過程：擴散模型將圖像逐步添加噪聲，直到該圖像被完全轉(zhuǎn)化為高斯噪聲，前向擴散過程通過以下公式描述：7、；8、其中：是在時間步的圖像表示；?是一個控制每一步噪聲強度的超參數(shù)；表示從圖像生成下一步圖像的高斯分布；通過多步迭代，圖像??最終被轉(zhuǎn)化為純噪聲圖像?，該過程可以看作是數(shù)據(jù)的破壞過程；9、所述反向生成過程：噪聲圖像逐步去噪，生成目標圖像，通過學習參數(shù)化模型?，擴散模型能夠從任意的噪聲圖像中反推回原始圖像：10、；11、其中，是反向過程中的均值函數(shù)，?是協(xié)方差矩陣，、參數(shù)是通過神經(jīng)網(wǎng)絡進行學習獲得；通過多次迭代，擴散模型逐步從高斯噪聲中生成逼真的目標圖像，輸出過程與前向擴散過程正好相反。12、優(yōu)選的，練過程中所述擴散模型的訓練目標是最小化每個時間步之間的去噪誤差，通過一個?l2?損失函數(shù)來實現(xiàn)：13、；14、其中：是真實數(shù)據(jù)的圖像；是模型預測的噪聲函數(shù)；是時間步，是從標準高斯分布采樣的噪聲；訓練過程中，擴散模型不斷調(diào)整其參數(shù)，以使得在反向生成過程中能夠盡可能準確地去除噪聲，恢復出與原始圖像匹配的高質(zhì)量圖像。15、優(yōu)選的，所述擴散模型的反向生成過程用于虛擬試衣效果的生成，具體包括：16、初始輸入是高斯噪聲，服裝區(qū)域掩膜以及模特保留區(qū)域的拼接；17、在生成的過程中疊加控制信息，包括人體形態(tài)姿勢以及服裝特征圖；18、通過服裝擴散模型獲取，輸入服裝圖之后保留特定位置的中間特征圖；19、通過擴散模型的反向生成過程，模型逐步去除噪聲，并在控制信息的引導下生成逼真的試衣效果圖。20、本發(fā)明一種基于擴散模型保持局部細節(jié)的虛擬試衣方法，該方法包括以下步驟：21、步驟1：構(gòu)建虛擬試衣訓練集，包括模特圖及其對應服裝白底圖；22、步驟2：對服裝白底圖和模特圖進行圖像預處理：通過人物視覺特征模型提取人物的語義分割和形態(tài)姿勢等特征；根據(jù)語義分割的結(jié)果，獲取消除原始服裝區(qū)域的掩膜，掩膜之外的區(qū)域為模特保留區(qū)域（圖像預處理包括：根據(jù)試裝的模特的語義分割獲取服裝區(qū)域掩膜，表示服裝的待穿區(qū)域的可控范圍，需要留有冗余兼容不同款式的服裝；剔除服裝區(qū)域后剩余部分為模特保留區(qū)域，使得試衣完成之后與原先保持一致；模特保留區(qū)域，服裝區(qū)域掩膜，人體形態(tài)姿勢均作為模型輸入）；（根據(jù)語義分割能夠獲取服裝區(qū)域掩膜和保留區(qū)域，服裝區(qū)域掩膜不是嚴格的服裝區(qū)域，而是可能會穿服裝的區(qū)域，例如模特穿著短袖，服裝區(qū)域掩膜需要包含手臂）；23、步驟3：基于擴散模型進行虛擬試衣效果生成訓練，通過服裝擴散模型獲取服裝在擴散模型不同階段中的特征圖；24、步驟4：通過虛擬試衣模型在相同階段拼接對應的服裝特征圖，來生成細節(jié)保持度高的服裝區(qū)域；在生成過程中，應用雙流結(jié)構(gòu)，確保服裝的紋理、褶皺和結(jié)構(gòu)特征在生成圖像中的真實呈現(xiàn)（局部細節(jié)保持機制包括：雙流結(jié)構(gòu)，服裝特征模型是一個結(jié)構(gòu)與虛擬試衣生成擴散模型一致的擴散模型；將服裝白底圖輸入服裝特征模型，保留模型的中間特征圖用于虛擬試衣生成模型的訓練和推理，這部分中間特征圖能夠顯著提升生成的虛擬試衣圖中服裝的細節(jié)效果；基于服裝關(guān)鍵區(qū)域，應用與背景不同的損失函數(shù)權(quán)重，確保這些區(qū)域的高細節(jié)呈現(xiàn)）；25、步驟5：對虛擬試衣效果圖進行后處理提升最終試衣效果；26、步驟6：將后處理之后的試衣效果圖通過網(wǎng)絡反饋給用戶。27、優(yōu)選的，步驟2具體包括：通過mask2former網(wǎng)絡獲取模特的語義分割圖，選擇特定服裝語義的編號獲取特定的掩膜，根據(jù)服裝類型和掩膜區(qū)域進行擴張，用以兼容不同款式的服裝；28、對于上裝，服裝掩膜區(qū)域需要同時包含完整軀干以及除手掌以外的手臂區(qū)域，并向外擴張設(shè)定的像素值，用于完全覆蓋若穿上服裝之后可能的范圍；29、對于下裝，服裝掩膜區(qū)域需要包含除腳或鞋子意外的腿部區(qū)域，同時向外擴張用于覆蓋若穿上不同褲子或裙子的范圍；30、對于全身裝，服裝掩膜區(qū)域需要包含除了手腳和頭部以外的所有可能區(qū)域；31、優(yōu)選的，通過densepose網(wǎng)絡模型獲取模特的densepose圖，用于體現(xiàn)人體不同區(qū)域的姿勢；通過dwpose網(wǎng)絡模型獲取模特的骨架圖，用于體現(xiàn)人體的整體架構(gòu)。32、優(yōu)選的，擴散模型的訓練包括：在試裝完成的真實模特圖上添加設(shè)定的噪聲，加噪的幅度由擴散模型預先設(shè)定；將加噪的服裝，服裝區(qū)域掩膜以及模特保留區(qū)域拼接在一起之后輸入擴散模型進行訓練；人體形態(tài)姿勢通過多層卷積網(wǎng)絡之后添加到上述的輸入中一起進行訓練；結(jié)合服裝特征模型一起訓練；擴散模型的損失函數(shù)包括但不限于通過預測所加噪聲與真實噪聲之間的均方誤差，使得模型得以習得去噪過程，并能從初始的完全隨機噪聲中逐步去除噪聲，以達到可控圖像生成的效果。33、優(yōu)選的，雙流結(jié)構(gòu)是通過采用dwpose雙流權(quán)重共享人體姿態(tài)估計方法實現(xiàn)。34、優(yōu)選的，步驟5中對生成的虛擬試衣效果圖需要經(jīng)過后處理提升圖片質(zhì)量，具體的：將生成圖與原圖進行alpha融合，融合的掩膜為服裝區(qū)域掩膜，使得保留區(qū)域能夠更接近原圖的保留區(qū)域，同時保留生成的服裝區(qū)域；35、采用stable?diffusion系列模型，stable?diffusion系列模型包括stablediffusion?1.5，stable?diffusion?xl?以及?stable?diffusion?3；輸入的圖像為經(jīng)過vae處理之后的圖像latent，在最終生圖效果展示的時候經(jīng)過vae的解碼器。36、有益效果：本發(fā)明能夠生成高質(zhì)量的虛擬試衣效果，保持衣服在不同部位的紋理、結(jié)構(gòu)及細節(jié)信息，有效提升虛擬試衣的用戶體驗，實現(xiàn)提供個性化的服裝推薦與試穿功能，解決了目前虛擬試衣的真實感不足，個性化體驗較差，建模過程復雜耗時等問題；本發(fā)明系統(tǒng)適用于電商平臺、虛擬購物應用等領(lǐng)域，具有良好的應用前景。當前第1頁12當前第1頁12