本發(fā)明涉及圖像處理，具體涉及一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法及系統(tǒng)。

背景技術(shù)：

1、人臉祛斑痘和勻膚解決方案依托對抗生成算法，端到端的能夠根據(jù)人臉區(qū)域圖像的具體內(nèi)容自動識別斑痘瑕疵并利用皮膚顏色填充，同時根據(jù)人臉區(qū)域圖像的膚色分布對人臉區(qū)域圖像進(jìn)行勻膚處理。在人像美化領(lǐng)域中，人臉祛斑痘和勻膚是美顏軟件中最受歡迎的功能之一。傳統(tǒng)的人臉祛斑痘和勻膚的解決方案通常被拆分成多個任務(wù)：先利用一個斑痘檢測網(wǎng)絡(luò)識別到斑痘區(qū)域，然后利用斑痘周圍膚色對斑痘區(qū)域進(jìn)行填充，最后通過調(diào)整人臉局部色彩和亮度實現(xiàn)勻膚。

2、然而此類方案流程復(fù)雜且耗時，一方面祛斑痘效果受限于斑痘檢測網(wǎng)絡(luò)的準(zhǔn)確率，另一方面，勻膚過程受限于固定閾值，膚色不均程度不同的區(qū)域無法得到統(tǒng)一的效果。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法及系統(tǒng)，可以自由調(diào)整祛斑痘和勻膚程度。

2、為解決上述技術(shù)問題，本發(fā)明提供一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，包括以下步驟：

3、獲取人臉圖像；

4、對人臉圖像進(jìn)行矯正處理，得到矯正后人臉圖；

5、將矯正后人臉圖輸入到訓(xùn)練后的祛斑痘勻膚模型中，得到中間結(jié)果圖；

6、將中間結(jié)果圖和矯正后人臉圖進(jìn)行比較，得到差分圖；

7、根據(jù)差分圖對人臉圖像進(jìn)行調(diào)整處理，得到結(jié)果圖；

8、將人臉圖像輸入到皮膚分割模型中，得到人臉皮膚掩碼；

9、根據(jù)人臉皮膚掩碼對結(jié)果圖進(jìn)行遮罩處理，得到輸出圖像。

10、優(yōu)選地，對人臉圖像進(jìn)行矯正處理，得到矯正后人臉圖，具體包括以下步驟：

11、基于人臉檢測和人臉關(guān)鍵點(diǎn)檢測器，獲取人臉圖像isrc的關(guān)鍵點(diǎn)坐標(biāo)；

12、根據(jù)平均人臉形狀和的關(guān)鍵點(diǎn)坐標(biāo)，計算得到仿射變換矩陣f；

13、通過仿射變換矩陣f對人臉圖像isrc進(jìn)行矯正，得到矯正后人臉圖iin。

14、優(yōu)選地，將中間結(jié)果圖和矯正后人臉圖進(jìn)行比較，得到差分圖，具體包括以下步驟：

15、將中間結(jié)果圖iout和輸入人臉圖iin相減，得到比較圖；

16、比較圖利用仿射變換矩陣f逆變換，得到差分圖idiff；所述差分圖idiff和人臉圖像isrc的尺寸相同。

17、優(yōu)選地，根據(jù)差分圖對人臉圖像進(jìn)行調(diào)整處理，得到結(jié)果圖，具體包括以下步驟：

18、將差分圖idiff乘上強(qiáng)度系數(shù)a，再加到人臉圖像isrc上，得到結(jié)果圖idst。

19、優(yōu)選地，所述輸出圖像的計算公式為：

20、i′dst＝imask·idst+(j-imask)·isrc

21、式中：i′dst為輸出圖像；imask為人臉皮膚掩碼；j表示全1矩陣，·表示矩陣乘法，值域為[0,1]。

22、優(yōu)選地，所述祛斑痘勻膚模型的訓(xùn)練過程包括以下步驟：

23、獲取樣本圖像和目標(biāo)圖像；所述樣本圖像包括不同膚質(zhì)、不同年齡性別、不同光照、不同面部姿態(tài)的人像；所述目標(biāo)圖像為圖像美化師精修獲得對應(yīng)的祛斑痘勻膚后的圖片；

24、對樣本圖像進(jìn)行矯正處理，得到矯正后樣本圖像；

25、將矯正后樣本圖像和目標(biāo)圖像輸入到祛斑痘勻膚模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的祛斑痘勻膚模型。

26、優(yōu)選地，所述祛斑痘勻膚模型包括生成器和判別器；

27、生成器包括輕量化的u形編碼解碼網(wǎng)絡(luò)，網(wǎng)絡(luò)輸入和輸出都被歸一化到[-1,1]范圍；生成器的下采樣過程中采用eca注意力機(jī)制，將通道注意力機(jī)制引入卷積神經(jīng)網(wǎng)絡(luò)，對每個通道的特征圖進(jìn)行全局自適應(yīng)加權(quán)；生成器的上采樣采用反卷積；網(wǎng)絡(luò)輸出層選擇tanh作為激活函數(shù)；

28、采用多尺度判別器增強(qiáng)判別器的判別能力，判決器將生成器輸出，或者標(biāo)注圖片與生成器輸入拼接到一起，作為判別器輸入；通過直接下采樣的方式獲得多尺度判決器的另一個判別器輸入，判決器網(wǎng)絡(luò)輸出是網(wǎng)絡(luò)中5個不同尺度的feature?map；選擇spectralnorm層來限制函數(shù)變化的劇烈程度。

29、優(yōu)選地，所述判決器loss采用gan?loss；

30、所述判決器loss表示為：

31、

32、式中：α，β表示對應(yīng)的loss權(quán)重；fake，real分別代表經(jīng)過生成器網(wǎng)絡(luò)后生成的祛斑痘勻膚結(jié)果圖以及祛斑痘勻膚目標(biāo)圖像；dfake和dreal分別表示fake，real經(jīng)過判決器網(wǎng)絡(luò)后的輸出。

33、優(yōu)選地，所述生成器loss引入了vgg感知損失loss，同時加入l1?loss；

34、所述生成器loss具體表示為：

35、lossg＝γ*l1(dfake,dreal)+δ*lvgg(fake,real)

36、式中：γ，δ表示對應(yīng)的loss權(quán)重；l1表示l1?loss。

37、本發(fā)明還提供一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚系統(tǒng)，用于實現(xiàn)如權(quán)利要求1-9任一所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，包括：

38、獲取模塊，用于獲取人臉圖像；

39、矯正模塊，用于對人臉圖像進(jìn)行矯正處理，得到矯正后人臉圖；

40、祛斑痘勻膚模塊，用于將矯正后人臉圖輸入到訓(xùn)練后的祛斑痘勻膚模型中，得到中間結(jié)果圖；

41、差分模塊，用于將中間結(jié)果圖和矯正后人臉圖進(jìn)行比較，得到差分圖；

42、調(diào)整模塊，用于根據(jù)差分圖對人臉圖像進(jìn)行調(diào)整處理，得到結(jié)果圖；

43、掩碼生成模塊，用于將人臉圖像輸入到皮膚分割模型中，得到人臉皮膚掩碼；

44、遮罩模塊，用于根據(jù)人臉皮膚掩碼對結(jié)果圖進(jìn)行遮罩處理，得到輸出圖像。

45、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

46、本發(fā)明對人臉進(jìn)行矯正、縮放并摳出作為網(wǎng)絡(luò)輸入，從而提高模型生成能力及穩(wěn)定性；

47、本發(fā)明借助于差分圖的思想將矯正后人臉圖作用到人臉圖像上，通過調(diào)整強(qiáng)度系數(shù)a來自由調(diào)整祛斑痘勻膚效果強(qiáng)度；

48、本發(fā)明采用了多種數(shù)據(jù)增強(qiáng)，包括仿射變換、局部遮擋、圖像降質(zhì)、圖像對比度和飽和度調(diào)整、增加隨機(jī)噪聲等，增強(qiáng)模型的魯棒性；

49、本發(fā)明的生成器的下采樣過程中采用eca注意力機(jī)制，將通道注意力機(jī)制引入卷積神經(jīng)網(wǎng)絡(luò)，通過對每個通道的特征圖進(jìn)行全局自適應(yīng)加權(quán)，提升了特征的表達(dá)能力。生成器的上采樣采用反卷積而非直接縮放以避免人臉紋理細(xì)節(jié)的丟失；

50、本發(fā)明通過直接下采樣的方式獲得多尺度判決器的另一個判別器輸入，判決器網(wǎng)絡(luò)輸出是網(wǎng)絡(luò)中5個不同尺度的feature?map。訓(xùn)練中，選擇spectral?norm層來限制函數(shù)變化的劇烈程度，從而使模型更穩(wěn)定。

技術(shù)特征：

1.一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，對人臉圖像進(jìn)行矯正處理，得到矯正后人臉圖，具體包括以下步驟：

3.根據(jù)權(quán)利要求2所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，將中間結(jié)果圖和矯正后人臉圖進(jìn)行比較，得到差分圖，具體包括以下步驟：

4.根據(jù)權(quán)利要求3所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，根據(jù)差分圖對人臉圖像進(jìn)行調(diào)整處理，得到結(jié)果圖，具體包括以下步驟：

5.根據(jù)權(quán)利要求4所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，所述輸出圖像的計算公式為：

6.根據(jù)權(quán)利要求5所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，所述祛斑痘勻膚模型的訓(xùn)練過程包括以下步驟：

7.根據(jù)權(quán)利要求6所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于：

8.根據(jù)權(quán)利要求7所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于：

9.根據(jù)權(quán)利要求8所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于：

10.一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚系統(tǒng)，用于實現(xiàn)如權(quán)利要求1-9任一所述的基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法及系統(tǒng)，屬于圖像處理技術(shù)領(lǐng)域；該方法包括：一種基于對抗生成網(wǎng)絡(luò)的人臉祛斑痘和勻膚方法，其特征在于，包括以下步驟：對人臉圖像進(jìn)行矯正處理，得到矯正后人臉圖；將矯正后人臉圖輸入到訓(xùn)練后的祛斑痘勻膚模型中，得到中間結(jié)果圖；將中間結(jié)果圖和矯正后人臉圖進(jìn)行比較，得到差分圖；根據(jù)差分圖對人臉圖像進(jìn)行調(diào)整處理，得到結(jié)果圖；將人臉圖像輸入到皮膚分割模型中，得到人臉皮膚掩碼；根據(jù)人臉皮膚掩碼對結(jié)果圖進(jìn)行遮罩處理，得到輸出圖像。本發(fā)明對人臉進(jìn)行矯正、縮放并摳出作為網(wǎng)絡(luò)輸入，從而提高模型生成能力及穩(wěn)定性；本發(fā)明通過調(diào)整強(qiáng)度系數(shù)a來自由調(diào)整祛斑痘勻膚效果強(qiáng)度。

技術(shù)研發(fā)人員：李冬平,楊韜,周彬彬
受保護(hù)的技術(shù)使用者：杭州相芯科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15