本發(fā)明涉及圖像數(shù)據(jù)處理領(lǐng)域，更具體地，涉及一種表情生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著科技的不斷發(fā)展，計(jì)算機(jī)視覺和人工智能技術(shù)在各個(gè)領(lǐng)域取得了顯著的成果。其中，三維表情驅(qū)動(dòng)技術(shù)在虛擬現(xiàn)實(shí)、動(dòng)畫制作、游戲開發(fā)等領(lǐng)域具有廣泛的應(yīng)用前景。而表情生成作為三維表情驅(qū)動(dòng)中的一項(xiàng)重要技術(shù)，越來越受到研究者的關(guān)注?，F(xiàn)有技術(shù)中，通常是通過語音來驅(qū)動(dòng)三維表情，但是語音中所包含的表情信息較少，所以靠語音驅(qū)動(dòng)表情的效果較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在克服上述現(xiàn)有技術(shù)的至少一種缺陷，提供一種表情生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠更有效地生成三維表情。

2、根據(jù)本技術(shù)的一方面，提供了一種表情生成方法，所述生成方法包括：

3、采集若干訓(xùn)練表情樣本，每個(gè)所述訓(xùn)練表情樣本中包含第一表情圖像樣本和第二表情圖像樣本；同一所述訓(xùn)練表情樣本的所述第一表情圖像樣本和第二表情圖像樣本中的對(duì)象相同，所述對(duì)象的表情不同；

4、構(gòu)建表情生成模型；

5、通過所述表情生成模型，獲取各所述訓(xùn)練表情樣本中對(duì)應(yīng)的所述第一表情圖像樣本和第二表情圖像樣本之間的遷移數(shù)據(jù)；

6、通過所述表情生成模型，根據(jù)對(duì)應(yīng)的所述遷移數(shù)據(jù)獲取所述第一表情圖像樣本的第一驅(qū)動(dòng)表情圖像，以及獲取所述第二表情圖像樣本的第二驅(qū)動(dòng)表情圖像；

7、根據(jù)所述第一驅(qū)動(dòng)表情圖像和第二驅(qū)動(dòng)表情圖像更新所述表情生成模型，得到訓(xùn)練好的所述表情生成模型；

8、采集目標(biāo)基礎(chǔ)圖像和目標(biāo)表情驅(qū)動(dòng)圖像，將所述目標(biāo)基礎(chǔ)圖像和目標(biāo)表情驅(qū)動(dòng)圖像輸入訓(xùn)練好的所述表情生成模型，獲取目標(biāo)表情圖像。

9、可選地，所述通過所述表情生成模型，獲取各所述訓(xùn)練表情樣本中對(duì)應(yīng)的所述第一表情圖像樣本和第二表情圖像樣本之間的遷移數(shù)據(jù)，具體包括：

10、利用所述表情生成模型對(duì)每個(gè)訓(xùn)練表情樣本中對(duì)應(yīng)的所述第一表情圖像樣本進(jìn)行處理，獲取第一無表情正臉關(guān)鍵點(diǎn)和第一表情面部關(guān)鍵點(diǎn)；

11、利用所述表情生成模型對(duì)每個(gè)訓(xùn)練表情樣本中對(duì)應(yīng)的所述第二表情圖像樣本進(jìn)行處理，獲取第二無表情正臉關(guān)鍵點(diǎn)和第二表情面部關(guān)鍵點(diǎn)；

12、根據(jù)所述第二表情面部關(guān)鍵點(diǎn)和第一無表情正臉關(guān)鍵點(diǎn)獲取第一表情遷移數(shù)據(jù)，根據(jù)所述第一表情面部關(guān)鍵點(diǎn)和第二無表情正臉關(guān)鍵點(diǎn)獲取第二表情遷移數(shù)據(jù)。

13、可選地，所述通過所述表情生成模型，根據(jù)對(duì)應(yīng)的所述遷移數(shù)據(jù)獲取所述第一表情圖像樣本的第一驅(qū)動(dòng)表情圖像，以及獲取所述第二表情圖像樣本的第二驅(qū)動(dòng)表情圖像，具體包括：

14、將每個(gè)訓(xùn)練表情樣本中對(duì)應(yīng)的所述第一表情圖像樣本輸入所述表情生成模型，獲得對(duì)應(yīng)的第一對(duì)象面部特征；

15、將每個(gè)訓(xùn)練表情樣本中對(duì)應(yīng)的所述第二表情圖像樣本輸入所述表情生成模型，獲得對(duì)應(yīng)的第二對(duì)象面部特征；所述表情生成模型根據(jù)所述第一表情遷移數(shù)據(jù)，和所述第一對(duì)象面部特征據(jù)獲取所述第一驅(qū)動(dòng)表情圖像；

16、所述表情生成模型根據(jù)所述第二表情遷移數(shù)據(jù)，和所述第二對(duì)象面部特征據(jù)獲取所述第二驅(qū)動(dòng)表情圖像。

17、可選的，所述采集若干訓(xùn)練表情樣本之后，還包括為各所述訓(xùn)練表情樣本中的所述第一表情圖像樣本和二表情圖像樣本添加關(guān)鍵點(diǎn)標(biāo)簽；

18、所述為各所述訓(xùn)練表情樣本中的所述第一表情圖像樣本和二表情圖像樣本添加關(guān)鍵點(diǎn)標(biāo)簽，具體為：

19、為所述第一表情圖像樣本添加眼部關(guān)鍵點(diǎn)標(biāo)簽、眉部關(guān)鍵點(diǎn)標(biāo)簽和嘴部關(guān)鍵點(diǎn)標(biāo)簽，為所述第二表情圖像樣本添加眼部關(guān)鍵點(diǎn)標(biāo)簽、眉部關(guān)鍵點(diǎn)標(biāo)簽和嘴部關(guān)鍵點(diǎn)標(biāo)簽；

20、所述獲取各所述訓(xùn)練表情樣本中對(duì)應(yīng)的所述第一表情圖像樣本和第二表情圖像樣本之間的遷移數(shù)據(jù)，具體為：

21、獲取添加所述關(guān)鍵點(diǎn)標(biāo)簽后的各所述訓(xùn)練表情樣本中，對(duì)應(yīng)的所述第一表情圖像樣本和第二表情圖像樣本之間的遷移數(shù)據(jù)。

22、可選的，所述根據(jù)所述第一驅(qū)動(dòng)表情圖像和第二驅(qū)動(dòng)表情圖像更新所述表情生成模型，具體包括：

23、根據(jù)所述第一無表情正臉關(guān)鍵點(diǎn)和第二無表情正臉關(guān)鍵點(diǎn)，計(jì)算無表情損失；

24、根據(jù)所述第一表情面部關(guān)鍵點(diǎn)和對(duì)應(yīng)的眼部關(guān)鍵點(diǎn)標(biāo)簽、眉部關(guān)鍵點(diǎn)標(biāo)簽和嘴部關(guān)鍵點(diǎn)標(biāo)簽，分別計(jì)算第一眼部損失、第一眉部損失和第一嘴部損失；

25、根據(jù)所述第二表情面部關(guān)鍵點(diǎn)和對(duì)應(yīng)的眼部關(guān)鍵點(diǎn)標(biāo)簽、眉部關(guān)鍵點(diǎn)標(biāo)簽和嘴部關(guān)鍵點(diǎn)標(biāo)簽，分別計(jì)算第二眼部損失、第二眉部損失和第二嘴部損失；

26、根據(jù)所述第一驅(qū)動(dòng)表情圖像和第二表情圖像樣本，計(jì)算第一重建損失；

27、根據(jù)所述第二驅(qū)動(dòng)表情圖像和第一表情圖像樣本，計(jì)算第二重建損失；

28、根據(jù)所述第一重建損失和第二重建損失，獲取圖像重建損失；

29、根據(jù)所述無表情損失、和/或第一眼部損失、和/或第一眉部損失、和/或第一嘴部損失、和/或第二眼部損失、和/或第二眉部損失、和/或第二嘴部損失、和/或圖像重建損失更新所述表情生成模型。

30、可選的，所述采集目標(biāo)基礎(chǔ)圖像和目標(biāo)表情驅(qū)動(dòng)圖像之前，還包括：

31、構(gòu)建表情精修模型；

32、根據(jù)所述第一表情面部關(guān)鍵點(diǎn)獲取第一眼部系數(shù)、第一眉部系數(shù)和第一嘴部系數(shù)，根據(jù)所述第二表情面部關(guān)鍵點(diǎn)獲取第二眼部系數(shù)、第二眉部系數(shù)和第二嘴部系數(shù)；

33、利用所述表情精修模型對(duì)所述第一驅(qū)動(dòng)表情圖像、第一眼部系數(shù)、第一眉部系數(shù)和第一嘴部系數(shù)進(jìn)行處理，獲取第一表情精修圖像；

34、利用所述表情精修模型對(duì)所述第二驅(qū)動(dòng)表情圖像、第二眼部系數(shù)、第二眉部系數(shù)和第二嘴部系數(shù)進(jìn)行處理，獲取第二表情精修圖像；

35、根據(jù)所述第一表情精修圖像和第二表情精修圖像更新所述表情精修模型，得到訓(xùn)練好的所述表情精修模型；

36、所述獲取目標(biāo)表情圖像之后，還包括：

37、通過訓(xùn)練好的所述表情精修模型對(duì)所述目標(biāo)表情圖像進(jìn)行處理，獲取目標(biāo)精修表情圖像。

38、可選的，所述根據(jù)所述第一表情精修圖像和第二表情精修圖像更新所述表情精修模型，具體包括：

39、根據(jù)所述第一精修表情圖像和第二表情圖像樣本，計(jì)算第一精修損失；

40、根據(jù)所述第二精修表情圖像和第一表情圖像樣本，計(jì)算第二精修損失；

41、根據(jù)所述第一精修損失和第二精修損失，獲取圖像精修重建損失；

42、根據(jù)所述圖像精修重建損失更新所述表情精修模型。

43、根據(jù)本技術(shù)的第二方面，提供了一種表情生成裝置，所述生成裝置包括：

44、樣本采集模塊，用于采集若干訓(xùn)練表情樣本，每個(gè)所述訓(xùn)練表情樣本中包含第一表情圖像樣本和第二表情圖像樣本；同一所述訓(xùn)練表情樣本的所述第一表情圖像樣本和第二表情圖像樣本中的對(duì)象相同，所述對(duì)象的表情不同；

45、生成模型構(gòu)建模塊，用于構(gòu)建表情生成模型；

46、數(shù)據(jù)處理模塊，用于通過所述表情生成模型，獲取各所述訓(xùn)練表情樣本中對(duì)應(yīng)的所述第一表情圖像樣本和第二表情圖像樣本之間的遷移數(shù)據(jù)；

47、表情驅(qū)動(dòng)模塊，用于通過所述表情生成模型，根據(jù)對(duì)應(yīng)的所述遷移數(shù)據(jù)獲取所述第一表情圖像樣本的第一驅(qū)動(dòng)表情圖像，以及獲取所述第二表情圖像樣本的第二驅(qū)動(dòng)表情圖像；

48、生成模型更新模塊，用于根據(jù)所述第一驅(qū)動(dòng)表情圖像和第二驅(qū)動(dòng)表情圖像更新所述表情生成模型，得到訓(xùn)練好的所述表情生成模型；

49、目標(biāo)表情生成模塊，用于采集目標(biāo)基礎(chǔ)圖像和目標(biāo)表情驅(qū)動(dòng)圖像，將所述目標(biāo)基礎(chǔ)圖像和目標(biāo)表情驅(qū)動(dòng)圖像輸入訓(xùn)練好的所述表情生成模型，獲取目標(biāo)表情圖像。

50、根據(jù)本技術(shù)的第三方面，提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令，實(shí)現(xiàn)上述第一方面所述的一種表情生成方法。

51、根據(jù)本技術(shù)的第四方面，提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可讀程序，所述計(jì)算機(jī)可讀程序被執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的一種表情生成方法。

52、根據(jù)上述任意一個(gè)方面，本技術(shù)提供的一種表情生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)通過采集包含同一對(duì)象，且對(duì)象的表情不同的第一表情圖像樣本和第二表情圖像樣本作為訓(xùn)練表情樣本，通過表情生成模型來獲取所述第一表情圖像樣本和第二表情圖像樣本之間的遷移數(shù)據(jù)，一方面，能夠同時(shí)將所述第一表情圖像樣本和第二表情圖像樣本作為訓(xùn)練的樣本，增加了所述表情生成模型訓(xùn)練的樣本數(shù)量，另一方面，能夠使所述第一表情圖像樣本和第二表情圖像樣本互為參照，能夠使所述表情生成模型充分地學(xué)習(xí)，使最終訓(xùn)練好的所述表情生成模型，能夠有效且充分地利用包含有目標(biāo)表情的圖像中的表情信息，在基礎(chǔ)圖像上生成對(duì)應(yīng)表情的目標(biāo)表情圖像。

53、進(jìn)一步的，本技術(shù)提供的一種表情生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)通過構(gòu)建表情精修模型，并通過構(gòu)建的所述表情精修模型通過對(duì)應(yīng)的眼部系數(shù)、眉部系數(shù)和嘴部系數(shù)對(duì)面部的表情進(jìn)行進(jìn)一步的精修，經(jīng)過所述表情精修模型精修后的圖像，具有更精確且生動(dòng)的表情細(xì)節(jié)。