本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，特別是涉及一種基于深度學(xué)習(xí)的圖片生成方法及生成對(duì)抗網(wǎng)絡(luò)。

背景技術(shù)：

面部表情是人類(lèi)情緒狀態(tài)的最直觀反映，是傳遞人類(lèi)身體狀態(tài)以及情感狀態(tài)的重要媒介，是除語(yǔ)言交流之外主要交流方式。在人機(jī)交互過(guò)程中，表情的生成無(wú)疑能夠?yàn)槿藗兲峁└憬莸臏贤ê头?wù)。

深度學(xué)習(xí)作為目前機(jī)器學(xué)習(xí)的重要領(lǐng)域，在圖像識(shí)別、語(yǔ)音分析等方向都有著重要應(yīng)用。深度學(xué)習(xí)由神經(jīng)網(wǎng)絡(luò)演化而來(lái)，到目前為止，人們已經(jīng)針對(duì)分類(lèi)、檢測(cè)、識(shí)別等各類(lèi)不同的問(wèn)題設(shè)計(jì)了多種行之有效的網(wǎng)絡(luò)結(jié)構(gòu)。其中在很多領(lǐng)域如人臉識(shí)別等已經(jīng)超過(guò)了人眼識(shí)別的準(zhǔn)確率。通俗地講，深度學(xué)習(xí)通過(guò)在大量的樣本中學(xué)習(xí)有價(jià)值的信息，從而得到了對(duì)目標(biāo)分析判斷的能力。

生成對(duì)抗網(wǎng)絡(luò)(generativeadversarialnetwork)是深度學(xué)習(xí)的一個(gè)分支。其目的是生成與真實(shí)數(shù)據(jù)非常相似的數(shù)據(jù)。通過(guò)生成對(duì)抗網(wǎng)絡(luò)，可以生成與訓(xùn)練樣本具有同一性質(zhì)但訓(xùn)練樣本中沒(méi)有的數(shù)據(jù)。生成對(duì)抗網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，生成網(wǎng)絡(luò)的輸入是隨機(jī)的噪聲信號(hào)，輸出是圖片。判別網(wǎng)絡(luò)的輸入是真實(shí)的圖片和生成網(wǎng)絡(luò)生成的圖片，輸出是圖片屬于真實(shí)圖片的概率。即生成網(wǎng)絡(luò)的作用是生成符合真實(shí)圖片分布的圖片，來(lái)欺騙判別網(wǎng)絡(luò)，而判別網(wǎng)絡(luò)的作用是分辨圖片是由生成網(wǎng)絡(luò)生成的還是真實(shí)圖片，最終的目的是使得生成網(wǎng)絡(luò)產(chǎn)生以假亂真的圖片。然而，生成對(duì)抗網(wǎng)絡(luò)盡管能夠產(chǎn)生近似真實(shí)的圖片，卻無(wú)法根據(jù)類(lèi)別產(chǎn)生需要的圖片，這限制了生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

為了彌補(bǔ)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于深度學(xué)習(xí)的圖片生成方法及生成對(duì)抗網(wǎng)絡(luò)，其不僅可以生成圖片，而且可以指定要生成的圖片類(lèi)別。

本發(fā)明的技術(shù)方案如下：

一種基于深度學(xué)習(xí)的圖片生成方法，包括如下步驟：

(1)建立圖片數(shù)據(jù)庫(kù)：收集若干真實(shí)圖片并對(duì)其進(jìn)行分類(lèi)和標(biāo)注，每張圖片具有唯一與之對(duì)應(yīng)的類(lèi)別標(biāo)簽k；

(2)構(gòu)建生成網(wǎng)絡(luò)g：在所述生成網(wǎng)絡(luò)g中輸入隨機(jī)的噪聲信號(hào)z和類(lèi)別標(biāo)簽k組合而成的向量，將所述生成網(wǎng)絡(luò)g生成的數(shù)據(jù)作為判別網(wǎng)絡(luò)d的輸入；

(3)構(gòu)建判別網(wǎng)絡(luò)d：所述判別網(wǎng)絡(luò)d的損失函數(shù)由用于判斷圖片真假的第一損失函數(shù)和用于判斷圖片類(lèi)別的第二損失函數(shù)組成；

所述第一損失函數(shù)如下：

其中，為判別損失函數(shù)logdt(x)的期望，為判別損失函數(shù)log(1-dt(g(z)))的期望；判別網(wǎng)絡(luò)d有兩個(gè)輸出，一個(gè)為判斷圖片來(lái)源的輸出，即輸出真/假，設(shè)為dt，另一個(gè)為判斷圖片類(lèi)別的輸出，即輸出圖片屬于類(lèi)別標(biāo)簽k的概率，設(shè)為dc；pg表示真實(shí)圖片集x的分布；pz(z)表示隨機(jī)的噪聲信號(hào)z的噪聲變量，用g(z；θg)將其映射到數(shù)據(jù)空間；生成網(wǎng)絡(luò)g由參數(shù)θg構(gòu)成的；

所述第二損失函數(shù)如下：

其中，為分類(lèi)損失函數(shù)log(dc(xk)k)的期望，為分類(lèi)損失函數(shù)log(dc(g(z,c)c＝k)k)的期望；c表示類(lèi)別標(biāo)簽k的集合，dc(xk)k表示屬于圖片的類(lèi)別標(biāo)簽k的xk被判別網(wǎng)絡(luò)d判斷為k的概率，dc(g(z,c)c＝k)k表示由生成網(wǎng)絡(luò)g產(chǎn)生的類(lèi)別標(biāo)簽為k的生成圖片由判別網(wǎng)絡(luò)d分為k的概率；

(4)訓(xùn)練網(wǎng)絡(luò)：

(41)訓(xùn)練所述判別網(wǎng)絡(luò)d來(lái)最大化其輸出屬于真實(shí)圖片或?qū)儆谏删W(wǎng)絡(luò)g生成的數(shù)據(jù)的概率；訓(xùn)練所述判別網(wǎng)絡(luò)d來(lái)最大化

(42)訓(xùn)練所述生成網(wǎng)絡(luò)g來(lái)最小化log(1-dt(g(z)))；訓(xùn)練所述生成網(wǎng)絡(luò)g來(lái)最大化

(5)生成需要的圖片：將隨機(jī)的的噪聲信號(hào)z和類(lèi)別標(biāo)簽k輸入到經(jīng)過(guò)步驟(4)訓(xùn)練好的生成網(wǎng)絡(luò)g中，得到指定類(lèi)別的圖片。

優(yōu)選地，所述步驟(41)具體包括如下步驟：

a、將真實(shí)圖片集x輸入到判別網(wǎng)絡(luò)d，根據(jù)所述第一損失函數(shù)中的判別損失函數(shù)logdt(x)來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)；并輸入圖片對(duì)應(yīng)的類(lèi)別標(biāo)簽k，根據(jù)所述第二損失函數(shù)中的分類(lèi)損失函數(shù)log(dc(xk)k)來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)；

b、將隨機(jī)的噪聲信號(hào)z和類(lèi)別標(biāo)簽k作為生成網(wǎng)絡(luò)g的輸入，再將生成網(wǎng)絡(luò)g生成的數(shù)據(jù)作為判別網(wǎng)絡(luò)d的輸入，根據(jù)所述第一損失函數(shù)中的判別損失函數(shù)log(1-dt(g(z)))來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)；并以對(duì)應(yīng)的類(lèi)別標(biāo)簽k，根據(jù)所述第二損失函數(shù)中的分類(lèi)損失函數(shù)log(dc(g(z,c)c＝k)k)來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)。

優(yōu)選地，所述步驟(42)具體包括如下步驟：

將隨機(jī)的噪聲信號(hào)z和類(lèi)別標(biāo)簽k作為生成網(wǎng)絡(luò)g的輸入，再將生成網(wǎng)絡(luò)g生成的數(shù)據(jù)作為判別網(wǎng)絡(luò)d的輸入，根據(jù)所述第一損失函數(shù)中的判別損失函數(shù)log(1-dt(g(z)))來(lái)更新生成網(wǎng)絡(luò)g的參數(shù)；并以對(duì)應(yīng)的類(lèi)別標(biāo)簽k，根據(jù)所述第二損失函數(shù)中的分類(lèi)損失函數(shù)log(dc(g(z,c)c＝k)k)來(lái)更新生成網(wǎng)絡(luò)g的參數(shù)。

優(yōu)選地，所述圖片為人的面部表情圖片。

一種用于所述的圖片生成方法的基于深度學(xué)習(xí)的圖片生成對(duì)抗網(wǎng)絡(luò)，所述生成對(duì)抗網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，其中：

所述生成網(wǎng)絡(luò)包括第一輸入層、第一全連接層、第一反卷積層、第一批歸一化層和第一激活層，以隨機(jī)的噪聲信號(hào)和類(lèi)別標(biāo)簽組合而成的向量作為所述第一輸入層的輸入，所述輸入經(jīng)過(guò)所述第一全連接層、所述第一反卷積層、所述第一批歸一化層和所述第一激活層后生成數(shù)據(jù)；

所述判別網(wǎng)絡(luò)包括第二輸入層、第二反卷積層、第二批歸一化層、第二激活層和第二全連接層，分別以所述生成網(wǎng)絡(luò)生成的數(shù)據(jù)和真實(shí)圖片作為所述第二輸入層的輸入，所述第二全連接層由用于判斷圖片真假的全連接層和用于判斷圖片類(lèi)別的全連接層組成，所述第二輸入層的輸入經(jīng)過(guò)所述第二反卷積層、第二批歸一化層、第二激活層和第二全連接層后，得到指定類(lèi)別的圖片。

優(yōu)選地，所述圖片為人的面部表情圖片。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果包括：

現(xiàn)有的生成網(wǎng)絡(luò)的輸入是隨機(jī)的噪聲信號(hào)，類(lèi)別信息隱藏在噪聲中，使得無(wú)法得知噪聲的哪一部分產(chǎn)生了類(lèi)別信息，而通過(guò)本發(fā)明的方案，對(duì)生成網(wǎng)絡(luò)的輸入進(jìn)行改進(jìn)，將輸入的信號(hào)分成兩部分，一部分是類(lèi)別信息，一部分是其他噪聲信息；同時(shí)對(duì)判別網(wǎng)絡(luò)進(jìn)行改進(jìn)，現(xiàn)有的判別網(wǎng)絡(luò)只有一個(gè)判別圖片真假的損失函數(shù)，本發(fā)明增加一個(gè)判斷圖片類(lèi)別的損失函數(shù)，通過(guò)以上改進(jìn)后，使得生成網(wǎng)絡(luò)可用來(lái)生成指定類(lèi)別的圖片。因此，本發(fā)明不僅可以生成圖片，而且能夠通過(guò)輸入生成網(wǎng)絡(luò)的指定類(lèi)別標(biāo)簽來(lái)生成對(duì)應(yīng)類(lèi)別的圖片。

附圖說(shuō)明

圖1是本發(fā)明具體實(shí)施方式中基于深度學(xué)習(xí)的圖片生成對(duì)抗網(wǎng)絡(luò)的架構(gòu)圖；

圖2是本發(fā)明具體實(shí)施方式中的生成對(duì)抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖3是本發(fā)明具體實(shí)施方式中的生成對(duì)抗網(wǎng)絡(luò)中的判別網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖4是本發(fā)明具體實(shí)施方式生成的表情示例。

具體實(shí)施方法

下面對(duì)照附圖并結(jié)合優(yōu)選的實(shí)施方式對(duì)本發(fā)明作進(jìn)一步說(shuō)明。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。

圖1是本發(fā)明具體實(shí)施方式中基于深度學(xué)習(xí)的圖片生成對(duì)抗網(wǎng)絡(luò)的架構(gòu)圖，以生成人的面部表情圖片為例，圖片生成方法包括如下步驟：

(1)建立人臉表情數(shù)據(jù)庫(kù)

收集大量人臉圖片，按照不同的表情分類(lèi)并標(biāo)注，設(shè)表情種類(lèi)為表情1、···表情n，則每張圖片具有唯一與之對(duì)應(yīng)的表情類(lèi)別k。

(2)構(gòu)建生成網(wǎng)絡(luò)g

設(shè)輸入的噪聲信號(hào)為z和類(lèi)別標(biāo)簽k，則生成網(wǎng)絡(luò)g的輸入是z和k組合而成的向量，生成網(wǎng)絡(luò)g生成的數(shù)據(jù)將作為下方判別網(wǎng)絡(luò)d的輸入。生成網(wǎng)絡(luò)包括第一輸入層，第一全連接層(ip)，第一反卷積層(fc)，第一批歸一化層(bn)，第一激活層(relu)，本例中的具體結(jié)構(gòu)如圖2所示，在本例中，生成網(wǎng)絡(luò)g的輸入(z+k組成的向量)經(jīng)過(guò)第一全連接層后產(chǎn)生1024通道4*4分辨率的特征圖，再分別經(jīng)過(guò)第一反卷積層、第一批歸一化層和第一激活層(本例中，可以經(jīng)過(guò)四次反卷積處理)后，生成3通道64*64分辨率的特征圖，并將其作為判別網(wǎng)絡(luò)d的輸入。

(3)構(gòu)建判別網(wǎng)絡(luò)d

判別網(wǎng)絡(luò)d的損失函數(shù)由兩部分組成，一是判斷圖片真假的第一損失函數(shù)，一是判斷圖片類(lèi)別的第二損失函數(shù)。判別網(wǎng)絡(luò)d包括第二反卷積層(fc)，第二批歸一化層(bn)，第二激活層(relu)，第二全連接層(ip)，其中判別網(wǎng)絡(luò)d中的第二全連接層由用于判斷圖片真假的全連接層1和用于判斷圖片類(lèi)別的全連接層2組成，本例中的具體結(jié)構(gòu)如圖3所示，在本例中，以上由生成網(wǎng)絡(luò)生成的3通道64*64分辨率的特征圖經(jīng)過(guò)第二反卷積層、第二批歸一化層、第二激活層后輸出1024通道4*4分辨率的特征圖，再分別經(jīng)過(guò)全連接1輸出圖片的類(lèi)別、經(jīng)過(guò)全連接2輸出圖片的真/假。

(4)訓(xùn)練網(wǎng)絡(luò)

學(xué)習(xí)生成網(wǎng)絡(luò)在真實(shí)圖片集x的分布pg，首先定義了隨機(jī)的噪聲信號(hào)z的噪聲變量pz(z)，用g(z；θg)將其映射到數(shù)據(jù)空間。生成網(wǎng)絡(luò)g是由參數(shù)θg構(gòu)成的，判別網(wǎng)絡(luò)d有兩個(gè)輸出，一個(gè)為判斷圖片來(lái)源的輸出，即輸出真/假，設(shè)為dt，另一個(gè)為判斷圖片類(lèi)別的輸出，即輸出圖片屬于類(lèi)別標(biāo)簽k的概率，設(shè)為dc。第一損失函數(shù)如下：

學(xué)習(xí)判別網(wǎng)絡(luò)來(lái)判別生成的數(shù)據(jù)以及真實(shí)圖片的類(lèi)別標(biāo)簽k，c表示類(lèi)別標(biāo)簽k的集合，用dc(xk)k來(lái)表示屬于表情類(lèi)別標(biāo)簽k的xk(xk表示真實(shí)表情圖片集中的第k類(lèi)表情的一個(gè)圖片)被判別網(wǎng)絡(luò)d分為k的概率，用dc(g(z,c)c＝k)k來(lái)表示由生成網(wǎng)絡(luò)產(chǎn)生的表情類(lèi)別標(biāo)簽為k的生成圖片由判別網(wǎng)絡(luò)d分為k的概率。第二損失函數(shù)如下：

(41)訓(xùn)練判別網(wǎng)絡(luò)d來(lái)最大化其輸出屬于真實(shí)圖片或?qū)儆谏删W(wǎng)絡(luò)g生成的數(shù)據(jù)的概率；訓(xùn)練判別網(wǎng)絡(luò)d來(lái)最大化(即訓(xùn)練判別網(wǎng)絡(luò)d最大化其分類(lèi)概率)；

(42)訓(xùn)練生成網(wǎng)絡(luò)g來(lái)最小化log(1-dt(g(z)))；訓(xùn)練生成網(wǎng)絡(luò)g來(lái)最大化

訓(xùn)練步驟具體如下：

1.更新判別網(wǎng)絡(luò)d的參數(shù)

a、將真實(shí)圖片集x輸入到判別網(wǎng)絡(luò)d，根據(jù)第一損失函數(shù)中的判別損失函數(shù)logdt(x)來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)；并輸入圖片對(duì)應(yīng)的類(lèi)別標(biāo)簽k，根據(jù)第二損失函數(shù)中的分類(lèi)損失函數(shù)log(dc(xk)k)來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)。

b、將隨機(jī)噪聲信號(hào)z和類(lèi)別標(biāo)簽k作為生成網(wǎng)絡(luò)g的輸入，再將生成網(wǎng)絡(luò)g生成的數(shù)據(jù)作為判別網(wǎng)絡(luò)d的輸入，根據(jù)第一損失函數(shù)中的判別損失函數(shù)log(1-dt(g(z)))來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)；并以對(duì)應(yīng)的類(lèi)別標(biāo)簽k，根據(jù)第二損失函數(shù)中的分類(lèi)損失函數(shù)log(dc(g(z,c)c＝k)k)來(lái)更新判別網(wǎng)絡(luò)d的參數(shù)。

2.更新生成網(wǎng)絡(luò)g的參數(shù)

將隨機(jī)的噪聲信號(hào)z和類(lèi)別標(biāo)簽k作為生成網(wǎng)絡(luò)g的輸入，再將生成網(wǎng)絡(luò)g生成的數(shù)據(jù)作為判別網(wǎng)絡(luò)d的輸入，根據(jù)第一損失函數(shù)中的判別損失函數(shù)log(1-dt(g(z)))來(lái)更新生成網(wǎng)絡(luò)g的參數(shù)；并以對(duì)應(yīng)的類(lèi)別標(biāo)簽k，根據(jù)第二損失函數(shù)中的分類(lèi)損失函數(shù)log(dc(g(z,c)c＝k)k)來(lái)更新生成網(wǎng)絡(luò)g的參數(shù)。

(5)使用生成網(wǎng)絡(luò)d生成需要的表情圖片

將隨機(jī)噪聲信號(hào)z和需要的類(lèi)別標(biāo)簽k，輸入到以上訓(xùn)練好的生成網(wǎng)絡(luò)g中，得到指定類(lèi)別的表情圖片。網(wǎng)絡(luò)生成的表情圖片如圖4所示，其中從上往下數(shù)的第一排的表情表示驚訝，第二排的表情表示生氣，第三排的表情表示微笑。

以上實(shí)施例是以人的面部表情圖片為例進(jìn)行的說(shuō)明，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明不僅可以用來(lái)生成表情，也可以用來(lái)訓(xùn)練生成其他種類(lèi)圖片。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。