本發(fā)明涉及神經(jīng)架構(gòu)搜索，尤其涉及一種基于代理模型的無監(jiān)督進(jìn)化圖神經(jīng)網(wǎng)絡(luò)搜索方法。

背景技術(shù)：

1、圖神經(jīng)網(wǎng)絡(luò)已經(jīng)在位于非歐幾里德空間的圖數(shù)據(jù)上進(jìn)行了廣泛的研究，并且在不同的圖任務(wù)應(yīng)用中蓬勃發(fā)展并表現(xiàn)出良好的性能，例如推薦系統(tǒng)，流量預(yù)測(cè)和欺詐檢測(cè)，隨著場(chǎng)景的越來越復(fù)雜，人工設(shè)計(jì)圖神經(jīng)網(wǎng)絡(luò)越來越困難，神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)搜索，根據(jù)目標(biāo)任務(wù)自動(dòng)設(shè)計(jì)出神經(jīng)網(wǎng)絡(luò)得到了廣泛研究。

2、傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)搜索方法中，搜索過程中嚴(yán)重依賴于標(biāo)簽信息，無法處理無標(biāo)簽的場(chǎng)景，對(duì)于無監(jiān)督的圖神經(jīng)網(wǎng)絡(luò)搜索方法，要么需要訓(xùn)練超網(wǎng)絡(luò)且只能對(duì)有限的數(shù)量的網(wǎng)絡(luò)層進(jìn)行采樣，要么忽略網(wǎng)絡(luò)層的拓?fù)潢P(guān)系或者特征融合策略，傳統(tǒng)的使用進(jìn)化算法搜索圖神經(jīng)網(wǎng)絡(luò)在搜索過程中需要評(píng)估大量的圖神經(jīng)網(wǎng)絡(luò)，而且會(huì)產(chǎn)生無效的圖神經(jīng)網(wǎng)絡(luò)，耗時(shí)長(zhǎng)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于代理模型的無監(jiān)督進(jìn)化圖神經(jīng)網(wǎng)絡(luò)搜索方法；

2、一種基于代理模型的無監(jiān)督進(jìn)化圖神經(jīng)網(wǎng)絡(luò)搜索方法，具體步驟如下：

3、步驟1、設(shè)計(jì)搜索空間；

4、所述搜索空間包括網(wǎng)絡(luò)層之間的聚合關(guān)系、注意力函數(shù)、節(jié)點(diǎn)消息聚合函數(shù)、激活函數(shù)類型、多頭注意力機(jī)制、以及增強(qiáng)策略；

5、所述增強(qiáng)策略包括圖的拓?fù)溥B接增強(qiáng)和圖的節(jié)點(diǎn)特征增強(qiáng)，具體如下：

6、其中所述圖的拓?fù)溥B接增強(qiáng)具體為，具體實(shí)施如下：

7、以設(shè)定概率從原始邊集合ε中采樣修改的子集計(jì)算如下：

8、

9、其中(u,v)表示相鄰節(jié)點(diǎn)u,v之間邊，(u,v)∈ε，是刪除(u,v)的概率，表示生成的視圖中邊的集合，的計(jì)算公式如下：

10、

11、其中pe是超參數(shù)，和是的最大值和平均值，用于減輕具有高度密集連接的節(jié)點(diǎn)的影響，pτ是閾值，表示邊(u,v)刪除的最高概率，計(jì)算公式如下：

12、

13、其中表示相鄰節(jié)點(diǎn)u和v之間的邊的中心性得分，計(jì)算如下：

14、

15、其中式(1)為無向圖的計(jì)算，式(2)為有向圖的計(jì)算，和表示節(jié)點(diǎn)u和v的節(jié)點(diǎn)中心性得分，節(jié)點(diǎn)中心性的得分方法考慮三種，分別是度中心性、特征向量中心性、pagerank中心性；

16、對(duì)于圖的節(jié)點(diǎn)特征增強(qiáng)，添加噪聲，計(jì)算每個(gè)節(jié)點(diǎn)所有特征的重要性，根據(jù)伯努利分布，生成一組掩碼，掩蓋節(jié)點(diǎn)的一些特征實(shí)現(xiàn)節(jié)點(diǎn)特征增強(qiáng)，具體實(shí)施如下：

17、首先采樣一個(gè)隨機(jī)向量其中f表示特征維度，每個(gè)維度獨(dú)立的從伯努利分布中對(duì)立提取，即生成的節(jié)點(diǎn)特征xn表示節(jié)點(diǎn)的第n個(gè)特征，n表示節(jié)點(diǎn)特征數(shù)量，°表示逐個(gè)元素相乘，[·；·]表示連接運(yùn)算，反應(yīng)節(jié)點(diǎn)特征第i個(gè)維度的重要性類似于圖的拓?fù)溥B接增強(qiáng)，計(jì)算如下：

18、

19、其中為的最大值和平均值，用于減輕具有高度密集連接的節(jié)點(diǎn)的影響，表示節(jié)點(diǎn)u的第i個(gè)特征維度的權(quán)重，pf是超參數(shù)用于控制特征增強(qiáng)的整體幅度，pτ是刪除第i個(gè)維度的最高概率，其中計(jì)算如下：

20、

21、其中式(3)表示節(jié)點(diǎn)u的稀疏連接節(jié)點(diǎn)特征權(quán)重計(jì)算，xui∈{0，1},xui表示節(jié)點(diǎn)u的第i個(gè)維度的特征，表示節(jié)點(diǎn)中心性得分，v為節(jié)點(diǎn)集合，式(4)為節(jié)點(diǎn)u的稠密連接節(jié)點(diǎn)特征權(quán)重的計(jì)算；

22、步驟2、使用遺傳算法搜索圖神經(jīng)網(wǎng)絡(luò)，使用代理模型評(píng)估圖神經(jīng)網(wǎng)絡(luò)的分類精度；

23、步驟2.1、隨機(jī)初始化若干個(gè)圖神經(jīng)網(wǎng)絡(luò)作為遺傳算法的初始種群個(gè)體，設(shè)置初始化的個(gè)體數(shù)以及每個(gè)個(gè)體的網(wǎng)絡(luò)層數(shù)；編碼方式為[[網(wǎng)絡(luò)層1，網(wǎng)絡(luò)層2，...，網(wǎng)路層n]，增強(qiáng)策略]，[網(wǎng)絡(luò)層1，網(wǎng)絡(luò)層2，...，網(wǎng)路層n]表示圖神經(jīng)網(wǎng)絡(luò)，后面的增強(qiáng)策略表示選擇的增強(qiáng)策略類型，每個(gè)網(wǎng)絡(luò)層的編碼方式為[t,f,h,a,c,m]，其中t表示圖神經(jīng)網(wǎng)絡(luò)的當(dāng)前網(wǎng)絡(luò)層與前面網(wǎng)絡(luò)層的的拓?fù)溥B接，用0、1生成的一維數(shù)組表示，f表示網(wǎng)絡(luò)層之間的特征融合策略，h表示多頭數(shù)量，a表示激活函數(shù)，c表示節(jié)點(diǎn)相關(guān)系數(shù)，m表示節(jié)點(diǎn)消息聚合方式；

24、使用遺傳算法搜索對(duì)圖神經(jīng)網(wǎng)絡(luò)進(jìn)行搜索，對(duì)于搜索過程中產(chǎn)生的符合下述任一規(guī)則的個(gè)體，進(jìn)行修復(fù)操作，具體操作如下：

25、規(guī)則1：如果個(gè)體包含的網(wǎng)絡(luò)層中出現(xiàn)了f,h,a,c,m均為-1，所有與它相連的層均斷開，設(shè)置t＝0，即空層；

26、規(guī)則2：如果t＝[0,0,...,0]，所有與它相連的層均斷開，將f,h,a,c,m設(shè)置為無效值-1，同時(shí)設(shè)置t＝0，即空層；

27、規(guī)則3：如果當(dāng)前層有效，卻沒有連接到后面的層，隨機(jī)選擇后面的一個(gè)層強(qiáng)制生成一個(gè)連接到該層；

28、根據(jù)每個(gè)個(gè)體的編碼構(gòu)造對(duì)應(yīng)的圖神經(jīng)網(wǎng)絡(luò)，采用圖對(duì)比學(xué)習(xí)方法訓(xùn)練并記錄每個(gè)個(gè)體的分類精度，代數(shù)為p，選用了圖數(shù)據(jù)cora作為實(shí)驗(yàn)的數(shù)據(jù)集，按照設(shè)定比例劃分為訓(xùn)練集、測(cè)試集、驗(yàn)證集，訓(xùn)練過程中不使用節(jié)點(diǎn)所屬類別信息，在測(cè)試和驗(yàn)證過程中使用。

29、在構(gòu)造成對(duì)應(yīng)的圖神經(jīng)網(wǎng)絡(luò)時(shí)，需要將個(gè)體的編碼方式中存在[0,-1,-1,-1,-1,-1]的網(wǎng)絡(luò)層刪除，即個(gè)體編碼長(zhǎng)度固定，但是與之對(duì)應(yīng)的圖神經(jīng)網(wǎng)絡(luò)不固定層數(shù)；

30、步驟2.2、隨機(jī)選出n個(gè)個(gè)體，采用多點(diǎn)交叉操作生成子代個(gè)體，選出個(gè)體兩兩互相交叉生成兩個(gè)子代個(gè)體，其中多點(diǎn)設(shè)置為一個(gè)區(qū)間，不固定區(qū)間長(zhǎng)度，區(qū)間索引且區(qū)間長(zhǎng)度小于最大網(wǎng)絡(luò)的層數(shù)，對(duì)交叉過程中產(chǎn)生的符合規(guī)則1-規(guī)則3的子代個(gè)體進(jìn)行個(gè)體修復(fù)，對(duì)于生成的子代采用權(quán)值共享的方法，子代初始化參數(shù)為父代的參數(shù)；

31、步驟2.3、對(duì)生成的子代進(jìn)行變異操作；具體采用多變異操作，初始變異次數(shù)設(shè)置為1，首先生成一個(gè)數(shù)表示要變異的類型，0表示變異拓?fù)溥B接，1表示變異操作類型，2表示增強(qiáng)策略，對(duì)于選擇的是0、1兩種變異操作，則再生成一個(gè)數(shù)表示要變異的位置，隨機(jī)生成一個(gè)數(shù)表示即將變異的概率，設(shè)置變異概率為0.5，如果生成的概率大于0.5則進(jìn)行變異操作，若選擇的變異操作是0，則在當(dāng)前位置隨機(jī)選擇拓?fù)溥B接的其中一個(gè)數(shù)進(jìn)行變異，若選擇的變異操作是1，則對(duì)層特征融合策略、多頭機(jī)制、激活函數(shù)、注意力函數(shù)、節(jié)點(diǎn)消息聚合類型中的其中一個(gè)進(jìn)行變異，若選擇的變異操作是2，則換成其他的增強(qiáng)策略，變異過程中產(chǎn)生的符合規(guī)則1-規(guī)則3的子代進(jìn)行個(gè)體修復(fù)；

32、步驟2.4、采用代理模型預(yù)測(cè)子代的分類精度，具體如下：

33、所述代理模型包括多層感知機(jī)、隨機(jī)森林、高斯過程、adaboost四個(gè)機(jī)器學(xué)習(xí)模型，輸入為個(gè)體的編碼，輸出為個(gè)體對(duì)應(yīng)的圖神經(jīng)網(wǎng)絡(luò)的分類精度，每一代分別比較四個(gè)模型的斯皮爾曼相關(guān)系數(shù)，選出最高的作為預(yù)測(cè)當(dāng)前生成子代的代理模型。

34、比較當(dāng)前選出的代理模型計(jì)算出的斯皮爾曼相關(guān)系數(shù)和上一代選出的代理模型計(jì)算出的斯皮爾曼系數(shù)，如果當(dāng)前代計(jì)算出的斯皮爾曼相關(guān)系數(shù)高，則當(dāng)前子代變異的次數(shù)為上次變異次數(shù)的1.5倍，若出現(xiàn)計(jì)算的變異的次數(shù)不為整數(shù)的情況，則向上取整，反之變異次數(shù)從1次開始；

35、步驟2.5、選擇個(gè)體組成新一代種群，代數(shù)p＝p+1，每一代將生成的所有子代和父代合并，采用精英選擇策略，將分類精度高的個(gè)體保留，直至選出初始化種群大小的數(shù)量，作為下一代的總?cè)海?/p>

36、步驟2.6、判斷當(dāng)前代數(shù)是否達(dá)到最大值，若是，結(jié)束進(jìn)化過程，否則返回到步驟2.2；

37、步驟3、在cora數(shù)據(jù)集上進(jìn)行本方法測(cè)試，選出在cora數(shù)據(jù)集上得到的分類精度最高的個(gè)體作為所需的圖神經(jīng)網(wǎng)絡(luò)。

38、采用上述技術(shù)方案所產(chǎn)生的有益效果在于：

39、本發(fā)明提供一種基于代理模型的無監(jiān)督進(jìn)化圖神經(jīng)網(wǎng)絡(luò)搜索方法，針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明本方法適應(yīng)無標(biāo)簽信息場(chǎng)景，同時(shí)考慮網(wǎng)絡(luò)層的拓?fù)潢P(guān)系、特征融合策略，并且無需提前訓(xùn)練超網(wǎng)絡(luò)，不固定網(wǎng)絡(luò)層數(shù)，搜索空間更廣，因此包含更多性能優(yōu)越的圖神經(jīng)網(wǎng)絡(luò)。

40、本方法引入預(yù)測(cè)器模型和權(quán)值共享策略減少模型評(píng)估的時(shí)間，從而達(dá)到縮短搜索模型的時(shí)間。

41、本方法充分利用預(yù)測(cè)器模型，采用多突變策略盡可能多的采評(píng)估圖神經(jīng)網(wǎng)絡(luò)，獲得性能更好的圖神經(jīng)網(wǎng)絡(luò)。

42、本方法中圖神經(jīng)網(wǎng)絡(luò)搜索，在一個(gè)數(shù)據(jù)集上搜索到的神經(jīng)網(wǎng)絡(luò)可以泛化到其它多個(gè)數(shù)據(jù)集上。