下面的公開涉及處理設(shè)備及其數(shù)據(jù)處理方法、以及訓(xùn)練圖卷積網(wǎng)絡(luò)(gcn)模型的方法。

背景技術(shù)：

1、現(xiàn)代計(jì)算系統(tǒng)在高效地處理大規(guī)模圖數(shù)據(jù)方面面臨越來越大的挑戰(zhàn)，這在各種領(lǐng)域(諸如，社交網(wǎng)絡(luò)、推薦系統(tǒng)等)中是普遍的?，F(xiàn)有方法通常不能處理圖結(jié)構(gòu)的不規(guī)則性和稀疏性，導(dǎo)致次優(yōu)性能和可擴(kuò)展性問題。圖卷積網(wǎng)絡(luò)(gcn)已經(jīng)在諸如節(jié)點(diǎn)分類、鏈路預(yù)測(cè)和圖生成的任務(wù)中展示了能力。

2、然而，gcn的訓(xùn)練和推斷處理可以是計(jì)算密集型的，特別是對(duì)于具有數(shù)百萬或數(shù)十億個(gè)節(jié)點(diǎn)和邊的大規(guī)模圖。傳統(tǒng)的計(jì)算架構(gòu)可難以高效地處理gcn的計(jì)算需求，從而導(dǎo)致延長(zhǎng)的訓(xùn)練時(shí)間和有限的可擴(kuò)展性。因此，本領(lǐng)域需要能夠在大規(guī)模圖數(shù)據(jù)上高效地訓(xùn)練和部署gcn模型同時(shí)解決與現(xiàn)有方法相關(guān)聯(lián)的計(jì)算復(fù)雜性和可擴(kuò)展性挑戰(zhàn)的系統(tǒng)和方法。

技術(shù)實(shí)現(xiàn)思路

1、本公開描述了用于數(shù)據(jù)處理的系統(tǒng)和方法。公開的實(shí)施例包括基于壓縮圖來訓(xùn)練大規(guī)模圖卷積網(wǎng)絡(luò)(gcn)模型的方法。在一些情況下，壓縮圖包括通過對(duì)圖的節(jié)點(diǎn)進(jìn)行分組而生成的多個(gè)超節(jié)點(diǎn)和多條超邊。一個(gè)或多個(gè)實(shí)施例包括基于使用gcn模型對(duì)超節(jié)點(diǎn)和/或超邊進(jìn)行聚合來添加新節(jié)點(diǎn)。

2、根據(jù)一個(gè)方面，提供一種處理設(shè)備的數(shù)據(jù)處理方法，所述數(shù)據(jù)處理方法包括：獲得將要添加到圖的第一節(jié)點(diǎn)的嵌入信息以及所述圖與第一節(jié)點(diǎn)之間的連接信息，接收與所述圖對(duì)應(yīng)的壓縮圖的超節(jié)點(diǎn)的超節(jié)點(diǎn)信息，其中，超節(jié)點(diǎn)包括來自所述圖的多個(gè)節(jié)點(diǎn)，以及使用圖卷積網(wǎng)絡(luò)(gcn)模型基于超節(jié)點(diǎn)信息、嵌入信息和連接信息來生成第一節(jié)點(diǎn)的修改的嵌入信息。

3、生成嵌入信息的步驟可包括：通過對(duì)嵌入信息、超節(jié)點(diǎn)信息和連接信息執(zhí)行第一聚合來獲得第一結(jié)果，并且當(dāng)?shù)诙?jié)點(diǎn)所屬的超節(jié)點(diǎn)不具有自邊時(shí)，通過對(duì)嵌入信息和連接到超節(jié)點(diǎn)的鄰近超節(jié)點(diǎn)的附加超節(jié)點(diǎn)信息執(zhí)行第二聚合來獲得第二結(jié)果。

4、生成嵌入信息的步驟可包括：基于校正信息來校正第一結(jié)果，其中，校正信息指示所述壓縮圖的連接關(guān)系與所述圖的連接關(guān)系之間的差異。

5、校正第一結(jié)果的步驟可包括：當(dāng)?shù)谝贿厪乃鰤嚎s圖被移除時(shí)，將第一邊上的一個(gè)或多個(gè)節(jié)點(diǎn)的附加嵌入信息與第一結(jié)果相加。

6、校正第一結(jié)果的步驟可包括：當(dāng)?shù)诙叡惶砑拥剿鰤嚎s圖時(shí)，從第一結(jié)果減去第二邊上的一個(gè)或多個(gè)節(jié)點(diǎn)的嵌入信息。

7、生成嵌入信息的步驟可包括確定鄰近超節(jié)點(diǎn)是否具有自邊，其中，第二聚合基于所述確定。

8、根據(jù)一個(gè)方面，提供一種處理設(shè)備，所述處理設(shè)備包括：第一緩沖器，被配置為存儲(chǔ)壓縮圖的超節(jié)點(diǎn)信息，其中，所述壓縮圖包括與圖的多個(gè)節(jié)點(diǎn)對(duì)應(yīng)的超節(jié)點(diǎn)；第二緩沖器，被配置為存儲(chǔ)所述圖的第一節(jié)點(diǎn)的嵌入信息；以及操作電路，被配置為從第一緩沖器獲得超節(jié)點(diǎn)信息，從第二緩沖器獲得嵌入信息，獲得第一節(jié)點(diǎn)與第二節(jié)點(diǎn)之間的連接信息，并且使用gcn模型基于超節(jié)點(diǎn)信息和嵌入信息生成第一節(jié)點(diǎn)的修改的嵌入信息。

9、操作電路還可被配置為：通過對(duì)嵌入信息、超節(jié)點(diǎn)信息和嵌入信息執(zhí)行第一聚合來獲得第一結(jié)果，并且通過對(duì)嵌入信息和連接到超節(jié)點(diǎn)的鄰近超節(jié)點(diǎn)的附加超節(jié)點(diǎn)信息執(zhí)行第二聚合來獲得第二結(jié)果。

10、操作電路還可被配置為：基于校正信息來校正第一結(jié)果，其中，校正信息指示所述壓縮圖的連接關(guān)系與所述圖的連接關(guān)系之間的差異。

11、操作電路還可被配置為：當(dāng)?shù)谝贿厪乃鰤嚎s圖被移除時(shí)，將第一邊上的一個(gè)或多個(gè)節(jié)點(diǎn)的附加嵌入信息與第一結(jié)果相加。

12、操作電路還可被配置為：當(dāng)?shù)诙叡惶砑拥剿鰤嚎s圖時(shí)，從第一結(jié)果減去第二邊上的一個(gè)或多個(gè)節(jié)點(diǎn)的嵌入信息。

13、操作電路還可被配置為：確定鄰近超節(jié)點(diǎn)是否具有自邊，其中，第二聚合基于所述確定。

14、操作電路還可被配置為：基于第一結(jié)果和第二結(jié)果來確定第一節(jié)點(diǎn)的嵌入信息。

15、確定的嵌入信息可對(duì)應(yīng)于當(dāng)?shù)谝还?jié)點(diǎn)連接到所述圖時(shí)表示的嵌入信息。

16、所述處理設(shè)備可包括在近存儲(chǔ)器處理(pnm)裝置中。

17、根據(jù)一個(gè)方面，提供一種訓(xùn)練gcn模型的方法，所述方法包括：對(duì)圖進(jìn)行壓縮以獲得壓縮圖，其中，所述壓縮圖可包括表示所述圖的多個(gè)節(jié)點(diǎn)的超節(jié)點(diǎn)和表示所述圖的多條邊的超邊；基于所述壓縮圖的超節(jié)點(diǎn)和超邊來執(zhí)行聚合；以及基于校正信息來校正聚合的結(jié)果，其中，校正信息指示所述壓縮圖的連接關(guān)系與所述圖的連接關(guān)系之間的差異。

18、執(zhí)行聚合的步驟可包括：獲得超節(jié)點(diǎn)中的所述多個(gè)節(jié)點(diǎn)中的節(jié)點(diǎn)的嵌入信息；基于嵌入信息來確定超節(jié)點(diǎn)的超節(jié)點(diǎn)信息；以及基于超邊來更新超節(jié)點(diǎn)信息。

19、校正聚合的結(jié)果的步驟可包括：當(dāng)校正信息指示所述圖的邊從所述壓縮圖被移除時(shí)，將附加嵌入信息與所述超節(jié)點(diǎn)信息相加。

20、校正聚合的結(jié)果的步驟可包括：當(dāng)校正信息指示邊被添加到壓縮圖時(shí)，從所述超節(jié)點(diǎn)信息減去第二邊上的一個(gè)或多個(gè)節(jié)點(diǎn)的嵌入信息。

21、根據(jù)一個(gè)方面，提供一種方法，所述方法包括：獲得圖的節(jié)點(diǎn)的嵌入信息；對(duì)所述圖進(jìn)行壓縮圖以獲得壓縮圖，其中，通過對(duì)所述圖的多個(gè)節(jié)點(diǎn)進(jìn)行分組以形成所述壓縮圖的超節(jié)點(diǎn)，來對(duì)所述圖進(jìn)行壓縮；以及使用圖卷積網(wǎng)絡(luò)(gcn)模型基于嵌入信息和所述壓縮圖來生成節(jié)點(diǎn)的修改的嵌入信息。

22、所述方法還包括：通過重復(fù)地計(jì)算所述壓縮圖的存儲(chǔ)器需求并且如果存儲(chǔ)器需求超過存儲(chǔ)器容量則對(duì)所述圖的附加節(jié)點(diǎn)進(jìn)行分組，來迭代地更新所述壓縮圖。

23、對(duì)所述圖進(jìn)行壓縮的方法還包括：執(zhí)行基于同質(zhì)性的節(jié)點(diǎn)劃分，以及根據(jù)基于同質(zhì)性的節(jié)點(diǎn)劃分來執(zhí)行所述多個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)合并。

24、實(shí)施例的附加方面將部分地在下面的描述中闡述，并且部分地將從描述清楚，或者可通過公開的實(shí)踐來學(xué)習(xí)。

25、實(shí)施例可使實(shí)現(xiàn)在對(duì)存儲(chǔ)器容量具有大約束的硬件環(huán)境下的大規(guī)模gcn訓(xùn)練。

26、實(shí)施例可基于壓縮圖提供使gcn操作的數(shù)據(jù)重用最大化的操作，從而提高大規(guī)模gcn處理的效率。

技術(shù)特征：

1.一種處理設(shè)備的數(shù)據(jù)處理方法，所述數(shù)據(jù)處理方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其中，生成修改的嵌入信息的步驟包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其中，生成修改的嵌入信息的步驟包括：

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其中，校正第一結(jié)果和/或第二結(jié)果的步驟包括：

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其中，校正第一結(jié)果和/或第二結(jié)果的步驟包括：

6.根據(jù)權(quán)利要求2至5中的任一項(xiàng)所述的數(shù)據(jù)處理方法，其中，生成修改的嵌入信息的步驟包括：

7.一種處理設(shè)備，包括：

8.根據(jù)權(quán)利要求7所述的處理設(shè)備，其中，操作電路還被配置為：通過對(duì)嵌入信息、超節(jié)點(diǎn)信息和連接信息執(zhí)行第一聚合來獲得第一結(jié)果，并且通過對(duì)嵌入信息和連接到第二節(jié)點(diǎn)所屬的超節(jié)點(diǎn)的鄰近超節(jié)點(diǎn)的附加超節(jié)點(diǎn)信息執(zhí)行第二聚合來獲得第二結(jié)果，其中，連接信息包括所述圖上的連接到第一節(jié)點(diǎn)的第二節(jié)點(diǎn)的嵌入信息。

9.根據(jù)權(quán)利要求8所述的處理設(shè)備，其中，操作電路還被配置為：基于校正信息來校正第一結(jié)果和/或第二結(jié)果，其中，校正信息指示所述壓縮圖的連接關(guān)系與所述圖的連接關(guān)系之間的差異。

10.根據(jù)權(quán)利要求9所述的處理設(shè)備，其中，操作電路還被配置為：當(dāng)?shù)谝贿厪乃鰤嚎s圖被移除時(shí)，將第一邊上的一個(gè)或多個(gè)節(jié)點(diǎn)的附加嵌入信息與第一結(jié)果和/或第二結(jié)果相加。

11.根據(jù)權(quán)利要求9所述的處理設(shè)備，其中，操作電路還被配置為：當(dāng)?shù)诙叡惶砑拥剿鰤嚎s圖時(shí)，從第一結(jié)果和/或第二結(jié)果減去第二邊上的一個(gè)或多個(gè)節(jié)點(diǎn)的嵌入信息。

12.根據(jù)權(quán)利要求8所述的處理設(shè)備，其中，操作電路還被配置為：確定第二節(jié)點(diǎn)所屬的超節(jié)點(diǎn)是否具有自邊，其中，第二聚合基于所述確定，

13.根據(jù)權(quán)利要求7至12中的任一項(xiàng)所述的處理設(shè)備，其中，所述處理設(shè)備包括在近存儲(chǔ)器處理裝置中。

14.一種訓(xùn)練圖卷積網(wǎng)絡(luò)模型的方法，所述方法包括：

15.根據(jù)權(quán)利要求14所述的方法，其中，執(zhí)行聚合的步驟包括：

16.根據(jù)權(quán)利要求15所述的方法，其中，校正聚合的結(jié)果的步驟包括：

17.根據(jù)權(quán)利要求15所述的方法，其中，校正聚合的結(jié)果的步驟包括：

18.一種數(shù)據(jù)處理方法，包括：

19.根據(jù)權(quán)利要求18所述的數(shù)據(jù)處理方法，還包括：

20.根據(jù)權(quán)利要求18所述的數(shù)據(jù)處理方法，其中，對(duì)所述圖進(jìn)行壓縮的步驟包括：

技術(shù)總結(jié)
本公開的實(shí)施例描述了處理設(shè)備及其數(shù)據(jù)處理方法、訓(xùn)練圖卷積網(wǎng)絡(luò)模型的方法。所述處理設(shè)備可獲得將要添加到圖的第一節(jié)點(diǎn)的嵌入信息以及所述圖與第一節(jié)點(diǎn)之間的連接信息，接收與所述圖對(duì)應(yīng)的壓縮圖的超節(jié)點(diǎn)的超節(jié)點(diǎn)信息，其中，超節(jié)點(diǎn)包括來自所述圖的多個(gè)節(jié)點(diǎn)，并且使用圖卷積網(wǎng)絡(luò)(GCN)模型基于超節(jié)點(diǎn)信息、初始嵌入信息和連接信息生成第一節(jié)點(diǎn)的修改的嵌入信息。

技術(shù)研發(fā)人員：趙淵坤,韓允基,金利燮
受保護(hù)的技術(shù)使用者：三星電子株式會(huì)社
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19