本發(fā)明涉及學(xué)生畢業(yè)去向預(yù)測(cè)，尤其一種基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法。

背景技術(shù)：

1、近年來(lái)，隨著國(guó)家對(duì)高等教育重視程度的持續(xù)提升，全國(guó)高校每年的招生規(guī)模不斷擴(kuò)大，導(dǎo)致畢業(yè)生人數(shù)逐年攀升，日益龐大的就業(yè)群體給社會(huì)帶來(lái)了巨大的就業(yè)壓力。因此，提高大學(xué)生的專業(yè)能力水平，為學(xué)生提供個(gè)人職業(yè)發(fā)展方向的規(guī)劃，幫助學(xué)生樹(shù)立正確的職業(yè)選擇觀念，可以更好地促進(jìn)人才供需匹配，緩解就業(yè)市場(chǎng)的結(jié)構(gòu)性矛盾。對(duì)于學(xué)生而言，學(xué)業(yè)完成后選擇一個(gè)合適的畢業(yè)去向?qū)ζ湮磥?lái)職業(yè)發(fā)展和個(gè)人成長(zhǎng)至關(guān)重要。然而，學(xué)生畢業(yè)后的目的地往往受到多種因素的影響，包括個(gè)人學(xué)習(xí)成績(jī)、學(xué)習(xí)行為、社會(huì)活動(dòng)等，通常很難直觀地捕捉到這些因素之間的復(fù)雜相關(guān)性和潛在模式。

2、隨著數(shù)字化校園建設(shè)的深入和互聯(lián)網(wǎng)技術(shù)的發(fā)展，高校積累了大量的教育數(shù)據(jù)，為解決上述問(wèn)題奠定了堅(jiān)實(shí)的基礎(chǔ)。通過(guò)深入分析學(xué)生在校期間產(chǎn)生的各類數(shù)據(jù)，可以揭示出隱藏在其背后的個(gè)性化特征及其與未來(lái)畢業(yè)去向之間的潛在聯(lián)系，這種洞察不僅有助于為每位學(xué)生量身定制職業(yè)規(guī)劃建議，而且對(duì)于高校優(yōu)化人才培養(yǎng)方案、提升教育教學(xué)質(zhì)量具有重要的參考價(jià)值。在以往的研究中，已經(jīng)提出了多種用于預(yù)測(cè)本科生畢業(yè)去向的方法，例如，專利申請(qǐng)文件cn117609731a提出的基于因果推斷的畢業(yè)去向預(yù)測(cè)方法以及專利申請(qǐng)文件cn113642804a提出的多組件增強(qiáng)的畢業(yè)去向預(yù)測(cè)方法。然而，這些方法往往忽略了校園數(shù)據(jù)中存在的固有時(shí)序信息，導(dǎo)致模型難以捕捉學(xué)生在學(xué)習(xí)生活中隨時(shí)間演變的行為模式，從而影響了預(yù)測(cè)結(jié)果的精確性和可解釋性。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明的目的在于公開(kāi)了一種基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法，通過(guò)節(jié)點(diǎn)級(jí)、語(yǔ)義級(jí)和時(shí)間級(jí)注意力機(jī)制來(lái)衡量不同鄰居節(jié)點(diǎn)、不同元路徑以及不同時(shí)間快照對(duì)目標(biāo)節(jié)點(diǎn)嵌入的影響，使模型更準(zhǔn)確地學(xué)習(xí)到每個(gè)鄰居節(jié)點(diǎn)、每條元路徑以及每個(gè)時(shí)間點(diǎn)上信息的重要性，解決了現(xiàn)有技術(shù)中未考慮的在畢業(yè)去向特征表示中時(shí)空依賴關(guān)系融合問(wèn)題，實(shí)現(xiàn)了深度時(shí)空特征的高效挖掘，顯著增強(qiáng)了模型的強(qiáng)魯棒性和泛化能力，提高預(yù)測(cè)學(xué)生畢業(yè)去向預(yù)測(cè)分類的準(zhǔn)確性。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下的技術(shù)方案：

3、一種基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法，首先，獲取已畢業(yè)學(xué)生的多維度在校數(shù)據(jù)并進(jìn)行預(yù)處理；其次，對(duì)預(yù)處理后的數(shù)據(jù)，通過(guò)節(jié)點(diǎn)級(jí)注意力為每個(gè)鄰居節(jié)點(diǎn)計(jì)算注意力得分，得到自定義元路徑視圖下各鄰居節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn)的重要程度；另外，通過(guò)語(yǔ)義級(jí)注意力學(xué)習(xí)不同元路徑的權(quán)重，對(duì)中心節(jié)點(diǎn)實(shí)現(xiàn)元路徑感知的聚合；然后，通過(guò)時(shí)間級(jí)注意力學(xué)習(xí)各節(jié)點(diǎn)在不同時(shí)間步快照下的重要性，進(jìn)而跨一系列時(shí)間快照聚合節(jié)點(diǎn)嵌入；最后，使用多分類焦點(diǎn)損失函數(shù)進(jìn)行端到端優(yōu)化。

4、一種基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法，具體包括以下步驟：

5、步驟1，首先，獲取已畢業(yè)學(xué)生的多維度在校行為數(shù)據(jù)并進(jìn)行預(yù)處理操作，所述預(yù)處理操作包括處理缺失值、異常值和重復(fù)值，將數(shù)據(jù)標(biāo)準(zhǔn)化，以確保具有不同特征的數(shù)據(jù)在同一范圍內(nèi)，避免因不同尺度而引起偏差；其次，將預(yù)處理后的學(xué)生行為數(shù)據(jù)按照學(xué)期劃分為不同的時(shí)間步快照，得到時(shí)序行為數(shù)據(jù)集；

6、步驟2，將步驟1處理得到的時(shí)序行為數(shù)據(jù)集作為輸入，對(duì)于每個(gè)時(shí)間步快照，通過(guò)隨機(jī)遮掩原始圖中目標(biāo)節(jié)點(diǎn)的鄰居連接來(lái)生成多樣化的鄰居子集(僅訓(xùn)練集使用)，隨后根據(jù)邊即元路徑的類型將其劃分為不同的鄰居子圖，在自定義的元路徑視圖下，使用節(jié)點(diǎn)級(jí)注意力為目標(biāo)節(jié)點(diǎn)的每個(gè)鄰居計(jì)算注意力得分，根據(jù)注意力得分調(diào)整鄰居節(jié)點(diǎn)的權(quán)重，并基于此權(quán)重進(jìn)行鄰居節(jié)點(diǎn)聚合，從而獲得每個(gè)元路徑視圖的節(jié)點(diǎn)嵌入；

7、步驟3，對(duì)于每個(gè)時(shí)間步快照，在步驟2獲得元路徑視圖的節(jié)點(diǎn)嵌入后，通過(guò)語(yǔ)義級(jí)注意力學(xué)習(xí)不同元路徑的權(quán)重，計(jì)算步驟2得到的每個(gè)元路徑嵌入的注意力得分，進(jìn)而從不同元路徑選擇性地收集和融合信息到節(jié)點(diǎn)嵌入，實(shí)現(xiàn)元路徑感知的聚合，從而獲得每個(gè)時(shí)間步快照的節(jié)點(diǎn)嵌入；

8、步驟4，通過(guò)步驟3獲得每個(gè)時(shí)間步快照的節(jié)點(diǎn)嵌入后，將不同時(shí)間步的節(jié)點(diǎn)嵌入進(jìn)行加權(quán)聚合，使用時(shí)間級(jí)注意力學(xué)習(xí)各節(jié)點(diǎn)在不同時(shí)間步快照下的重要性，進(jìn)而跨多個(gè)時(shí)間快照聚合節(jié)點(diǎn)嵌入，得到融合時(shí)序信息的節(jié)點(diǎn)嵌入；

9、步驟5，通過(guò)步驟4得到融合時(shí)序信息的節(jié)點(diǎn)嵌入后，對(duì)于畢業(yè)去向預(yù)測(cè)任務(wù)，使用多分類焦點(diǎn)損失函數(shù)計(jì)算損失并進(jìn)行端到端優(yōu)化。

10、所述步驟2具體方法包括：

11、2.1將步驟1處理得到的時(shí)序行為數(shù)據(jù)集作為輸入，對(duì)于每個(gè)時(shí)間步快照，首先通過(guò)隨機(jī)遮掩掉原始圖中目標(biāo)節(jié)點(diǎn)的鄰居連接來(lái)生成多樣化的鄰居子集(僅訓(xùn)練集使用)：對(duì)于每個(gè)節(jié)點(diǎn)v∈v，其鄰居節(jié)點(diǎn)集合為遮掩概率定義為p∈[0，1]，對(duì)于每個(gè)鄰居節(jié)點(diǎn)生成一個(gè)獨(dú)立的伯努利隨機(jī)變量zvu即遮掩指示符，遮掩指示符zvu服從參數(shù)為1-p的伯努利分布：

12、zvu～bernoulli(1-p)，(1)

13、這里，zvu＝1表示保留邊(v，u)，而zvu＝0表示遮掩這條邊；根據(jù)遮掩指示符zvu更新鄰接矩陣a，原始鄰接矩陣a中元素avu表示節(jié)點(diǎn)v和u之間是否存在邊；更新后的鄰接矩陣a′可以表示為：

14、a′vu＝avu×zvu，(2)

15、根據(jù)隨機(jī)遮掩后的鄰接矩陣a′vu生成更多樣化的鄰居子集從而增加訓(xùn)練數(shù)據(jù)的隨機(jī)性和多樣性；

16、2.2根據(jù)邊即元路徑類型將鄰居集劃分為不同的鄰居子圖，在自定義的元路徑視圖下，使用節(jié)點(diǎn)級(jí)注意力評(píng)估每個(gè)鄰居節(jié)點(diǎn)的重要性，并根據(jù)注意力得分調(diào)整鄰居節(jié)點(diǎn)的權(quán)重，從而在聚合鄰居節(jié)點(diǎn)信息以構(gòu)建中心節(jié)點(diǎn)的特征表示時(shí)，不同鄰居節(jié)點(diǎn)對(duì)中心節(jié)點(diǎn)產(chǎn)生不同的貢獻(xiàn)；在元路徑r下，計(jì)算中心節(jié)點(diǎn)v在時(shí)間步t的鄰居節(jié)點(diǎn)u注意力得分：

17、

18、其中，和為可學(xué)習(xí)的參數(shù)，用于對(duì)節(jié)點(diǎn)的特征進(jìn)行線性變換，用于對(duì)邊的特征進(jìn)行線性變換，表示中心節(jié)點(diǎn)v的特征，表示鄰居節(jié)點(diǎn)u的特征，ev，r，u表示連接中心節(jié)點(diǎn)v和鄰居節(jié)點(diǎn)u的邊的特征，是將輸入映射到r的權(quán)重向量，||表示向量拼接操作，使用softmax對(duì)重要性得分進(jìn)行標(biāo)準(zhǔn)化得到鄰居節(jié)點(diǎn)u的權(quán)重系數(shù)為：

19、

20、其中，表示時(shí)間步t，元路徑r下中心節(jié)點(diǎn)v的鄰居節(jié)點(diǎn)集；

21、同時(shí)，引入形式為的殘差連接，以傳播誤差并防止過(guò)度平滑；中心節(jié)點(diǎn)v在時(shí)間步t，元路徑r下的節(jié)點(diǎn)嵌入為：

22、

23、所述步驟3具體方法包括：

24、對(duì)于時(shí)間步t，節(jié)點(diǎn)v，計(jì)算步驟2得到的每個(gè)元路徑嵌入注意力得分為：

25、

26、其中，和為可訓(xùn)練的線性變換參數(shù)，是權(quán)重向量，對(duì)應(yīng)的標(biāo)準(zhǔn)化注意力權(quán)重為：

27、

28、則節(jié)點(diǎn)v在時(shí)間步t的元路徑融合嵌入表示為：

29、

30、所述步驟4具體方法包括：

31、使用改進(jìn)的縮放點(diǎn)積注意力對(duì)步驟3產(chǎn)生的不同時(shí)間步節(jié)點(diǎn)嵌入進(jìn)行加權(quán)聚合，確保節(jié)點(diǎn)表示能夠捕捉到節(jié)點(diǎn)隨時(shí)間變化的趨勢(shì)和特征；將節(jié)點(diǎn)v的時(shí)間嵌入表示為然后將hv轉(zhuǎn)換為查詢q＝hvwq，鍵k＝hvwk，值v＝hvwv，其中時(shí)間級(jí)注意力的定義為：

32、

33、其中，是一個(gè)掩碼矩陣，僅關(guān)注時(shí)間步i≤j的特征；

34、

35、則使用作為節(jié)點(diǎn)v的最終嵌入。

36、所述步驟5包括：

37、5.1通過(guò)步驟4得到融合多個(gè)時(shí)間步快照的節(jié)點(diǎn)嵌入向量之后，使用線性變換將節(jié)點(diǎn)嵌入zv映射到類別分?jǐn)?shù)，再通過(guò)softmax得到預(yù)測(cè)概率分布pv，然后，根據(jù)節(jié)點(diǎn)真實(shí)標(biāo)簽t和預(yù)測(cè)概率pv，使用多分類焦點(diǎn)損失函數(shù)：

38、

39、其中，pv,t是節(jié)點(diǎn)v預(yù)測(cè)屬于其真實(shí)標(biāo)簽t的概率，αt是平衡各類別的權(quán)重系數(shù)，γ是調(diào)節(jié)易難樣本權(quán)重的聚焦參數(shù)；

40、5.2基于步驟5.1的損失函數(shù)進(jìn)行反向傳播優(yōu)化節(jié)點(diǎn)的嵌入表示，實(shí)現(xiàn)端到端優(yōu)化。

41、一種基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法的預(yù)測(cè)系統(tǒng)，包括：

42、隨機(jī)鄰居遮掩模塊，用于步驟2中，通過(guò)隨機(jī)遮掩原始圖中目標(biāo)節(jié)點(diǎn)的鄰居連接來(lái)生成多樣化的鄰居子集，并通過(guò)聚合部分鄰居節(jié)點(diǎn)而非聚合全部鄰居節(jié)點(diǎn)信息來(lái)進(jìn)行消息傳遞，根據(jù)掩碼指示符實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，從而增加了訓(xùn)練數(shù)據(jù)的隨機(jī)性和多樣性；

43、節(jié)點(diǎn)級(jí)注意模塊，用于步驟2中，通過(guò)注意力得分評(píng)估每個(gè)鄰居節(jié)點(diǎn)的重要性，并根據(jù)計(jì)算出的注意力得分動(dòng)態(tài)調(diào)整鄰居節(jié)點(diǎn)的權(quán)重，實(shí)現(xiàn)在聚合鄰居節(jié)點(diǎn)信息以構(gòu)建中心節(jié)點(diǎn)的特征表示時(shí)，不同鄰居節(jié)點(diǎn)能對(duì)中心節(jié)點(diǎn)產(chǎn)生不同的貢獻(xiàn)；

44、語(yǔ)義級(jí)注意模塊，用于步驟3中，在得到每個(gè)元路徑的節(jié)點(diǎn)表示之后，需要將不同元路徑下的節(jié)點(diǎn)嵌入進(jìn)行聚合，得到目標(biāo)節(jié)點(diǎn)的中間表示，通過(guò)評(píng)估不同元路徑的重要性，進(jìn)而動(dòng)態(tài)調(diào)整各元路徑的權(quán)重，實(shí)現(xiàn)元路徑感知的聚合；

45、時(shí)間級(jí)注意模塊，用于步驟4中，將不同時(shí)間步的節(jié)點(diǎn)嵌入進(jìn)行加權(quán)聚合，使用時(shí)間級(jí)注意力學(xué)習(xí)各節(jié)點(diǎn)在不同時(shí)間步快照下的重要性，進(jìn)而跨多個(gè)時(shí)間快照聚合節(jié)點(diǎn)嵌入，得到融合時(shí)序信息的節(jié)點(diǎn)嵌入。

46、一種基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法的電子設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，使得所述處理器執(zhí)行權(quán)利要求1至7任一項(xiàng)所述的基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法。

47、一種接收用戶輸入程序存儲(chǔ)介質(zhì)，所存儲(chǔ)的計(jì)算機(jī)程序被處理器執(zhí)行時(shí)能夠基于權(quán)利要求1至7任一項(xiàng)所述的基于多層注意力機(jī)制的學(xué)生畢業(yè)去向預(yù)測(cè)方法，得到準(zhǔn)確的學(xué)生畢業(yè)去向預(yù)測(cè)結(jié)果。

48、相對(duì)于現(xiàn)有技術(shù)，本發(fā)明有益效果如下：

49、1、深度時(shí)空特征挖掘：傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)和深度學(xué)習(xí)方法難以捕捉學(xué)生學(xué)習(xí)生活數(shù)據(jù)中復(fù)雜的時(shí)空依賴關(guān)系；本發(fā)明通過(guò)堆疊多個(gè)注意力層，模型可以逐步提取更深層次的特征信息，多層注意力機(jī)制(節(jié)點(diǎn)級(jí)、語(yǔ)義級(jí)和時(shí)間級(jí))深入分析了不同鄰居節(jié)點(diǎn)、元路徑以及時(shí)間快照的對(duì)節(jié)點(diǎn)嵌入的影響。該方法不僅綜合考慮了學(xué)生在校期間行為模式的時(shí)間演變對(duì)其未來(lái)職業(yè)選擇的影響，還成功構(gòu)建出更具表現(xiàn)力和解釋性的節(jié)點(diǎn)嵌入，這使得模型在預(yù)測(cè)學(xué)生的畢業(yè)去向上更加精準(zhǔn)。同時(shí)，模型通過(guò)精準(zhǔn)地捕捉每個(gè)節(jié)點(diǎn)及其周?chē)従与S時(shí)間變化的動(dòng)態(tài)特性，為預(yù)測(cè)畢業(yè)去向提供了更加豐富和細(xì)膩的信息基礎(chǔ)。

50、2、強(qiáng)魯棒性和泛化能力：本發(fā)明在處理復(fù)雜且多變的學(xué)生行為數(shù)據(jù)時(shí)表現(xiàn)出色，能夠有效應(yīng)對(duì)數(shù)據(jù)中的噪聲和異常值。通過(guò)多分類焦點(diǎn)損失函數(shù)進(jìn)行端到端優(yōu)化，模型在訓(xùn)練過(guò)程中對(duì)類別不平衡問(wèn)題具有良好的抵抗能力，確保了預(yù)測(cè)結(jié)果的穩(wěn)定性和可靠性。此外，注意力機(jī)制使得模型可以自動(dòng)調(diào)整不同特征的重要性，從而減少了因數(shù)據(jù)質(zhì)量或分布變化帶來(lái)的影響，提高了學(xué)生畢業(yè)去向預(yù)測(cè)的準(zhǔn)確性和魯棒性。

51、3、廣泛應(yīng)用潛力：本發(fā)明的提出和應(yīng)用不僅推動(dòng)了計(jì)算機(jī)科學(xué)和人工智能領(lǐng)域的發(fā)展，還具有教育學(xué)、社會(huì)學(xué)、心理學(xué)等跨學(xué)科的應(yīng)用潛力使得模型具有更廣泛的應(yīng)用前景和實(shí)用價(jià)值。

52、綜上所述，本發(fā)明通過(guò)集成節(jié)點(diǎn)級(jí)、語(yǔ)義級(jí)和時(shí)間級(jí)的多層注意力機(jī)制，實(shí)現(xiàn)了深度時(shí)空特征的高效挖掘，顯著增強(qiáng)了模型的強(qiáng)魯棒性和泛化能力。它不僅能夠有效處理復(fù)雜且多變的學(xué)生行為數(shù)據(jù)，減少噪聲和異常值的影響，還能通過(guò)多分類焦點(diǎn)損失函數(shù)優(yōu)化，應(yīng)對(duì)類別不平衡問(wèn)題，確保預(yù)測(cè)結(jié)果的穩(wěn)定性和可靠性。相較于傳統(tǒng)的畢業(yè)去向預(yù)測(cè)方法，引入的注意力機(jī)制不僅增強(qiáng)了模型的分類效果，還使得模型能夠更精準(zhǔn)地聚焦于關(guān)鍵信息，進(jìn)一步提高了模型在處理復(fù)雜數(shù)據(jù)時(shí)的魯棒性。這使得本發(fā)明不僅不僅能準(zhǔn)確預(yù)測(cè)學(xué)生的未來(lái)畢業(yè)去向，還能在各種實(shí)際應(yīng)用環(huán)境中保持高效和穩(wěn)定的表現(xiàn)。附圖說(shuō)明

53、圖1為學(xué)生畢業(yè)去向預(yù)測(cè)方法流程圖。

54、圖2為學(xué)生在校行為數(shù)據(jù)描述圖。

55、圖3為隨機(jī)鄰居遮掩策略圖。

56、圖4為異構(gòu)圖元路徑劃分示意圖。

57、圖5為多層注意力機(jī)制的畢業(yè)去向預(yù)測(cè)模型架構(gòu)圖。

58、圖6為各模型數(shù)據(jù)特征可視化對(duì)照?qǐng)D。