本發(fā)明屬于交通管理與智能交通領(lǐng)域，涉及一種基于注意力的長短時(shí)空圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測方法。

背景技術(shù)：

1、交通流量預(yù)測在現(xiàn)代城市交通管理、智能交通系統(tǒng)建設(shè)以及出行規(guī)劃中具有不可或缺的重要應(yīng)用價(jià)值。通過準(zhǔn)確的交通流量預(yù)測，交通管理部門能夠優(yōu)化交通信號燈的時(shí)序控制，合理調(diào)配交通資源，從而有效緩解交通擁堵，提升道路網(wǎng)絡(luò)的整體通行效率。此外，精準(zhǔn)的流量預(yù)測還可以為個體出行者提供高質(zhì)量的實(shí)時(shí)路線規(guī)劃建議，幫助其規(guī)避高峰時(shí)段或擁堵路段，實(shí)現(xiàn)更加高效和舒適的出行體驗(yàn)。這不僅提升了城市交通系統(tǒng)的運(yùn)行效率，同時(shí)也為社會經(jīng)濟(jì)的可持續(xù)發(fā)展創(chuàng)造了有利條件。傳統(tǒng)的交通流量預(yù)測方法，在早期的研究與應(yīng)用中取得了一定成果。然而，由于這些方法在捕捉交通流量隨時(shí)間和空間變化的復(fù)雜動態(tài)特性上存在顯著局限性，其預(yù)測精度往往難以滿足現(xiàn)代交通系統(tǒng)的高要求。這主要是因?yàn)榻煌髁渴芏喾N因素的綜合影響，其時(shí)空分布具有高度的非線性與動態(tài)特性，單純依賴傳統(tǒng)方法難以準(zhǔn)確表征這些復(fù)雜特征。近年來，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，越來越多的研究將其引入交通流量預(yù)測領(lǐng)域。深度學(xué)習(xí)方法憑借在處理復(fù)雜非線性和高維數(shù)據(jù)方面的優(yōu)勢，在一定程度上彌補(bǔ)了傳統(tǒng)方法的不足，顯著提升了流量預(yù)測的精度。然而，即便如此，現(xiàn)有深度學(xué)習(xí)模型在建模交通流量的時(shí)空依賴關(guān)系方面仍存在明顯不足。許多模型僅關(guān)注時(shí)間維度或空間維度的單一依賴特性，或者對時(shí)空依賴關(guān)系進(jìn)行簡單的線性建模，無法充分挖掘交通流量在時(shí)空維度上的深層關(guān)聯(lián)性。這些模型在預(yù)測未來時(shí)間段的交通流量時(shí)，依然難以做到高精度和高魯棒性，限制了其在實(shí)際場景中的廣泛應(yīng)用。

2、因此，需要一種基于注意力的長短時(shí)空圖神經(jīng)網(wǎng)絡(luò)的預(yù)測方法。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于注意力的長短時(shí)空圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測方法。

2、為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于注意力的長短時(shí)空圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測方法，其核心步驟包括：

4、s1：獲取交通的流量歷史數(shù)據(jù)，包括流量、速度等特征，根據(jù)交通網(wǎng)絡(luò)中的路段或節(jié)點(diǎn)關(guān)系構(gòu)建鄰接矩陣，以表示節(jié)點(diǎn)間的空間依賴，將歷史數(shù)據(jù)按時(shí)間窗口分割，并對數(shù)據(jù)進(jìn)行歸一化處理；

5、s2：將流量歷史數(shù)據(jù)和鄰接矩陣輸入模型；

6、s3：通過時(shí)空模塊分別提取時(shí)間特征和空間特征，并通過前饋神經(jīng)網(wǎng)絡(luò)，來提高泛化能力；

7、s4：通過空間注意力模塊，通過一個三層的空間注意力塊實(shí)現(xiàn)對共享層中重要特征的差異化提取。注意力機(jī)制根據(jù)的注意力權(quán)重來衡量輸出，輸出結(jié)果合并到lstm中，并通過lstm處理密集層的信息，以執(zhí)行任務(wù)的預(yù)測，最后融合長短流量預(yù)測得到最終的預(yù)測結(jié)果；

8、所述s1中，獲取時(shí)間序列數(shù)據(jù)以及鄰接矩陣數(shù)據(jù)，根據(jù)接受的數(shù)據(jù)構(gòu)建維度為(v,e,a),其中v代表節(jié)點(diǎn)數(shù)量，代表交通網(wǎng)絡(luò)中包含的路段，e代表連接節(jié)點(diǎn)的邊集，a代表鄰接矩陣；

9、所述s2中，假設(shè)我們有n個節(jié)點(diǎn)(即交通網(wǎng)絡(luò)中的路段)，每個節(jié)點(diǎn)的特征為一個時(shí)間序列，表示該節(jié)點(diǎn)在不同時(shí)間步的交通流特征；

10、鄰接矩陣是一個n×n的矩陣，表示交通網(wǎng)絡(luò)中節(jié)點(diǎn)之間的空間依賴關(guān)系；

11、在模型中，時(shí)間序列數(shù)據(jù)和鄰接矩陣將作為輸入，經(jīng)過時(shí)空模塊和空間注意力模塊處理時(shí)間依賴關(guān)系和空間依賴關(guān)系；

12、進(jìn)一步的，s3具體包括：

13、s31.構(gòu)建空間gat塊，包含多頭注意力機(jī)制，提取空間特征；

14、s32.構(gòu)建tcn塊，包含兩種卷積核，一種長tcn塊，一種短tcn塊，用于分別模擬長期和短期依賴關(guān)系；

15、進(jìn)一步的，所述s31中，

16、利用gat-tcn(圖注意力網(wǎng)絡(luò)-時(shí)域卷積網(wǎng)絡(luò))來分別提取時(shí)空特征，在空間gat(圖注意力網(wǎng)絡(luò))塊中，采用多頭注意機(jī)制，使模型能夠通過多個獨(dú)立的注意塊共同學(xué)習(xí)空間依賴性；

17、在tcn(時(shí)域卷積網(wǎng)絡(luò))塊中，，采用了兩種不同卷積核來提取時(shí)間序列特征；

18、最終特征提取結(jié)果輸出到空間注意力模塊以及前饋神經(jīng)網(wǎng)絡(luò)。引入自注意力機(jī)制來傳播gat，對于給定的節(jié)點(diǎn)特征集r代表實(shí)數(shù)集，f為每個節(jié)點(diǎn)的特征數(shù)，任意兩個節(jié)點(diǎn)間的注意力系數(shù)eij表示為：

19、

20、利用softmax函數(shù)將注意系數(shù)歸一化成易于比較的形式：

21、aij＝softmax(leakyrelu(eij))

22、其中softmax函數(shù)是激活函數(shù)；leakyrelu函數(shù)是一種用于神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，a為所有節(jié)點(diǎn)使用共享的自注意力機(jī)制，eij是任意兩個節(jié)點(diǎn)間的注意力系數(shù)；

23、然后利用gcn卷積規(guī)則更新這些系數(shù)的模型特征：

24、

25、其中h為節(jié)點(diǎn)特征集，激活函數(shù)(例如relu)，n為節(jié)點(diǎn)數(shù)，a為所有節(jié)點(diǎn)使用共享的自注意力機(jī)制；w為學(xué)習(xí)的權(quán)重矩陣；將輸入數(shù)據(jù)傳遞到tcn層，應(yīng)用多個1d卷積層，使用1d反卷積層恢復(fù)到原始尺寸，輸出預(yù)測值；

26、

27、

28、其中y(t)代表預(yù)測值，x(t)代表輸入值，w(k)代表卷積核，k代表卷積核的數(shù)量，是克羅內(nèi)克積代表張量積的特殊形式，dk代表延遲。

29、所述s4中，空間注意力模塊用來提取交通數(shù)據(jù)的空間相關(guān)性，模塊中的attention塊利用分?jǐn)?shù)函數(shù)來決定注意力權(quán)重的大小，并得到q,k,v三個矩陣；

30、注意力機(jī)制基于鍵k和查詢q之間的關(guān)系來縮放v的值,如下所示：

31、att(q,k,v)＝fa(q,k)v

32、其中att代表注意力機(jī)制，fa()是分?jǐn)?shù)函數(shù)，q,k,v是三個矩陣；

33、需要提高學(xué)習(xí)能力，可以將q,k,v線性投影到不同的子空間，通過計(jì)算單個注意力頭的值，合并計(jì)算多個注意力頭得到輸入y；

34、multihead(q,k,v)＝[head1·head2·...·head0]w0

35、

36、

37、其中分別是q,k,v的權(quán)值矩陣，w0是線性組合的輸出，softmax是激活函數(shù)，multihead代表多頭注意力機(jī)制，head代表注意力頭；

38、最后的輸出結(jié)果合并到lstm中，通過門控機(jī)制將時(shí)間卷積和空間注意力的結(jié)果融合；

39、lstm采用一個cell?state來保存長期記憶，再配合門機(jī)制對信息進(jìn)行過濾，從而達(dá)到對長期記憶的控制，具體來說：

40、輸入門ft的作用在于決定需要更新的單元狀態(tài)：

41、ft＝σg(wfxt+ufht-1+bf)

42、而遺忘門的神經(jīng)層則負(fù)責(zé)對前一時(shí)刻聯(lián)合狀態(tài)中的信息進(jìn)行篩選和處理，如下面兩個公式所示；

43、具體而言，遺忘門決定前一時(shí)刻狀態(tài)中的信息是被保留還是被丟棄，進(jìn)而對單元狀態(tài)進(jìn)行更新；

44、it＝σg(wixt+utht-1+bi)

45、st＝tanh(wc·[wcxt+ucht-1]+bc

46、在此基礎(chǔ)上，輸入門和遺忘門的作用被進(jìn)一步整合，從而共同影響單元狀態(tài)的更新過程；

47、ct＝ft·ct-1+it·st

48、最終，輸出值層的功能是確定將多少處理后的信息傳遞至下一時(shí)間步的輸入閾值層，并輸出結(jié)果；

49、ot＝σg(woxt+uoht-1+bo)

50、而隱藏狀態(tài)的信息更新則如下所展現(xiàn)，通過一系列的非線性變換實(shí)現(xiàn)；

51、ht＝ot·tanh(ct)

52、其中wf，bf，wi，bi，wc，bc，wo和bo是每個閾值層的權(quán)值和偏移量，ft是輸入門，it是遺忘門，ot是輸出門，ct是記憶狀態(tài)，ht是隱藏狀態(tài)，σ和tanh是激活函數(shù)。

53、進(jìn)一步的，所述s32中，

54、利用gat-tcn(圖注意力網(wǎng)絡(luò)-時(shí)域卷積網(wǎng)絡(luò))來分別提取時(shí)空特征；

55、在tcn(時(shí)域卷積網(wǎng)絡(luò))塊中，為了有效捕捉短期和長期依賴關(guān)系，本發(fā)明在設(shè)計(jì)模型時(shí)采用了兩種不同大小的卷積核，從而實(shí)現(xiàn)了對這兩類時(shí)序特征的不同建模，以分開短期和長期的依賴關(guān)系；

56、為了更精確地捕捉短期和長期的時(shí)間依賴關(guān)系，在短期時(shí)間卷積網(wǎng)絡(luò)(shorttcn)和長期時(shí)間卷積網(wǎng)絡(luò)(long?tcn)的設(shè)計(jì)中采用了不同大小的卷積核；

57、在短tcn中，我們選用了大小為1×1，1×2和1×3的卷積核，用以模擬較短時(shí)間尺度內(nèi)的依賴關(guān)系；

58、相比之下，在長tcn的設(shè)計(jì)中，為了適應(yīng)更廣泛的時(shí)間依賴建模需求；

59、我們采用了1×1，1×5和1×6的卷積核，從而能夠有效提取長期時(shí)間依賴特征，然后分別合并三個卷積得到的結(jié)果，輸出預(yù)測值；

60、s3中，為了提升單個任務(wù)的泛化性能，使用了一種基于多層前饋神經(jīng)網(wǎng)絡(luò)(feedforward?neuralnetwork,fnn)的特征捕獲方法；

61、該方法通過多個全連接的隱藏層對時(shí)空模塊的單任務(wù)輸出進(jìn)行處理，具體而言，框架的fnn結(jié)構(gòu)由三個完全連接的隱藏層組成；

62、前饋神經(jīng)網(wǎng)絡(luò)通過逐層的信息傳遞，得到網(wǎng)絡(luò)最后的輸出a(l)；

63、整個網(wǎng)絡(luò)可以看做是一個復(fù)合函數(shù)，將向量x作為第1層的輸入a(0)，將第l層的輸出a(l)作為整個函數(shù)的輸出；

64、令a(l)表示l層的激活向量，θ(l)表示一個將l層映射到l+1層的權(quán)重的矩陣表示l層神經(jīng)元k到l+1層神經(jīng)元j的權(quán)重；

65、fnn通過三個完全連接的隱藏層擁有的神經(jīng)網(wǎng)絡(luò)可以用以下矩陣構(gòu)建：

66、

67、其中σ為激活函數(shù)，σ的取值為0到1；

68、s4的最終預(yù)測結(jié)果映射返回到現(xiàn)實(shí)空間中，從而得到預(yù)測交通流數(shù)據(jù)；

69、利用平均絕對誤差(mae)，平均絕對百分比誤差(mape)和均方根誤差(rmse)計(jì)算實(shí)際值和預(yù)測值之間的損失；

70、平均絕對誤差：

71、

72、均方根誤差：

73、

74、平均絕對百分比誤差：

75、

76、其中xi,j和分別代表實(shí)際值和預(yù)測值，n和q為樣本個數(shù)。

77、根據(jù)本公開的實(shí)施例，獲取預(yù)測點(diǎn)的交通的歷史交通流數(shù)據(jù)的步驟包括：獲取交通的流量歷史數(shù)據(jù)，包括流量、速度等特征，根據(jù)交通網(wǎng)絡(luò)中的路段或節(jié)點(diǎn)關(guān)系構(gòu)建鄰接矩陣，以表示節(jié)點(diǎn)間的空間依賴，將歷史數(shù)據(jù)按時(shí)間窗口分割；

78、根據(jù)本公開的實(shí)施例，對獲取的交通流數(shù)據(jù)進(jìn)行預(yù)處理和特征讀取的步驟包括：獲取時(shí)間序列數(shù)據(jù)以及鄰接矩陣數(shù)據(jù)，根據(jù)接受的數(shù)據(jù)構(gòu)建維度為(v,e,a)，將歷史數(shù)據(jù)按時(shí)間窗口分割，并對數(shù)據(jù)進(jìn)行歸一化處理；每個節(jié)點(diǎn)的特征為一個時(shí)間序列，表示該節(jié)點(diǎn)在不同時(shí)間步的交通流特征；鄰接矩陣是一個n×n的矩陣，表示交通網(wǎng)絡(luò)中節(jié)點(diǎn)之間的空間依賴關(guān)系；然后將時(shí)間序列數(shù)據(jù)和鄰接矩陣將作為輸入，經(jīng)過時(shí)空模塊和空間注意力模塊處理時(shí)間依賴關(guān)系和空間依賴關(guān)系；然后利用gat-tcn來分別提取時(shí)空特征，在空間gat塊中，采用了多頭注意機(jī)制，使模型能夠通過多個獨(dú)立的注意塊共同學(xué)習(xí)空間依賴性；在tcn塊中，采用了兩種不同卷積核來提取時(shí)間序列特征。最終特征提取結(jié)果輸出到空間注意力模塊以及前饋神經(jīng)網(wǎng)絡(luò)；

79、根據(jù)本公開的實(shí)施例，對于輸出的特征提取結(jié)果，使用了一種基于多層前饋神經(jīng)網(wǎng)絡(luò)(feedforwardneural?network,fnn)的特征捕獲方法；該方法通過多個全連接的隱藏層對時(shí)空模塊的單任務(wù)輸出進(jìn)行處理，具體而言，框架的fnn結(jié)構(gòu)由三個完全連接的隱藏層組成，前饋神經(jīng)網(wǎng)絡(luò)通過逐層的信息傳遞，得到網(wǎng)絡(luò)最后的輸出a(l)；對于輸出的特征提取結(jié)果，空間注意力模塊用來提取交通數(shù)據(jù)的空間相關(guān)性，模塊中的attention塊利用分?jǐn)?shù)函數(shù)來決定注意力權(quán)重的大小，并得到q,k,v三個矩陣；注意力機(jī)制基于鍵k和查詢q之間的關(guān)系來縮放v的值；

80、提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序或代碼，當(dāng)由處理器加載并執(zhí)行時(shí)，能夠?qū)崿F(xiàn)所述的交通流預(yù)測方法的步驟。

81、本發(fā)明的有益效果在于：本發(fā)明通過結(jié)合圖神經(jīng)網(wǎng)絡(luò)(gat)和時(shí)間卷積網(wǎng)絡(luò)(tcn)，實(shí)現(xiàn)了對交通流時(shí)空依賴關(guān)系的精準(zhǔn)建模，從而有效提高了交通流預(yù)測的精度；利用空間注意力模塊和多頭注意機(jī)制，不僅能捕捉交通網(wǎng)絡(luò)中的復(fù)雜空間依賴關(guān)系，還能有效提取短期和長期的時(shí)間依賴特征，適應(yīng)了交通流量的動態(tài)變化特性；引入多層前饋神經(jīng)網(wǎng)絡(luò)(fnn)，有助于提升模型對不同交通場景的適應(yīng)能力，增強(qiáng)了泛化性能。

82、本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說明書中進(jìn)行闡述，并且在某種程度上，基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書來實(shí)現(xiàn)和獲得。