本發(fā)明涉及網(wǎng)絡(luò)模型優(yōu)化，尤其涉及一種網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法。

背景技術(shù)：

1、網(wǎng)絡(luò)遙測系統(tǒng)提供了關(guān)于網(wǎng)絡(luò)狀態(tài)連續(xù)且實時的測量，這對于網(wǎng)絡(luò)運營商檢測從性能下降到安全攻擊等越來越復(fù)雜的事件至關(guān)重要。得益于可編程交換機的快速發(fā)展，現(xiàn)代數(shù)據(jù)平面遙測系統(tǒng)越來越多地利用這些設(shè)備，在處理高速流量方面實現(xiàn)了可伸縮性，并實現(xiàn)了快速、高效的流級特征統(tǒng)計數(shù)據(jù)。

2、在網(wǎng)絡(luò)管理中，通常采用支持流級遙測技術(shù)的可編程交換機來統(tǒng)計流級特征，并將各種流級流量特征存儲在數(shù)據(jù)平面的sram中的流特征表中，流特征表會定期上傳到控制平面，用于指導(dǎo)下游任務(wù)的判斷。然而，在高速網(wǎng)絡(luò)中，可編程交換機收集流級流量特征仍然具有挑戰(zhàn)性，原因如下：

3、(1)?sram內(nèi)存限制：數(shù)據(jù)平面中的sram通常被限制為幾十兆字節(jié)的[4]。例如，在juniper?網(wǎng)絡(luò)的mx系列路由器中使用的trio可編程芯片組的sram大小只有2-8mb的，這大大限制了流特征的內(nèi)存容量；

4、(2)?流量日益劇增的高速網(wǎng)絡(luò)：在現(xiàn)代高速網(wǎng)絡(luò)環(huán)境中，通過可編程交換機的流量數(shù)據(jù)量正在急劇上升。例如，在大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)中，交換機通常每秒處理數(shù)百萬個數(shù)據(jù)流。隨著流特性統(tǒng)計表（表示網(wǎng)絡(luò)流的鍵）中的行數(shù)的快速增長，流表中用于存儲流特性統(tǒng)計信息的可用內(nèi)存變得非常有限。

5、為了解決這些挑戰(zhàn)，必須設(shè)計一個在遵守內(nèi)存約束的同時有效地執(zhí)行網(wǎng)絡(luò)測量的解決方案。例如，對于10?mb的sram，測量超過10,000個流的特征需要將每個流的特征的位寬限制為512位。由于下游網(wǎng)絡(luò)任務(wù)需要流特征，如流量分類和異常檢測，因此在有限的可用sram中識別出滿足下游任務(wù)的性能要求的特征集是至關(guān)重要的。

技術(shù)實現(xiàn)思路

1、鑒于目前存在的上述不足，本發(fā)明提供一種網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，能夠有效解決上述背景技術(shù)中涉及的問題。

2、為達到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：

3、一種網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，包括以下方法：構(gòu)建任務(wù)模型并加入選擇因子層，得到特征選擇模型；

4、獲取的流量數(shù)據(jù)集作為特征選擇模型的輸入，依據(jù)特征選擇策略篩選出k個統(tǒng)計特征及其對應(yīng)的選擇因子值，得到預(yù)篩選特征；

5、以內(nèi)存位寬長度為特征采用動態(tài)規(guī)劃算法篩選出滿足內(nèi)存位寬限制條件的特征，與所述預(yù)篩選特征組合，得到流量特征；

6、針對流量特征與設(shè)定的標(biāo)簽特征之間的空間距離，得到精確度；依據(jù)所述精確度，調(diào)整所述選擇因子層中選擇因子的值大小，并通過控制平面下發(fā)指令，以調(diào)整數(shù)據(jù)平面的匹配操作表，從而選取更適配的流量特征；其中，空間距離是由交叉熵損失函數(shù)中引入類平衡項和焦點項構(gòu)建的總損失函數(shù)計算得到。

7、進一步，所述的選擇因子層由一組可學(xué)習(xí)的參數(shù)參數(shù)化，且其中每個參數(shù)對應(yīng)一個可更新的特征。

8、進一步，所述的特征選擇策略是指引入基于堆的算法識別最優(yōu)的k個選擇因子，具體算法如下：

9、用前k個選擇因子構(gòu)造一個小根堆，其中堆頂表示最小的值；

10、迭代剩余的（n-k）選擇因子，對于每個因子，如果其值超過堆頂元素的值，即更換對頂元素的值并重新調(diào)整堆；

11、在迭代完所有的因子后，堆中的元素即是top-k選擇因子。

12、進一步，所述top-k選擇因子組成的索引集的穩(wěn)定性被設(shè)定為top-k穩(wěn)定性度量tsm，其設(shè)定如下：；其中，是第i個epoch的穩(wěn)定性度量，q是一個指定要考慮的連續(xù)epoch的超參數(shù)，而是第(i-j)個epoch的top-k特征的索引集；代表取過去的q個epoch的的交集；當(dāng)時，表明已經(jīng)連續(xù)q個epoch保持不變，即觸發(fā)早停機制。

13、進一步，所述的位寬限制條件是指sram的位寬限制約束，且采用的動態(tài)規(guī)劃算法操作如下：

14、問題定義：表示sram的總位寬限制，表示候選特征的位寬，表示候選特征的選擇因子值，表示是否選擇了第個特征,目標(biāo)是最大化選擇因子值的總和,同時確保總位寬不超過,問題表示為：；

15、狀態(tài)定義：設(shè)定表示從前個特征選，總位寬限制為的所獲得的最大選擇因子值的總和；設(shè)定存儲與對應(yīng)的所選特征的索引集；

16、初始化：將所有初始化為0，這表示未選擇任何物品，且總值為零。將初始化為空，表示最初沒有記錄任何索引；

17、狀態(tài)轉(zhuǎn)換：如果不選擇第個特征：

18、,

19、如果選擇第i個特征（j≥）：

20、；

21、；

22、優(yōu)化求值：最優(yōu)值為，所選項對應(yīng)的索引集為。

23、進一步，所述的總損失函數(shù)表示為：

24、；

25、其中，是類平衡項,能夠根據(jù)類別的樣本量調(diào)整每個類的權(quán)重；

26、是焦點項,能夠更多地關(guān)注難以預(yù)測的樣本類。

27、第二方面，一種計算機程序，所述計算機程序被執(zhí)行時實現(xiàn)上述的網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法包含的各個功能系統(tǒng)或模塊。

28、相對于現(xiàn)有技術(shù)，本發(fā)明的實施例至少具有如下優(yōu)點或有益效果：

29、自適應(yīng)于下游任務(wù)模型的流統(tǒng)計特征選擇；

30、在有限內(nèi)存資源下，特征的擇優(yōu)選擇策略；

31、減少計算開銷，快速地進行特征匹配；

32、解決針對下游任務(wù)的數(shù)據(jù)不平衡問題。

33、本申請的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本申請而了解。本申請的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

技術(shù)特征：

1.一種網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，其特征在于，包括以下方法：

2.如權(quán)利要求1所述的網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，其特征在于，所述的選擇因子層由一組可學(xué)習(xí)的參數(shù)參數(shù)化，且其中每個參數(shù)對應(yīng)一個可更新的特征。

3.如權(quán)利要求1所述的網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，其特征在于，所述的特征選擇策略是指引入基于堆的算法識別最優(yōu)的k個選擇因子，具體算法如下：

4.如權(quán)利要求3所述的網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，其特征在于，所述top-k選擇因子組成的索引集的穩(wěn)定性被設(shè)定為top-k穩(wěn)定性度量tsm，其設(shè)定如下：；其中，是第??個epoch的穩(wěn)定性度量，q是一個指定要考慮的連續(xù)epoch的超參數(shù)，而是第()個epoch的top-k特征的索引集；代表取過去的q個epoch的的交集；當(dāng)時，表明已經(jīng)連續(xù)q個epoch保持不變，即觸發(fā)早停機制。

5.如權(quán)利要求1所述的網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，其特征在于，所述的位寬限制條件是指sram的位寬限制約束，且采用的動態(tài)規(guī)劃算法操作如下：

6.如權(quán)利要求1所述的網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，其特征在于，所述的總損失函數(shù)表示為：

7.一種計算機程序，其特征在于，所述計算機程序被執(zhí)行時實現(xiàn)如權(quán)利要求1至6任一項網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法包含的各個功能系統(tǒng)或模塊。

技術(shù)總結(jié)
本發(fā)明提供一種網(wǎng)絡(luò)結(jié)構(gòu)的特征選擇及優(yōu)化方法，構(gòu)建任務(wù)模型并加入選擇因子層，得到特征選擇模型；獲取的流量數(shù)據(jù)集作為特征選擇模型的輸入，依據(jù)特征選擇策略篩選出K個統(tǒng)計特征及其對應(yīng)的選擇因子值，得到預(yù)篩選特征；以位寬長度為特征采用動態(tài)規(guī)則算法篩選出滿足位寬限制條件的特征，與所述預(yù)篩選特征組合，得到流量特征；針對流量特征與設(shè)定的標(biāo)簽特征之間的空間距離，得到精確度；依據(jù)所述精確度，調(diào)整所述選擇因子層中選擇因子的值大小，并通過控制平面下發(fā)指令，以調(diào)整數(shù)據(jù)平面的匹配操作表，從而選取更適配的流量特征。通過自適應(yīng)于下游任務(wù)模型的流統(tǒng)計特征選擇及有限資源下，擇優(yōu)且快速地選擇特征，提高網(wǎng)絡(luò)結(jié)構(gòu)的計算精度。

技術(shù)研發(fā)人員：謝鯤,鄒大輝,李曉燦,文吉剛,謝高崗
受保護的技術(shù)使用者：湖南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15