本發(fā)明涉及電數(shù)字?jǐn)?shù)據(jù)處理相關(guān)，具體地說，是涉及一種基于多維特征與改進(jìn)聚類的通信性能分析方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，并不必然構(gòu)成在先技術(shù)。

2、高性能計(jì)算（high-performance?computing，hpc）在科學(xué)計(jì)算、工程模擬、氣象預(yù)測、生物信息學(xué)等多個(gè)領(lǐng)域得到了廣泛應(yīng)用，成為解決復(fù)雜計(jì)算問題的重要手段。在hpc系統(tǒng)中，并行計(jì)算是提升計(jì)算效率的核心方法，而高效的數(shù)據(jù)傳輸和進(jìn)程間通信是并行計(jì)算系統(tǒng)性能優(yōu)化的關(guān)鍵因素。

3、在高性能計(jì)算（hpc）系統(tǒng)中，mpi（message?passing?interface，消息傳遞接口）是廣泛應(yīng)用的并行通信標(biāo)準(zhǔn)，為分布式計(jì)算提供了一整套消息傳遞機(jī)制，包括點(diǎn)對點(diǎn)通信、集合通信以及同步與異步通信模式，以適應(yīng)不同的并行計(jì)算場景。在大規(guī)模hpc應(yīng)用中，mpi通信開銷通常占據(jù)程序運(yùn)行時(shí)間的顯著比例，隨著計(jì)算規(guī)模擴(kuò)展，通信瓶頸可能成為限制整體性能提升的關(guān)鍵因素，因此，對mpi通信的分析與優(yōu)化至關(guān)重要。當(dāng)前的mpi通信分析主要集中在通信開銷評估、網(wǎng)絡(luò)拓?fù)鋬?yōu)化以及負(fù)載均衡分析，以提升hpc應(yīng)用的計(jì)算效率和資源利用率。

4、盡管現(xiàn)有的mpi通信分析方法能夠揭示程序的整體通信開銷，但仍存在諸多不足。首先，缺乏精細(xì)化的通信模式分析，主要關(guān)注mpi通信的宏觀統(tǒng)計(jì)數(shù)據(jù)，如總通信量和通信延遲，識別特征單一導(dǎo)致難以準(zhǔn)確識別各類通信模式的特征及其對性能的影響。例如，點(diǎn)對點(diǎn)通信與集合通信在通信模式、延遲和帶寬使用等方面存在顯著差異，傳統(tǒng)分析方法往往無法精確識別這些差異對性能的具體影響，導(dǎo)致優(yōu)化措施缺乏針對性。其次，未能有效識別不同hpc應(yīng)用領(lǐng)域的通信模式差異，盡管氣象模擬、生物信息學(xué)、計(jì)算機(jī)圖形學(xué)等領(lǐng)域可能采用類似的并行計(jì)算方法，但它們的mpi通信需求各不相同，如氣象模擬依賴大規(guī)模廣播通信，而生物信息學(xué)分析往往涉及高頻點(diǎn)對點(diǎn)通信，現(xiàn)有方法未能針對不同應(yīng)用領(lǐng)域提供定制化的優(yōu)化建議。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為了解決上述問題，提出了一種基于多維特征及改進(jìn)聚類的通信性能分析方法及系統(tǒng)，通過細(xì)化通信特征分類和聚類分析，深入了解不同函數(shù)類型的通信行為，并通過改進(jìn)聚類方法分析不同領(lǐng)域應(yīng)用間的通信模式差異、識別應(yīng)用運(yùn)行中的消息通信異常行為，以便為后續(xù)的通信性能優(yōu)化提供科學(xué)依據(jù)和有效支持。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、一個(gè)或多個(gè)實(shí)施例提供了基于多維特征與改進(jìn)聚類的通信性能分析方法，包括如下步驟：

4、基于mpi通信函數(shù)的語義特性，將通信函數(shù)按通信模式和性能影響劃分；

5、獲取各類mpi通信函數(shù)的通信記錄信息，提取基礎(chǔ)通信特征；

6、基于基礎(chǔ)通信特征計(jì)算組合通信特征；

7、基于基礎(chǔ)通信特征和組合通信特征，構(gòu)建通信特征矩陣，采用基于特征方差的自適應(yīng)相似度計(jì)算方法，根據(jù)各通信特征的方差為不同特征分配權(quán)重，進(jìn)行聚類分析得到聚類結(jié)果；

8、基于聚類結(jié)果，識別各應(yīng)用程序的通信模式的性能差異。

9、一個(gè)或多個(gè)實(shí)施例提供了基于多維特征與改進(jìn)聚類的通信性能分析系統(tǒng)，包括：

10、劃分模塊，被配置為基于mpi通信函數(shù)的語義特性，將通信函數(shù)按通信模式和性能影響劃分；

11、特征提取模塊，被配置為獲取各類mpi通信函數(shù)的通信記錄信息，提取基礎(chǔ)通信特征；

12、組合通信特征計(jì)算模塊，被配置為基于基礎(chǔ)通信特征計(jì)算組合通信特征；

13、聚類模塊，被配置為基于基礎(chǔ)通信特征和組合通信特征，構(gòu)建通信特征矩陣，采用基于特征方差的自適應(yīng)相似度計(jì)算方法，根據(jù)各通信特征的方差為不同特征分配權(quán)重，進(jìn)行聚類分析得到聚類結(jié)果；

14、結(jié)果識別模塊，被配置為基于聚類結(jié)果，識別各應(yīng)用程序的通信模式的性能差異。

15、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

16、本實(shí)施例中，改進(jìn)的聚類算法通過計(jì)算各特征的方差，并根據(jù)方差為不同特征分配權(quán)重，動態(tài)調(diào)整相似度計(jì)算中各特征的貢獻(xiàn)，確保在聚類過程中，方差較大的特征（即對應(yīng)用程序間差異性貢獻(xiàn)較大的特征）占據(jù)更重要的地位；通過構(gòu)建多維度的通信特征矩陣，并結(jié)合基于方差的自適應(yīng)相似度計(jì)算方法，優(yōu)化通信模式的聚類分析，從而提高mpi通信性能分析的精確性。傳統(tǒng)方法主要依賴于靜態(tài)統(tǒng)計(jì)數(shù)據(jù)，未能深入挖掘通信模式的細(xì)節(jié)特征，而本實(shí)施例方法能夠動態(tài)調(diào)整特征權(quán)重，突出重要特征，提高聚類的準(zhǔn)確性。同時(shí)，改進(jìn)的聚類算法能夠更有效地分類通信模式，進(jìn)而為通信優(yōu)化提供更精準(zhǔn)的參考。

17、本發(fā)明的優(yōu)點(diǎn)以及附加方面的優(yōu)點(diǎn)將在下面的具體實(shí)施例中進(jìn)行詳細(xì)說明。

技術(shù)特征：

1.基于多維特征與改進(jìn)聚類的通信性能分析方法，其特征在于，包括如下步驟：

2.如權(quán)利要求1所述的基于多維特征與改進(jìn)聚類的通信性能分析方法，其特征在于，將通信函數(shù)按行為模式和性能影響劃分為：點(diǎn)對點(diǎn)阻塞通信、點(diǎn)對點(diǎn)非阻塞通信、一對多集合通信和多對多集合通信。

3.如權(quán)利要求1所述的基于多維特征與改進(jìn)聚類的通信性能分析方法，其特征在于：基礎(chǔ)通信特征包括消息大小、調(diào)用次數(shù)、通信時(shí)間和通信時(shí)間占比。

4.如權(quán)利要求1所述的基于多維特征與改進(jìn)聚類的通信性能分析方法，其特征在于，組合通信特征包括通信效率、通信效率和通信負(fù)載；

5.如權(quán)利要求1所述的基于多維特征與改進(jìn)聚類的通信性能分析方法，其特征在于：以每種通信函數(shù)類型得到的基礎(chǔ)特征和組合特征分別作為列，每一行對應(yīng)一種通信函數(shù)類型的特征，對于未使用的函數(shù)類型行設(shè)置為零，得到通信特征矩陣。

6.如權(quán)利要求1所述的基于多維特征與改進(jìn)聚類的通信性能分析方法，其特征在于，采用基于特征方差的譜聚類方法，根據(jù)各特征的方差為不同特征分配權(quán)重，對通信模式進(jìn)行聚類分析，得到聚類結(jié)果，包括如下步驟：

7.如權(quán)利要求6所述的基于多維特征與改進(jìn)聚類的通信性能分析方法，其特征在于，基于特征方差，自適應(yīng)計(jì)算程序之間的相似度，構(gòu)建相似度矩陣，包括如下步驟：

8.基于多維特征與改進(jìn)聚類的通信性能分析系統(tǒng)，其特征在于，包括：

9.如權(quán)利要求8所述的基于多維特征與改進(jìn)聚類的通信性能分析系統(tǒng)，其特征在于，組合通信特征包括通信效率、通信效率和通信負(fù)載；

10.如權(quán)利要求8所述的基于多維特征與改進(jìn)聚類的通信性能分析系統(tǒng)，其特征在于，采用基于特征方差的譜聚類方法，根據(jù)各特征的方差為不同特征分配權(quán)重，對通信模式進(jìn)行聚類分析，得到聚類結(jié)果的方法，包括如下步驟：

技術(shù)總結(jié)
本發(fā)明涉及電數(shù)字?jǐn)?shù)據(jù)處理技術(shù)領(lǐng)域，提出了一種基于多維特征與改進(jìn)聚類的通信性能分析方法及系統(tǒng)，包括：獲取各類MPI通信函數(shù)的基礎(chǔ)通信特征和組合通信特征，構(gòu)建通信特征矩陣，采用基于特征方差的自適應(yīng)相似度計(jì)算方法，根據(jù)各通信特征的方差為不同特征分配權(quán)重，進(jìn)行聚類分析得到聚類結(jié)果；識別各應(yīng)用程序的通信模式的性能差異。本發(fā)明通過計(jì)算各特征的方差，并根據(jù)方差為不同特征分配權(quán)重，動態(tài)調(diào)整相似度計(jì)算中各特征的貢獻(xiàn)，確保在聚類過程中，方差較大的特占據(jù)更重要的地位；通過構(gòu)建多維度的通信特征矩陣，并結(jié)合基于方差的自適應(yīng)相似度計(jì)算方法，優(yōu)化通信模式的聚類分析，從而提高M(jìn)PI通信性能分析的精確性。

技術(shù)研發(fā)人員：曾云輝,王壯,莊園,郭瑩
受保護(hù)的技術(shù)使用者：齊魯工業(yè)大學(xué)（山東省科學(xué)院）
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15