專(zhuān)利名稱(chēng)：針對(duì)復(fù)雜網(wǎng)絡(luò)的基于群思想改進(jìn)的Fast-Newman聚類(lèi)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于社區(qū)網(wǎng)絡(luò)的數(shù)據(jù)挖掘領(lǐng)域，針對(duì)復(fù)雜網(wǎng)絡(luò)簇結(jié)構(gòu)的聚類(lèi)，具體涉及一種基于群思想改進(jìn)目標(biāo)函數(shù)的優(yōu)化類(lèi)聚類(lèi)方法。
背景技術(shù)：
隨著計(jì)算機(jī)、數(shù)學(xué)、物理、生物、社會(huì)學(xué)、復(fù)雜性科學(xué)等學(xué)科的不斷發(fā)展，人們發(fā)現(xiàn)，現(xiàn)實(shí)世界中的眾多系統(tǒng)都以復(fù)雜網(wǎng)絡(luò)的形式存在，如因特網(wǎng)、移動(dòng)電話(huà)網(wǎng)、帶白紙交互網(wǎng)、神經(jīng)元網(wǎng)等。由于這類(lèi)網(wǎng)絡(luò)中節(jié)點(diǎn)和連接關(guān)系的異構(gòu)性，簇結(jié)構(gòu)(cluster structure)成為復(fù)雜網(wǎng)絡(luò)最普遍和最重要的拓?fù)浣Y(jié)構(gòu)屬性之一。網(wǎng)絡(luò)簇結(jié)構(gòu)具有簇內(nèi)節(jié)點(diǎn)相互連接緊密、簇間節(jié)點(diǎn)連接稀疏的特點(diǎn)。研究復(fù)雜網(wǎng)絡(luò)聚類(lèi)算法和揭示真實(shí)的網(wǎng)絡(luò)簇結(jié)構(gòu)是分析復(fù)雜網(wǎng)絡(luò)中節(jié)點(diǎn)關(guān)系隨時(shí)間的演化過(guò)程、信號(hào)或信息在網(wǎng)絡(luò)中的傳播速度與范圍以及預(yù)測(cè)網(wǎng)絡(luò)中節(jié)點(diǎn)的行為等眾多問(wèn)題的基礎(chǔ)，具有重要的理論意義。同時(shí)，聚類(lèi)算法已被應(yīng)用于恐怖組織識(shí)別、社會(huì)網(wǎng)絡(luò)分析與組織管理、未知蛋白質(zhì)功能預(yù)測(cè)、主控基因識(shí)別以及Web社區(qū)挖掘和搜索弓I擎等眾多領(lǐng)域，具有廣闊的應(yīng)用前景。早期的復(fù)雜網(wǎng)絡(luò)聚類(lèi)算法有譜方法和Kernighan-Lin算法(KL算法)。譜方法將復(fù)雜網(wǎng)絡(luò)建模為一個(gè)圖，并將聚類(lèi)問(wèn)題轉(zhuǎn)化成二次型優(yōu)化問(wèn)題，通過(guò)計(jì)算特殊矩陣的特征向量來(lái)最小化預(yù)定義的“截函數(shù)”，從而產(chǎn)生分割網(wǎng)絡(luò)的效果。譜方法終止時(shí)需要依賴(lài)先驗(yàn)知識(shí)，并且其遞歸平衡二分策略對(duì)于多簇網(wǎng)絡(luò)結(jié)構(gòu)具有明顯劣勢(shì)。KL算法同樣基于圖分割思想，將極小化簇間連接與簇內(nèi)連接數(shù)目之差作為優(yōu)化目標(biāo)，通過(guò)不斷調(diào)整節(jié)點(diǎn)所屬簇結(jié)構(gòu)，選擇并接受可以使目標(biāo)函數(shù)極小化的候選解。KL算法在應(yīng)用中同樣依賴(lài)先驗(yàn)知識(shí)，并對(duì)初始解非常敏感，不好的初始解會(huì)導(dǎo)致聚類(lèi)過(guò)程收斂速度緩慢并且結(jié)果較差。2002年，F(xiàn)lake等人基于最大流-最小截定理提出了啟發(fā)式聚類(lèi)算法MaximumFlow Community (MFC算法)。Flake認(rèn)為具有簇結(jié)構(gòu)的網(wǎng)絡(luò)中，網(wǎng)絡(luò)“瓶頸”由簇間連接構(gòu)成，MFC算法通過(guò)計(jì)算最小截集，識(shí)別網(wǎng)絡(luò)“瓶頸”，刪除簇間連接，將網(wǎng)絡(luò)逐漸分割成簇結(jié)構(gòu)。但MFC算法基于連接進(jìn)行聚類(lèi)，不適用于節(jié)點(diǎn)異構(gòu)的網(wǎng)絡(luò)。同年，Girvan和Newman提出了 Girvan-Newman算法(GN算法)。該算法同樣使用啟發(fā)式規(guī)則，通過(guò)反復(fù)計(jì)算網(wǎng)絡(luò)中的邊介數(shù)，識(shí)別并刪除簇間連接，生成一顆自頂向下的層次聚類(lèi)樹(shù)。GN算法最大的缺點(diǎn)在于計(jì)算量過(guò)大，算法收斂速度慢，不適合應(yīng)用于大規(guī)模網(wǎng)絡(luò)。2004年，Newman提出了的i^ast-Newman算法(FN算法)，該算法是一種優(yōu)化算法，優(yōu)化目標(biāo)是Newman和Girvan在同年提出的著名的網(wǎng)絡(luò)模塊性評(píng)價(jià)函數(shù)(或稱(chēng)Q函數(shù))。初始狀態(tài)下，F(xiàn)N算法將每一個(gè)節(jié)點(diǎn)看作一個(gè)簇，通過(guò)在迭代過(guò)程中最大化Q函數(shù)的合并操作，計(jì)算出自底向上的包含層次聚類(lèi)過(guò)程的簇結(jié)構(gòu)關(guān)系樹(shù)?；赒函數(shù)，Guimera和Amaral提出了融合模擬退火算法的Guimera-Amaral算法(GA算法)，該算法通過(guò)計(jì)算候選解對(duì)應(yīng)的Q函數(shù)值來(lái)評(píng)價(jià)其優(yōu)劣，并通過(guò)模擬退火策略的Metropolis準(zhǔn)則決定是否接受候選解，這一算法是目前聚類(lèi)精度最高的算法。除此以外，很多復(fù)雜網(wǎng)絡(luò)聚類(lèi)算法都以最大化Q函數(shù)為優(yōu)化目標(biāo)，這類(lèi)算法解決了過(guò)度依賴(lài)初始解和啟發(fā)式算法中收斂速度過(guò)慢的問(wèn)題。
但是，Q函數(shù)的優(yōu)化依然存在缺陷首先，基于優(yōu)化思想的聚類(lèi)算法所識(shí)別出的網(wǎng)絡(luò)簇結(jié)構(gòu)優(yōu)劣完全取決于優(yōu)化的目標(biāo)函數(shù)，“有偏”的目標(biāo)函數(shù)會(huì)導(dǎo)致“有偏”的解。由于Q函數(shù)是有偏的目標(biāo)函數(shù)，所以，聚類(lèi)精度在Q函數(shù)達(dá)到全局最大值時(shí)并非最高，此時(shí)的優(yōu)化算法聚類(lèi)結(jié)果并不能完全準(zhǔn)確地刻畫(huà)真實(shí)的網(wǎng)絡(luò)簇結(jié)構(gòu)。其次，隨著復(fù)雜網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，優(yōu)化算法中目標(biāo)函數(shù)值計(jì)算和迭代過(guò)程本身時(shí)間復(fù)雜度不斷提高，導(dǎo)致聚類(lèi)運(yùn)算消耗的時(shí)間和資源越來(lái)越多。

發(fā)明內(nèi)容
針對(duì)目前FN算法中Q函數(shù)的優(yōu)化存在的缺陷聚類(lèi)精度在Q函數(shù)達(dá)到全局最大值時(shí)并非最高，此時(shí)的聚類(lèi)結(jié)果并不能完全準(zhǔn)確地刻畫(huà)真實(shí)的網(wǎng)絡(luò)簇結(jié)構(gòu)，并且隨著復(fù)雜網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，聚類(lèi)消耗的時(shí)間和資源越來(lái)越多，本發(fā)明提出了一種針對(duì)復(fù)雜網(wǎng)絡(luò)的基于群思想改進(jìn)的i^ast-Newman聚類(lèi)方法。本發(fā)明提出的一種針對(duì)復(fù)雜網(wǎng)絡(luò)的基于群思想改進(jìn)的i^st-Newman聚類(lèi)方法，具體包括如下步驟步驟1 統(tǒng)計(jì)網(wǎng)絡(luò)中的所有節(jié)點(diǎn)，并為每個(gè)節(jié)點(diǎn)順序編號(hào)，設(shè)節(jié)點(diǎn)總數(shù)為N，i為節(jié)點(diǎn)的編號(hào)，1 < i ^ N，對(duì)網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)i，設(shè)置其所在的社區(qū)號(hào)為i ；步驟2 為每個(gè)節(jié)點(diǎn)i創(chuàng)建一個(gè)社區(qū)結(jié)構(gòu)，并為各社區(qū)設(shè)置用于表示該社區(qū)是否存在的存活標(biāo)記alive，將節(jié)點(diǎn)i加入社區(qū)i的社區(qū)成員中，設(shè)置該社區(qū)結(jié)構(gòu)的參數(shù)alive的值為ture，ture表示該社區(qū)存在，false表示該社區(qū)不存在；設(shè)置當(dāng)前網(wǎng)絡(luò)中存在的社區(qū)總數(shù)nalive為網(wǎng)絡(luò)中總的節(jié)點(diǎn)數(shù)N ；步驟3:對(duì)每個(gè)社區(qū)i，確定其內(nèi)部的邊數(shù)in_edge[i]以及其內(nèi)部的度數(shù)degree [i]；步驟4:對(duì)每對(duì)社區(qū)i，j，確定兩者之間的邊數(shù)croSS_edge[i] [j]，l≤i≤N，1≤j≤N，且i乒j ；步驟5 確定每個(gè)社區(qū)i的模塊性評(píng)價(jià)函數(shù)值Q' [i]
權(quán)利要求
1. 一種針對(duì)復(fù)雜網(wǎng)絡(luò)的基于群思想改進(jìn)的i^st-Newman聚類(lèi)方法，其特征在于，具體包括如下步驟步驟1 統(tǒng)計(jì)網(wǎng)絡(luò)中的所有節(jié)點(diǎn)，并為每個(gè)節(jié)點(diǎn)順序編號(hào)，設(shè)節(jié)點(diǎn)總數(shù)為N，i為節(jié)點(diǎn)的編號(hào)，1 < i < N，對(duì)網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)i，設(shè)置其所在的社區(qū)號(hào)為i ；步驟2 為每個(gè)節(jié)點(diǎn)i創(chuàng)建一個(gè)社區(qū)結(jié)構(gòu)，并為各社區(qū)設(shè)置用于表示該社區(qū)是否存在的存活標(biāo)記alive，將節(jié)點(diǎn)i加入社區(qū)i的社區(qū)成員中，設(shè)置該社區(qū)結(jié)構(gòu)的參數(shù)alive的值為ture, ture表示該社區(qū)存在，false表示該社區(qū)不存在；設(shè)置當(dāng)前網(wǎng)絡(luò)中存在的社區(qū)總數(shù)nalive為網(wǎng)絡(luò)中總的節(jié)點(diǎn)數(shù)N;步驟3:對(duì)每個(gè)社區(qū)i，確定其內(nèi)部的邊數(shù)in_edge[i]以及其內(nèi)部的度數(shù)degree[i]；步驟4:對(duì)每對(duì)社區(qū)i，j，確定兩者之間的邊數(shù)croSS_edge[i] [j]，l彡i彡N，1彡j彡N，且i乒j ；步驟5 確定每個(gè)社區(qū)i的模塊性評(píng)價(jià)函數(shù)值Q' [i]n4^e m d2m0 =Σ(1)1=1 rn dqm其中，m代表整個(gè)網(wǎng)絡(luò)的邊數(shù)，Hii代表社區(qū)i內(nèi)的邊數(shù)iruedgetiLdiR表社區(qū)i內(nèi)所有節(jié)點(diǎn)的度之和degree[i]，q代表社區(qū)i對(duì)應(yīng)的群，m,代表群q內(nèi)的邊數(shù)，d,代表群q內(nèi)所有節(jié)點(diǎn)的度之和；社區(qū)i對(duì)應(yīng)的群q是指社區(qū)i與社區(qū)i相鄰社區(qū)的集合；所述的相鄰社區(qū)的定義為若社區(qū)i中至少存在一個(gè)節(jié)點(diǎn)與社區(qū)P中任意節(jié)點(diǎn)存在至少一條連邊，則社區(qū)i與社區(qū)P就是相鄰社區(qū)；步驟6:設(shè)置變量maxQ'，用于保存當(dāng)前網(wǎng)絡(luò)中社區(qū)的最大Q'值；步驟7 判斷當(dāng)前網(wǎng)絡(luò)中是否存在大于一個(gè)的社區(qū)，若存在，則列舉當(dāng)前網(wǎng)絡(luò)中所有的社區(qū)對(duì)i、j，然后執(zhí)行步驟8 ；否則，執(zhí)行步驟12 ;1彡i ^nalivea ^ j彡nalive，且i ^ j ；步驟8 判斷當(dāng)前網(wǎng)絡(luò)中所有的社區(qū)對(duì)是否都已經(jīng)被取過(guò)，若沒(méi)有，任意取一對(duì)沒(méi)有取過(guò)的社區(qū)對(duì)i，j，若全部被取過(guò)，轉(zhuǎn)步驟12執(zhí)行；步驟9 判斷社區(qū)i和社區(qū)j之間是否存在連接的邊，若存在，執(zhí)行步驟10，若不存在，轉(zhuǎn)步驟8執(zhí)行；步驟10:假定將社區(qū)i和社區(qū)j進(jìn)行合并得到新社區(qū)i'，i'為新社區(qū)號(hào)，確定新社區(qū)i'的內(nèi)部的總邊數(shù)in_edge[i']以及內(nèi)部的總度數(shù)degree [i ‘]，然后確定新社區(qū)i'的模塊性評(píng)價(jià)函數(shù)值Q' [i']nalive'… (P Πm aqm其中，nalive'為假定將社區(qū)i和社區(qū)j進(jìn)行合并情況下的當(dāng)前網(wǎng)絡(luò)中存在的社區(qū)總數(shù)，其值為當(dāng)前網(wǎng)絡(luò)中存在的社區(qū)總數(shù)nalive-1 代表社區(qū)i'對(duì)應(yīng)的群，m代表整個(gè)網(wǎng)絡(luò)的邊數(shù)，HV代表社區(qū)i'內(nèi)的邊數(shù)in_edge[i' ]，πν代表群q'內(nèi)的邊數(shù)，‘代表社區(qū)i'內(nèi)所有節(jié)點(diǎn)的度之和，&代表群q'內(nèi)所有節(jié)點(diǎn)的度之和；步驟11:比較得到的模塊性評(píng)價(jià)函數(shù)值Q' [i']是否大于當(dāng)前的最大Q'值的變量maxQ'，若否，不作更新，轉(zhuǎn)步驟8執(zhí)行；若是，更新maxQ'的值為新社區(qū)的模塊性評(píng)價(jià)函數(shù)值Q' [i]，并將社區(qū)j合并到社區(qū)i中，然后轉(zhuǎn)步驟7執(zhí)行；步驟12:保存當(dāng)前變量maxQ'中最大Q'值，以及最終社區(qū)劃分結(jié)構(gòu)，然后結(jié)束本方法。
2.根據(jù)權(quán)利要求1所述的一種針對(duì)復(fù)雜網(wǎng)絡(luò)的基于群思想改進(jìn)的i^st-Newman聚類(lèi)方法，其特征在于，步驟10中所述的新社區(qū)i'內(nèi)部的總邊數(shù)in_edge[i']，是將社區(qū)i的內(nèi)部邊數(shù)加上社區(qū)j的內(nèi)部邊數(shù)，再加上社區(qū)i和社區(qū)j之間連接的邊數(shù)得到，所述新社區(qū)i'內(nèi)部的總度數(shù)degree[i']將社區(qū)j的度數(shù)加社區(qū)i的度數(shù)得到。
3.根據(jù)權(quán)利要求1所述的一種針對(duì)復(fù)雜網(wǎng)絡(luò)的基于群思想改進(jìn)的i^st-Newman聚類(lèi)方法，其特征在于，步驟11中所述的將社區(qū)j合并到社區(qū)i中，具體包括如下操作將社區(qū)j中的節(jié)點(diǎn)加入到社區(qū)i的社區(qū)成員中，將社區(qū)j中的節(jié)點(diǎn)的社區(qū)號(hào)修改為i，設(shè)置社區(qū)j的存活標(biāo)記alive的值為false，更新社區(qū)i的內(nèi)部的邊數(shù)in_edge[i]以及內(nèi)部的總度數(shù)degree [i]，更新社區(qū)i與當(dāng)前整個(gè)網(wǎng)絡(luò)中存在的其他社區(qū)之間的邊數(shù)。
全文摘要
本發(fā)明公開(kāi)了一種應(yīng)用于復(fù)雜網(wǎng)絡(luò)的基于群思想改進(jìn)的Fast-Newman聚類(lèi)方法，引入群的思想，根據(jù)復(fù)雜網(wǎng)絡(luò)簇結(jié)構(gòu)特點(diǎn)，定義了相鄰簇概念，改進(jìn)了Newman提出的模塊性評(píng)價(jià)函數(shù)，并保存最大的模塊性評(píng)價(jià)函數(shù)值，使得聚類(lèi)精度避免了在達(dá)到全局最大值時(shí)并非最高的問(wèn)題，得到的聚類(lèi)結(jié)果能夠更加準(zhǔn)確地刻畫(huà)真實(shí)的網(wǎng)絡(luò)簇結(jié)構(gòu)。本發(fā)明方法對(duì)大規(guī)模復(fù)雜網(wǎng)絡(luò)聚類(lèi)分析的精度比原FN聚類(lèi)方法有顯著提高，對(duì)于常見(jiàn)的具有規(guī)模大、連接稀疏且關(guān)系不均勻的復(fù)雜網(wǎng)絡(luò)，聚類(lèi)效果尤其突出。
文檔編號(hào)H04L29/08GK102571431SQ201210004690
公開(kāi)日2012年7月11日 申請(qǐng)日期2012年1月9日 優(yōu)先權(quán)日2011年12月2日
發(fā)明者戴彬, 牛建偉, 童超, 韓軍威 申請(qǐng)人:北京航空航天大學(xué)