一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及云計算領(lǐng)域，尤其涉及一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法。
【背景技術(shù)】
[0002] 如今，越來越多的應(yīng)用程序面臨著處理來自多個分布式數(shù)據(jù)源的潛在大數(shù)據(jù)的問 題。在大型計算機或傳感器網(wǎng)絡(luò)中，每個組件都擁有一些有關(guān)系統(tǒng)全局狀態(tài)的數(shù)據(jù)，大部分 系統(tǒng)功能依賴建模系統(tǒng)的全局狀態(tài)，而系統(tǒng)的全局狀態(tài)不斷變化，必須保持模型最新并搜 索完整信息。計算全局數(shù)據(jù)挖掘模型時，往往需要較高的計算成本。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明為克服上述的不足之處，目的在于提供一種基于張量分解的缺失關(guān)聯(lián)規(guī)則 挖掘方法，本方法通過在云的每個節(jié)點上局部發(fā)現(xiàn)關(guān)聯(lián)規(guī)則、并對局部結(jié)果進行全局相關(guān)， 從而發(fā)現(xiàn)缺失關(guān)聯(lián)規(guī)則；本方法能夠更好地處理云計算環(huán)境中的海量數(shù)據(jù)，具有優(yōu)越性。
[0004] 本發(fā)明是通過以下技術(shù)方案達到上述目的：一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖 掘方法，包括如下步驟：
[0005] (1)每個節(jié)點對自身所帶的局部數(shù)據(jù)進行局部相關(guān)，在每個節(jié)點上運用先驗算法 發(fā)現(xiàn)局部關(guān)聯(lián)規(guī)則，得到節(jié)點的局部置信度；
[0006] (2)利用節(jié)點網(wǎng)絡(luò)、每個節(jié)點的局部關(guān)聯(lián)規(guī)則及權(quán)重矩陣建立基于張量的全局相 關(guān)豐吳型；
[0007] (3)通過CP分解方法分解全局相關(guān)模型中的張量置信度，并使用共輒梯度算法計 算得到近似張量置信度；
[0008] (4)當(dāng)存在缺失數(shù)據(jù)的情況下，利用分布式算法結(jié)合局部置信度與近似張量置信 度得到接近缺失值的置信度張量，發(fā)現(xiàn)缺失關(guān)聯(lián)規(guī)則。
[0009] 作為優(yōu)選，所述步驟（1)發(fā)現(xiàn)局部關(guān)聯(lián)規(guī)則步驟如下：
[0010] (a)使用Apriori算法提取頻繁項集I1;…；Im;
[0011] (b)若)C= {i.:1;…；ijClj,Y=Ik-X且conf(X-Y)多minconf，minconf為預(yù)先 設(shè)定的，則從頻繁項集Ik產(chǎn)生關(guān)聯(lián)規(guī)則X-Y。
[0012] 作為優(yōu)選，所述的基于張量的全局相關(guān)模型由置信度張量表示，通過uplet(R，G， w)定義置信度張量S;
[0013] 其中，R表示節(jié)點網(wǎng)絡(luò)
中頻繁項集的集合；S表示空間 Rnxnxr上的張量，在[0，1]取值;W表示權(quán)重矩陣。
[0014] 作為優(yōu)選，所述權(quán)重矩陣W的定義如下：
[0015] 設(shè)HberHlj為所有節(jié)點中項集i，j之間關(guān)聯(lián)規(guī)則有關(guān)的所有置信度，則wu表示 權(quán)重矩陣，定義為
[0016]
[0017] 作為優(yōu)選，所述步驟（3)的CP分解方法將張量置信度x分解為向量或矩陣，如下 所示：
[0019] 作為優(yōu)選，所述步驟（3)近似張量置信度使用迭代算法最小化L(X)計算，公式如 下，此過程利用共輒梯度算法完成：
[0021] 其中，Wlj為權(quán)重矩陣，Su為張量，Xu張量置信度分解而得的矩陣。
[0022] 本發(fā)明的有益效果在于：本方法能夠更好地處理云計算環(huán)境中的海量數(shù)據(jù)，具有 優(yōu)越性。
【附圖說明】
[0023] 圖1是本發(fā)明實施例的流程示意圖。
【具體實施方式】
[0024] 下面結(jié)合具體實施例對本發(fā)明進行進一步描述，但本發(fā)明的保護范圍并不僅限于 此：
[0025] 實施例：如圖1所示，一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法包括如下步驟： 局部數(shù)據(jù)相關(guān)發(fā)現(xiàn)每個節(jié)點上局部關(guān)聯(lián)規(guī)則，因此，無需集中所有節(jié)點的數(shù)據(jù)，發(fā)現(xiàn)的關(guān)聯(lián) 規(guī)則和它們各自的置信度表示在矩陣（稱為局部置信度矩陣）中，計算每個節(jié)點的局部置 信度矩陣，通過在每個節(jié)點上局部運用先驗算法實現(xiàn)關(guān)聯(lián)規(guī)則發(fā)現(xiàn)。對局部關(guān)聯(lián)規(guī)則進行 全局數(shù)據(jù)相關(guān)，從而發(fā)現(xiàn)缺失關(guān)聯(lián)規(guī)則，通過識別和發(fā)現(xiàn)2個步驟對每個節(jié)點執(zhí)行缺失關(guān) 聯(lián)規(guī)則的發(fā)現(xiàn)。
[0026] 在本發(fā)明的實施例中，每個節(jié)點對數(shù)據(jù)進行局部相關(guān)，從而識別頻繁項集，并形成 它們之間的條件蘊含規(guī)則。節(jié)點隊上，數(shù)據(jù)為一組事務(wù)，也稱為事務(wù)基。通過以下2個步 驟實現(xiàn)提取。
[0027] 步驟1使用Apriori算法提取頻繁項集I1;…；Im，見算法1。
[0028] 算法1提取頻繁項集的Apriori算法。
[0029]
[0030] 步驟2從頻繁項集I1;…；I"產(chǎn)生規(guī)則。若:X={ii; ?"；HcIj,Y=Ik-X且 conf(X-Y)彡minconf，從頻繁項集Ik產(chǎn)生關(guān)聯(lián)規(guī)則X-Y0
[0031] 如此就可以跟進步驟1獲得的頻繁項集生成局部數(shù)據(jù)的關(guān)聯(lián)規(guī)則。緊接著將基于 張量的全局相關(guān)模型求解缺失關(guān)聯(lián)規(guī)則的近似置信度。
[0032] 在本發(fā)明的實施例中，相關(guān)模型由置信度張量表示，通過uplet(R，G，w)定義置信 度張量S，其中，R表示節(jié)點網(wǎng)絡(luò)=N1,N2，…，隊;61表示節(jié)點 合；3表示空間1^^上的張量，在[0，1]取值沿1^1^表示與所有節(jié)點中項集1，」之間 關(guān)聯(lián)規(guī)則有關(guān)的所有置信度,表示權(quán)重矩陣，定義為
[0033]
[0034] 預(yù)測關(guān)系模式的任務(wù)，即缺失關(guān)聯(lián)規(guī)則置信度，將嘗試尋找矩陣w的所有零值的 所有關(guān)系模式。因此，尋找盡可能與原始張量S接近的分解。
[0035] 在本發(fā)明的實施例中，節(jié)點間存在缺失規(guī)則的情況下，關(guān)聯(lián)規(guī)則置信度近似的問 題可改寫為通過尋找同一大小的張量X的近似S的問題，最小化S的成本，定義為
[0037] 近似張量X通過使用迭代算法最小化L(X)計算，利用共輒梯度算法完成，見算法 2〇
[0038] 算法2梯度算法
[0041] 使用梯度算法前，必須將張量X分解為向量或矩陣，使用CP(Candecomp/Parafac) 分解方法，表不為
[0043] 記CP分解給出的3個矩陣，X= [ [A，B，C]]。
[0044] 設(shè)置X= [ [A，B，C]]，得到
[0046] 為了建立形式L(X)的梯度范式，為3個方向X=A，Y=B和Z=X確定偏導(dǎo)數(shù)分 別為

[0050] 在本發(fā)明的實施例中，利用分布式算法將局部相關(guān)與全局相關(guān)相結(jié)合，見算法3。
[0051] 算法3的步驟實際上便是將算法1和算法2基于缺失關(guān)聯(lián)規(guī)則的全局數(shù)據(jù)上重新 執(zhí)行一次。具體地，在云的每個節(jié)點上運用先驗算法在存在缺失數(shù)據(jù)的情況下計算關(guān)聯(lián)規(guī) 貝1J，獲得的結(jié)果為置信度矩陣集，它們的組合將提供一個存在缺失關(guān)聯(lián)規(guī)則情況下的置信 度張量S，張量中缺失關(guān)聯(lián)規(guī)則的置信度未知；再使用CP分解方法分解置信度張量，最后利 用共輒梯度算法近似求解張量中未知置信度。
[0052] 算法3分布式發(fā)現(xiàn)算法。
[0053]
[0055] 以上的所述乃是本發(fā)明的具體實施例及所運用的技術(shù)原理，若依本發(fā)明的構(gòu)想所 作的改變，其所產(chǎn)生的功能作用仍未超出說明書及附圖所涵蓋的精神時，仍應(yīng)屬本發(fā)明的 保護范圍。
【主權(quán)項】
1. 一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法，其特征在于包括如下步驟： (1) 每個節(jié)點對自身所帶的局部數(shù)據(jù)進行局部相關(guān)，在每個節(jié)點上運用先驗算法發(fā)現(xiàn) 局部關(guān)聯(lián)規(guī)則，得到節(jié)點的局部置信度； (2) 利用節(jié)點網(wǎng)絡(luò)、每個節(jié)點的局部關(guān)聯(lián)規(guī)則及權(quán)重矩陣建立基于張量的全局相關(guān)模 型； (3) 通過CP分解方法分解全局相關(guān)模型中的張量置信度，并使用共輒梯度算法計算得 到近似張量置信度； (4) 當(dāng)存在缺失數(shù)據(jù)的情況下，利用分布式算法結(jié)合局部置信度與近似張量置信度得 到接近缺失值的置信度張量，發(fā)現(xiàn)缺失關(guān)聯(lián)規(guī)則。2. 根據(jù)權(quán)利要求1所述的一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法，其特征在于： 所述步驟（1)發(fā)現(xiàn)局部關(guān)聯(lián)規(guī)則步驟如下： (a) 使用Apriori算法提取頻繁項集I1;…；Im; (b) 若"；ii}cl」，Y=Ik-X且conf(X-Y)彡minconf，minconf為預(yù)先設(shè)定 的，則從頻繁項集Ik產(chǎn)生關(guān)聯(lián)規(guī)則X-Y。3. 根據(jù)權(quán)利要求1所述的一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法，其特征在于： 所述的基于張量的全局相關(guān)模型由置信度張量表示，通過uplet(R，G，w)定義置信度張量 S； 其中，R表示節(jié)點網(wǎng)絡(luò)；G表示節(jié)中頻繁項集的集合；S表示空間Rnxnxr 上的張量，在[〇, 1]取值；W表示權(quán)重矩陣。4. 根據(jù)權(quán)利要求3所述的一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法，其特征在于： 所述權(quán)重矩陣W的定義如下： 設(shè)HberHlj為所有節(jié)點中項集i，j之間關(guān)聯(lián)規(guī)則有關(guān)的所有置信度，則wu表示權(quán)重 矩陣，定義為5. 根據(jù)權(quán)利要求1所述的一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法，其特征在于： 所述步驟（3)的CP分解方法將張量置信度X分解為向量或矩陣，如下所示：6. 根據(jù)權(quán)利要求1所述的一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法，其特征在于： 所述步驟（3)近似張量置信度使用迭代算法最小化L(X)計算，公式如下，此過程利用共輒 梯度算法完成：其中，Wij為權(quán)重矩陣，Su為張量，Xu張量置信度分解而得的矩陣。
【專利摘要】本發(fā)明涉及一種基于張量分解的缺失關(guān)聯(lián)規(guī)則挖掘方法，包括如下步驟：(1)每個節(jié)點對自身所帶的局部數(shù)據(jù)進行局部相關(guān)，在每個節(jié)點上運用先驗算法發(fā)現(xiàn)局部關(guān)聯(lián)規(guī)則，得到節(jié)點的局部置信度；(2)利用節(jié)點網(wǎng)絡(luò)、每個節(jié)點的局部關(guān)聯(lián)規(guī)則及權(quán)重矩陣建立基于張量的全局相關(guān)模型；(3)通過CP分解方法分解全局相關(guān)模型中的張量置信度，并使用共軛梯度算法計算得到近似張量置信度；(4)當(dāng)存在缺失數(shù)據(jù)的情況下，利用分布式算法結(jié)合局部置信度與近似張量置信度得到接近缺失值的置信度張量，發(fā)現(xiàn)缺失關(guān)聯(lián)規(guī)則。本方法能夠更好地處理云計算環(huán)境中的海量數(shù)據(jù)，具有優(yōu)越性。
【IPC分類】G06F17/16
【公開號】CN105224507
【申請?zhí)枴緾N201510631132
【發(fā)明人】周天和, 盧曉飛, 蔡榮, 張元元, 張帆
【申請人】杭州天寬科技有限公司
【公開日】2016年1月6日
【申請日】2015年9月29日