一種基于張量分解的隨機(jī)森林優(yōu)化方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)挖掘領(lǐng)域，尤其涉及一種基于張量分解的隨機(jī)森林優(yōu)化方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前基于聚類的集成學(xué)習(xí)機(jī)優(yōu)化方法需要衡量?jī)蓚€(gè)基分類器預(yù)測(cè)結(jié)果的相似性以及它們之間的多樣性，這些衡量指標(biāo)在集成學(xué)習(xí)機(jī)的優(yōu)化過程中起著至關(guān)重要的作用，然而多樣性在實(shí)際中難以衡量，且多樣性與集成學(xué)習(xí)機(jī)預(yù)測(cè)性能間的有效聯(lián)系也較難建立。
[0003]隨機(jī)森林因其能顯著提高一個(gè)學(xué)習(xí)系統(tǒng)的泛化能力而得到機(jī)器學(xué)習(xí)界的廣泛關(guān)注。運(yùn)用隨機(jī)抽樣技術(shù)獲取多個(gè)有多樣性差異的樣本，并在這些自助樣本上訓(xùn)練多個(gè)決策樹的集合。隨著決策樹數(shù)目的不斷增加，隨機(jī)森林的分類錯(cuò)誤率逐漸下降。
[0004]為了獲取最優(yōu)的分類性能，通常需要構(gòu)造大量的決策樹。但同時(shí)隨機(jī)森林算法的時(shí)間復(fù)雜度和空間復(fù)雜度都會(huì)逐漸升高，而其預(yù)測(cè)效率明顯下降，這對(duì)于在線學(xué)習(xí)更是一個(gè)嚴(yán)重的問題。
[0005]因此，如何大幅度提高預(yù)測(cè)效率一直以來就是業(yè)界亟需改進(jìn)的目標(biāo)。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種基于張量分解的隨機(jī)森林優(yōu)化方法及系統(tǒng)，旨在解決現(xiàn)有技術(shù)中機(jī)器學(xué)習(xí)界預(yù)測(cè)效率較低的問題。
[0007]本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種基于張量分解的隨機(jī)森林優(yōu)化方法，包括:
[0008]讀入訓(xùn)練數(shù)據(jù)集作為初始訓(xùn)練集；
[0009]基于所述初始訓(xùn)練集采用預(yù)設(shè)隨機(jī)抽樣方法獲取新的訓(xùn)練集以形成隨機(jī)森林訓(xùn)練集，其中，所述隨機(jī)森林訓(xùn)練集包括采用隨機(jī)子空間技術(shù)訓(xùn)練決策樹模型；
[0010]基于所述隨機(jī)森林訓(xùn)練集中的決策樹模型構(gòu)建張量模型；
[0011]利用預(yù)設(shè)張量分解技術(shù)對(duì)所述張量模型進(jìn)行分解；
[0012]將分解后的張量進(jìn)行調(diào)整以得到調(diào)整后的張量；
[0013]在調(diào)整后的張量中選取具有整體最優(yōu)的決策樹子集作為最優(yōu)基分類器子集；以及
[0014]利用測(cè)試樣本集對(duì)所述最優(yōu)基分類器子集進(jìn)行測(cè)試。
[0015]優(yōu)選的，所述預(yù)設(shè)隨機(jī)抽樣方法包括Bootstrap隨機(jī)抽樣方法，所述預(yù)設(shè)張量分解技術(shù)包括H0SVD高階張量分解技術(shù)。
[0016]優(yōu)選的，所述基于所述隨機(jī)森林訓(xùn)練集中的決策樹模型構(gòu)建張量模型的步驟具體包括:
[0017]利用寬度優(yōu)先遍歷法逐個(gè)訪問所述決策樹模型中決策樹的分裂節(jié)點(diǎn)；
[0018]統(tǒng)計(jì)各個(gè)分裂節(jié)點(diǎn)內(nèi)包含的樣本類標(biāo)；
[0019]利用多數(shù)投票機(jī)制確定本節(jié)點(diǎn)中每個(gè)樣本的投票頻數(shù)；以及
[0020]將投票頻數(shù)作為構(gòu)建張量模型的基本元素進(jìn)行構(gòu)建張量模型。
[0021]優(yōu)選的，所述將分解后的張量進(jìn)行調(diào)整以得到調(diào)整后的張量的步驟具體包括:
[0022]利用設(shè)置截?cái)鄥?shù)對(duì)張量分解得到的奇異值矩陣進(jìn)行截?cái)嗾{(diào)整；以及
[0023]將截?cái)嗪蟮钠娈愔稻仃嚭秃诵膹埩恐匦掠?jì)算得到調(diào)整后的張量。
[0024]優(yōu)選的，所述在調(diào)整后的張量中選取具有整體最優(yōu)的決策樹子集作為最優(yōu)基分類器子集的步驟具體包括:
[0025]將調(diào)整后的張量做tree-mode展開；
[0026]按照每個(gè)決策樹對(duì)應(yīng)的元素進(jìn)行統(tǒng)計(jì)，刪除小于預(yù)設(shè)閾值的決策樹；
[0027]將剩余決策樹子集通過Pruning樣本集進(jìn)行測(cè)試；以及
[0028]選取具有整體最優(yōu)的決策樹子集作為最優(yōu)基分類器子集。
[0029]另一方面，本發(fā)明還提供一種基于張量分解的隨機(jī)森林優(yōu)化系統(tǒng)，包括:
[0030]讀取模塊，用于讀入訓(xùn)練數(shù)據(jù)集作為初始訓(xùn)練集；
[0031]隨機(jī)森林訓(xùn)練模塊，用于基于所述初始訓(xùn)練集采用預(yù)設(shè)隨機(jī)抽樣方法獲取新的訓(xùn)練集以形成隨機(jī)森林訓(xùn)練集，其中，所述隨機(jī)森林訓(xùn)練集包括采用隨機(jī)子空間技術(shù)訓(xùn)練決策樹模型；
[0032]張量構(gòu)建模塊，用于基于所述隨機(jī)森林訓(xùn)練集中的決策樹模型構(gòu)建張量模型；
[0033]張量分解模塊，用于利用預(yù)設(shè)張量分解技術(shù)對(duì)所述張量模型進(jìn)行分解；
[0034]張量調(diào)整模塊，用于將分解后的張量進(jìn)行調(diào)整以得到調(diào)整后的張量；
[0035]最優(yōu)子集選取模塊，用于在調(diào)整后的張量中選取具有整體最優(yōu)的決策樹子集作為最優(yōu)基分類器子集；以及
[0036]測(cè)試模塊，用于利用測(cè)試樣本集對(duì)所述最優(yōu)基分類器子集進(jìn)行測(cè)試。
[0037]優(yōu)選的，所述預(yù)設(shè)隨機(jī)抽樣方法包括Bootstrap隨機(jī)抽樣方法，所述預(yù)設(shè)張量分解技術(shù)包括H0SVD高階張量分解技術(shù)。
[0038]優(yōu)選的，所述張量構(gòu)建模塊具體包括:
[0039]節(jié)點(diǎn)訪問子模塊，用于利用寬度優(yōu)先遍歷法逐個(gè)訪問所述決策樹模型中決策樹的分裂節(jié)點(diǎn)；
[0040]類標(biāo)統(tǒng)計(jì)子模塊，用于統(tǒng)計(jì)各個(gè)分裂節(jié)點(diǎn)內(nèi)包含的樣本類標(biāo)；
[0041]頻數(shù)統(tǒng)計(jì)子模塊，用于利用多數(shù)投票機(jī)制確定本節(jié)點(diǎn)中每個(gè)樣本的投票頻數(shù)；以及
[0042]構(gòu)建子模塊，用于將投票頻數(shù)作為構(gòu)建張量模型的基本元素進(jìn)行構(gòu)建張量模型。
[0043]優(yōu)選的，所述張量調(diào)整模塊具體包括:
[0044]截?cái)嘧幽K，用于利用設(shè)置截?cái)鄥?shù)對(duì)張量分解得到的奇異值矩陣進(jìn)行截?cái)嗾{(diào)整；以及
[0045]計(jì)算子模塊，用于將截?cái)嗪蟮钠娈愔稻仃嚭秃诵膹埩恐匦掠?jì)算得到調(diào)整后的張量。
[0046]優(yōu)選的，所述最優(yōu)子集選取模塊具體包括:
[0047]張量展開子模塊，用于將調(diào)整后的張量做tree-mode展開；
[0048]統(tǒng)計(jì)刪除子模塊，用于按照每個(gè)決策樹對(duì)應(yīng)的元素進(jìn)行統(tǒng)計(jì)，刪除小于預(yù)設(shè)閾值的決策樹；
[0049]樣本測(cè)試子模塊，用于將剩余決策樹子集通過Pruning樣本集進(jìn)行測(cè)試；以及
[0050]最優(yōu)選取子模塊，用于選取具有整體最優(yōu)的決策樹子集作為最優(yōu)基分類器子集。
[0051]本發(fā)明利用張量分析技術(shù)把隨機(jī)森林看作是幾何結(jié)構(gòu)，即看作是決策樹、分裂屬性、樣本等多因素的綜合結(jié)果，并可分離出各個(gè)子空間進(jìn)而可以對(duì)各子空間進(jìn)行截?cái)辔⒄{(diào)，這種方式能大幅度提高機(jī)器學(xué)習(xí)界的預(yù)測(cè)效率。
【附圖說明】
[0052]圖1為本發(fā)明一實(shí)施方式中基于張量分解的隨機(jī)森林優(yōu)化方法流程圖；
[0053]圖2為本發(fā)明一實(shí)施方式中圖1所示步驟S13的詳細(xì)子步驟流程圖；
[0054]圖3為本發(fā)明一實(shí)施方式中圖1所示步驟S15的詳細(xì)子步驟流程圖；
[0055]圖4為本發(fā)明一實(shí)施方式中圖1所示步驟S16的詳細(xì)子步驟流程圖；
[0056]圖5為本發(fā)明一實(shí)施方式中基于張量分解的隨機(jī)森林優(yōu)化系統(tǒng)結(jié)構(gòu)示意圖；
[0057]圖6為本發(fā)明一實(shí)施方式中圖5所示張量構(gòu)建模塊13的內(nèi)部結(jié)構(gòu)示意圖；
[0058]圖7為本發(fā)明一實(shí)施方式中圖5所示張量調(diào)整模塊15的內(nèi)部結(jié)構(gòu)示意圖；
[0059]圖8為本發(fā)明一實(shí)施方式中圖5所示最優(yōu)子集選取模塊16的內(nèi)部結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0060]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0061]本發(fā)明【具體實(shí)施方式】提供了一種基于張量分解的隨機(jī)森林優(yōu)化方法，主要包括如下步驟:
[0062]S11、讀入訓(xùn)練數(shù)據(jù)集作為初始訓(xùn)練集；
[0063]S12、基于所述初始訓(xùn)練集采用預(yù)設(shè)隨機(jī)抽樣方法獲取新的訓(xùn)練集以形成隨機(jī)森林訓(xùn)練集，其中，所述隨機(jī)森林訓(xùn)練集包括采用隨機(jī)子空間技術(shù)訓(xùn)練決策樹模型；
[0064]S13、基于所述隨機(jī)森林訓(xùn)練集中的決策樹模型構(gòu)建張量模型；
[0065]S14、利用預(yù)設(shè)張量分解技術(shù)對(duì)所述張量模型進(jìn)行分解；
[0066]S15、將分解后的張量進(jìn)行調(diào)整以得到調(diào)整后的張量；
[0067]S16、在調(diào)整后的張量中選取具有整體最優(yōu)的決策樹子集作為最優(yōu)基分類器子集；以及
[0068]S17、利用測(cè)試樣本集對(duì)所述最優(yōu)基分類器子集進(jìn)行測(cè)試。
[0069]本發(fā)明所提供的一種基于張量分解的隨機(jī)森林優(yōu)化方法，利用張量分析技術(shù)把隨機(jī)森林看作是幾何結(jié)構(gòu)，即看作是決策樹、分裂屬性、樣本等多因素的綜合結(jié)果，并可分離出各個(gè)子空間進(jìn)而可以對(duì)各子空間進(jìn)行截?cái)辔⒄{(diào)，這種方式能大幅度提高機(jī)器學(xué)習(xí)界的預(yù)測(cè)效率。
[0070]以下將對(duì)本發(fā)明所提供的一種基于張量分解的隨機(jī)森林優(yōu)化方法進(jìn)行詳細(xì)說明。
[0071]請(qǐng)參閱圖1，為本發(fā)明一實(shí)施方式中基于張量分解的隨機(jī)森林優(yōu)化方法流程圖。
[0072]在步驟S11中，讀入訓(xùn)練數(shù)據(jù)集作為初始訓(xùn)練集。