本發(fā)明涉及人工智能、機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域

背景技術(shù)：

在歸納學(xué)習(xí)技術(shù)中如何盡量減少誤分類錯(cuò)誤是主要焦點(diǎn)，例如CART和C4.5。在歸納問題上誤分類不僅是一個(gè)錯(cuò)誤。近來，研究工作人員已開始考慮了測(cè)試代價(jià)和誤分類代價(jià)的問題。前工作人員假設(shè)測(cè)試代價(jià)和誤分類代價(jià)在歸納過程中代價(jià)影響是相同的。在實(shí)際事例中，這兩種代價(jià)影響是不一樣的。如診斷代價(jià)問題，個(gè)人更加注重具體診斷測(cè)試成本花費(fèi)；億萬富翁則更關(guān)注診斷的正確性。本發(fā)明為了解決這個(gè)問題，從兩方面代價(jià)尺度來構(gòu)建決策樹的，在給定的預(yù)算基礎(chǔ)上，一個(gè)代價(jià)最小化影響著另一個(gè)代價(jià)模型。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述不足，本發(fā)明從兩方面代價(jià)尺度來構(gòu)建決策樹的，在給定的預(yù)算基礎(chǔ)上，一個(gè)代價(jià)最小化影響著另一個(gè)代價(jià)模型。

本發(fā)明所采用的技術(shù)方案是：基于EP準(zhǔn)則二維尺度決策樹構(gòu)建方法，利用EP準(zhǔn)則先把訓(xùn)練集多類標(biāo)識(shí)為兩類，再根據(jù)總代價(jià)目標(biāo)函數(shù)為：f＝TC(S)+MC(S)＜w這個(gè)準(zhǔn)則，選擇屬性作為結(jié)點(diǎn)和擴(kuò)展結(jié)點(diǎn)，最后形成的決策樹，為了避免過度擬合的問題，用剪支算法優(yōu)化決策樹，該方法的具體實(shí)施步驟如下：

步驟1：設(shè)訓(xùn)練集中有X個(gè)樣本，屬性個(gè)數(shù)為n，即n＝(s₁，s₂，…s_n),同時(shí)分裂屬性s_r對(duì)應(yīng)了m個(gè)類L，其中L_i∈(L₁，L₂…，L_m),r∈(1，2…，n)，i∈(1，2…，m)，相關(guān)領(lǐng)域用戶設(shè)定好誤分類代價(jià)矩陣C,L利用EP準(zhǔn)則對(duì)類進(jìn)行處理得到誤分類代價(jià)矩陣C′；

步驟2：創(chuàng)建根節(jié)點(diǎn)G；

步驟3：如果訓(xùn)練數(shù)據(jù)集為空，則返回結(jié)點(diǎn)G并標(biāo)記失?。?/p>

步驟4：如果訓(xùn)練數(shù)據(jù)集中所有記錄都屬于同一類別，則以該類型標(biāo)記結(jié)點(diǎn)G；

步驟5：如果候選屬性為空，則返回G為葉子結(jié)點(diǎn)，標(biāo)記為訓(xùn)練數(shù)據(jù)集中最普通的類；

步驟6：根據(jù)總代價(jià)成本目標(biāo)函數(shù)f與總誤分類代價(jià)因子w做比較來從候選屬性中選擇splitS；

總代價(jià)成本目標(biāo)函數(shù)為：f＝TC(S)+MC(S)＜w

TC(S)為選擇屬性S時(shí)測(cè)試代價(jià)指標(biāo)函數(shù)，MC(S)為把選擇屬性S預(yù)測(cè)錯(cuò)誤所引起的誤分類代價(jià)函數(shù),w為決策樹根據(jù)類劃分的總誤分類代價(jià)因子；

當(dāng)選擇屬性splitS滿足總代價(jià)成本目標(biāo)函數(shù)小于w時(shí)，則找到標(biāo)記結(jié)點(diǎn)G；

步驟7：標(biāo)記結(jié)點(diǎn)G為屬性splitS；

步驟8：由結(jié)點(diǎn)延伸出滿足條件為splitS＝splitS_i分支；

步驟8.1：假設(shè)Y_i為訓(xùn)練數(shù)據(jù)集中splitS＝splitS_i的樣本集合，如果Y_i為空，加上一個(gè)葉子結(jié)點(diǎn)，標(biāo)記為訓(xùn)練數(shù)據(jù)集中最普通的類；

步驟9：非步驟8.1中情況，則遞歸調(diào)用步驟6至步驟8；

步驟10：利用后剪支技術(shù)解決此決策樹模型中過度擬合問題；

步驟11：更新訓(xùn)練數(shù)據(jù)集，保存新的示例數(shù)據(jù)。

本發(fā)明的有益效果是：

1、在決策樹分類的過程中，先把多類標(biāo)識(shí)為兩類，簡(jiǎn)化了之后構(gòu)建決策樹過程。

2、主動(dòng)學(xué)習(xí)積極性更高，根據(jù)個(gè)人對(duì)類的偏好，進(jìn)行類劃分。同時(shí)又考慮了構(gòu)建決策樹過程中產(chǎn)生的總成本。這樣的大數(shù)據(jù)分析方法應(yīng)用范圍更廣泛。在歸類過程中，把個(gè)人喜好因素也涉及其中。

附圖說明

圖1表示一個(gè)決策樹構(gòu)建的結(jié)構(gòu)示例圖

圖2表示基于EP準(zhǔn)則把多類標(biāo)識(shí)為兩類的代價(jià)示例

圖3表示測(cè)試代價(jià)與誤分類代價(jià)示例

具體實(shí)施方式

以下，結(jié)合圖1到圖3對(duì)本發(fā)明進(jìn)行詳細(xì)說明。

本發(fā)明的詳細(xì)步驟如下：

步驟1：設(shè)訓(xùn)練集中有X個(gè)樣本，屬性個(gè)數(shù)為n，即n＝(s₁，s₂，…s_n),同時(shí)分裂屬性s_r對(duì)應(yīng)了m個(gè)類L，其中L_i∈(L₁，L₂…，L_m),r∈(1，2…,n)，i∈(1，2…，m)，相關(guān)領(lǐng)域用戶設(shè)定好誤分類代價(jià)矩陣C,L利用EP準(zhǔn)則對(duì)類進(jìn)行處理得到誤分類代價(jià)矩陣C′：

誤分類代價(jià)矩陣：設(shè)類別標(biāo)識(shí)個(gè)數(shù)為m，則該數(shù)據(jù)的代價(jià)矩陣m×m方陣是：

其中C_ij表示第j類數(shù)據(jù)分為第i類的代價(jià)，如果i＝j(luò)為正確分類，則C_ij＝0,否則為錯(cuò)誤分類C_ij≠0，其值由相關(guān)領(lǐng)域用戶給定,這里i，j∈(1，2，…，m)；

類別標(biāo)識(shí)個(gè)數(shù)為m，為方便描述，假設(shè)在僅有兩個(gè)類標(biāo)號(hào)的數(shù)據(jù)集上建立決策樹，這里我們把m個(gè)類用EP準(zhǔn)則判定為兩類情況，如圖2所示；其中TN代表真正反例，TP代表真正正例，c₀₀與c₁₁為預(yù)測(cè)正確時(shí)產(chǎn)生的代價(jià)，此時(shí)假設(shè)c₀₀、c₁₁都等于1，c₀₁、c₁₀為誤分類代價(jià)，一般情況下，c₁₀＞c₀₁，即得誤分類代價(jià)矩陣C′為：

步驟2：創(chuàng)建根節(jié)點(diǎn)G；

步驟3：如果訓(xùn)練數(shù)據(jù)集為空，則返回結(jié)點(diǎn)G并標(biāo)記失??；

步驟4：如果訓(xùn)練數(shù)據(jù)集中所有記錄都屬于同一類別，則以該類型標(biāo)記結(jié)點(diǎn)G；

步驟5：如果候選屬性為空，則返回G為葉子結(jié)點(diǎn)，標(biāo)記為訓(xùn)練數(shù)據(jù)集中最普通的類；

步驟6：根據(jù)總代價(jià)成本目標(biāo)函數(shù)f與總誤分類代價(jià)因子w做比較來從候選屬性中選擇splitS；

總代價(jià)成本目標(biāo)函數(shù)為：f＝TC(S)+ＭC(S)＜w

TC(S)為選擇屬性S時(shí)測(cè)試代價(jià)指標(biāo)函數(shù)，MC(S)為把選擇屬性S預(yù)測(cè)錯(cuò)誤所引起的誤分類代價(jià)函數(shù),w為決策樹根據(jù)類劃分的總誤分類代價(jià)因子；

當(dāng)選擇屬性splitS滿足總代價(jià)成本目標(biāo)函數(shù)小于w時(shí)，則找到標(biāo)記結(jié)點(diǎn)G；

步驟7：標(biāo)記結(jié)點(diǎn)G為屬性splitS；

步驟8：由結(jié)點(diǎn)延伸出滿足條件為splitS＝splitS_i分支；

步驟8.1：假設(shè)Y_i為訓(xùn)練數(shù)據(jù)集中splitS＝splitS_i的樣本集合，如果Y_i為空，加上一個(gè)葉子結(jié)點(diǎn)，標(biāo)記為訓(xùn)練數(shù)據(jù)集中最普通的類；

步驟9：非步驟8.1中情況，則遞歸調(diào)用步驟6至步驟8；

步驟10：利用后剪支技術(shù)解決此決策樹模型中過度擬合問題；

步驟11：更新訓(xùn)練數(shù)據(jù)集，保存新的示例數(shù)據(jù)。

上述步驟所涉及到的公式計(jì)算以及定義，具體如下：

一、EP準(zhǔn)則

設(shè)訓(xùn)練數(shù)據(jù)集X,其類有m個(gè)，假如判定當(dāng)前結(jié)點(diǎn)的類標(biāo)號(hào)為L(zhǎng)_i,把L_i判定為P例，則其他的就為N例，則：

其中n_j表示該屬性中類別為L(zhǎng)_j樣例個(gè)數(shù)，i，j∈{1，2，…，m}，c_ji為P例代價(jià)，∑_j≠in_jc_ji為該結(jié)點(diǎn)產(chǎn)生的總P例代價(jià)；同理可得出N例有效代價(jià)EP(j)；

則基于EP的結(jié)點(diǎn)類標(biāo)號(hào)判定方法為：

二、所述步驟6，求解總代價(jià)成本目標(biāo)函數(shù)，其涉及到的函數(shù)有：測(cè)試代價(jià)指標(biāo)函數(shù)TC(S)、誤分類代價(jià)指標(biāo)函數(shù)MC(S)、總誤分類代價(jià)因子w，其具體的求解過程如下：

步驟6.1：求解測(cè)試代價(jià)指標(biāo)函數(shù)TC(S)

假設(shè)當(dāng)前選擇屬性S的測(cè)試成本為c₁,c₁由用戶根據(jù)實(shí)際情況估計(jì)，把S屬性根據(jù)類結(jié)點(diǎn)劃分為部分，已知值個(gè)數(shù)(P₁，N₁)與(P₂，N₂)；

屬性S的總樣例個(gè)數(shù)為：

total number＝(P₁+N₁)+(P₂+N₂)

則屬性S的測(cè)試代價(jià)函數(shù)為：

TC(S)＝(P₁+N₁)+(P₂+N₂)×c₁

其中P₁為第1分支正例的個(gè)數(shù)，N₁為第1分支反例的個(gè)數(shù)；P₂為第2分支正例個(gè)數(shù)，N₂為第2分支反例的個(gè)數(shù)；

步驟6.2：求解誤分類代價(jià)指標(biāo)函數(shù)MC(S)

假設(shè)屬性S第一個(gè)分支為P結(jié)點(diǎn)，即EP(i)＜EP(j)；則第二分支則為N結(jié)點(diǎn)，即EP(i)＞EP(j)；

從上述指標(biāo)可以得出誤分類代價(jià)指標(biāo)函數(shù)：

MC(S)＝N₁×c_ji+P₂×c_ij

其中c_ji為FP代價(jià)，c_ij為FN代價(jià)，c_ji和c_ij由用戶根據(jù)具體情況來自定義；

步驟6.3：求解總誤分類代價(jià)因子w

根據(jù)EP準(zhǔn)則可以得出訓(xùn)練數(shù)據(jù)集中總的(P，N)分布值,(P，N)滿足P+NX條件；決策樹正例總誤分析代價(jià)c由相關(guān)專家給出，反例總誤分析代價(jià)為c′,所以：

w＝N×c

步驟6.4:求解總代價(jià)成本目標(biāo)函數(shù)

f＝TC(S)+MC(S

＝[(P₁+N₁)+(P₂+N₂)]×c₁+[N₁×c_ji+P₂×c_ij]

根據(jù)選擇屬性f值與w的大小比較依次構(gòu)建決策樹結(jié)點(diǎn)：

1)當(dāng)f_S＜w時(shí)，分裂屬性S可以減少樣本集的總代價(jià)，則把S作為此時(shí)分裂屬性；

2)當(dāng)f_S＞w時(shí)，保留屬性，不再有子樹生成，則增加一個(gè)正例葉子結(jié)點(diǎn)。

三、所述步驟10，算法采用后剪枝技術(shù)的原理為：如果取消當(dāng)前測(cè)試屬性可以減少?zèng)Q策樹模型的測(cè)試代價(jià)，那么就剪除當(dāng)前測(cè)試結(jié)點(diǎn)，如代價(jià)復(fù)雜性剪枝和最少描述長(zhǎng)度剪枝，代價(jià)復(fù)雜性剪枝在剪枝過程中因子樹被葉節(jié)點(diǎn)替代而增加的錯(cuò)誤分類樣本總數(shù)稱為代價(jià)，剪枝后子樹減少的葉節(jié)點(diǎn)數(shù)稱為復(fù)雜性，最少描述長(zhǎng)度剪枝根據(jù)決策樹的編碼代價(jià)大小進(jìn)行剪枝，目標(biāo)是使得訓(xùn)練樣本的大多數(shù)數(shù)據(jù)符合這棵樹，把樣本中不符合的數(shù)據(jù)作為例外編碼，使得編碼決策樹所需的比特最小和編碼例外實(shí)例所需的比特最?。?/p>

后剪支目標(biāo)函數(shù)為：

f(S)＞β

其中正數(shù)β為用戶指定達(dá)到的條件，剪枝的條件首先要滿足盡可能使代價(jià)減損達(dá)到用戶指定條件，然后滿足測(cè)試代價(jià)降低到用戶要求。