本發(fā)明涉及自然語言處理，特別涉及一種文本分類方法、系統(tǒng)、設(shè)備和介質(zhì)。

背景技術(shù)：

1、文本分類是指根據(jù)文本內(nèi)容將其歸類到預(yù)定義的類別，其廣泛應(yīng)用于情感分析、新聞分類和垃圾郵件檢測等各種領(lǐng)域中。由于卷積神經(jīng)網(wǎng)絡(luò)在提取局部特征方面具有良好的泛化能力，因此被廣泛應(yīng)用于文本分類任務(wù)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層提取特征，再通過池化層進行特征降維，最后將降維后的特征傳入深度神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)和分類。但池化操作在處理復(fù)雜的文本信息時，不可避免地會丟失一部分上下文的關(guān)聯(lián)特征，難以保留長距離依賴的語義關(guān)聯(lián)，導(dǎo)致模型最終對復(fù)雜文本分類的準(zhǔn)確度較差，限制了模型在高精度文本分析任務(wù)中的應(yīng)用。因此，需要提供一種文本分類方法、系統(tǒng)、設(shè)備和介質(zhì)。

技術(shù)實現(xiàn)思路

1、鑒于以上所述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供一種文本分類方法、系統(tǒng)、設(shè)備和介質(zhì)，改善了現(xiàn)有技術(shù)進行復(fù)雜文本分類時準(zhǔn)確度不佳的問題。

2、為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種文本分類方法，包括：獲取待分類的目標(biāo)文本；將所述目標(biāo)文本輸入至文本分類模型的特征提取模塊組，生成文本特征；其中，特征提取模塊組包括多個級聯(lián)的特征提取模塊，每個特征提取模塊包括至少一個卷積層和一個特征聚合層，特征聚合層為池化層或多頭注意力層，且存在至少一個特征聚合層為并行注意力層；將最后一個特征提取模塊生成的文本特征輸入至文本分類模型的全連接層，得到所述目標(biāo)文本所屬的類別。

3、于本發(fā)明一實施例中，所述獲取待分類的目標(biāo)文本，包括：獲取初始的目標(biāo)文本；對初始的目標(biāo)文本進行數(shù)據(jù)清洗，得到最終的目標(biāo)文本。

4、于本發(fā)明一實施例中，所述將所述目標(biāo)文本輸入至文本分類模型的特征提取模塊組，生成文本特征，包括：對所述目標(biāo)文本進行分詞處理，得到多個文本詞匯，并將多個文本詞匯依序排列得到文本詞匯序列；對所述文本詞匯序列中的每一個文本詞匯分別進行詞嵌入處理，得到詞嵌入詞匯序列；將所述詞嵌入序列輸入至文本分類模型的特征提取模塊組，通過每一個特征提取模塊進行特征處理，最終生成文本特征。

5、于本發(fā)明一實施例中，特征聚合層為多頭注意力層時，特征聚合層為多頭注意力層時，所述通過每一個特征提取模塊進行特征處理，最終生成文本特征，包括：針對每一個特征提取模塊：將所述詞嵌入詞匯序列或中間文本特征輸入至對應(yīng)的特征提取模塊的卷積層進行特征提取，得到局部語義特征；將局部語義特征輸入至對應(yīng)的特征提取模塊的特征聚合層，基于多頭并行注意力機制，通過每一個注意力頭提取對應(yīng)的局部語義特征的深層特征，并將提取的各個深層特征加權(quán)融合，生成該特征提取模塊對應(yīng)的中間文本特征；將最后一個特征提取模塊生成的中間文本特征作為最終的文本特征。

6、于本發(fā)明一實施例中，針對每一個注意力頭，從局部語義特征中提取深層特征的過程包括：將所述局部語義特征分別和預(yù)設(shè)的鍵權(quán)重矩陣、值權(quán)重矩陣和查詢權(quán)重矩陣相乘，生成對應(yīng)的鍵矩陣、值矩陣和查詢矩陣；計算所述鍵矩陣和所述查詢矩陣之間的相似度，生成注意力權(quán)重矩陣；將所述注意力權(quán)重矩陣對所述值矩陣加權(quán)處理，得到加權(quán)特征矩陣；將所述局部語義特征和所述加權(quán)特征矩陣殘差連接，提取出所述局部語義特征的深層特征。

7、于本發(fā)明一實施例中，所述將所述局部語義特征分別和預(yù)設(shè)的鍵權(quán)重矩陣、值權(quán)重矩陣和查詢權(quán)重矩陣相乘，生成對應(yīng)的鍵矩陣、值矩陣和查詢矩陣，包括：將所述局部語義特征均勻劃分為預(yù)設(shè)數(shù)量個子語義特征；針對每一個子語義特征：將子語義特征分別與其預(yù)設(shè)的鍵權(quán)重矩陣、值權(quán)重矩陣和查詢權(quán)重矩陣相乘，生成對應(yīng)的鍵矩陣、值矩陣和查詢矩陣；將所有的子語義特征的鍵矩陣、值矩陣和查詢矩陣依據(jù)對應(yīng)的特征維度進行拼接，生成所述局部語義特征對應(yīng)的鍵矩陣、值矩陣和查詢矩陣。

8、于本發(fā)明一實施例中，所述注意力權(quán)重矩陣是基于稀疏注意力機制得到。

9、于本發(fā)明一實施例中，還提供了一種文本分類系統(tǒng)，所述系統(tǒng)包括：文本獲取模塊，用于獲取待分類的目標(biāo)文本；文本特征提取模塊，用于將所述目標(biāo)文本輸入至文本分類模型的特征提取模塊組，生成文本特征；其中，特征提取模塊組包括多個級聯(lián)的特征提取模塊，每個特征提取模塊包括至少一個卷積層和一個特征聚合層，特征聚合層為池化層或多頭注意力層，且存在至少一個特征聚合層為并行注意力層；文本分類模塊，用于將最后一個特征提取模塊生成的文本特征輸入至文本分類模型的全連接層，得到所述目標(biāo)文本所屬的類別。

10、于本發(fā)明一實施例中，還提供一種電子設(shè)備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行時，使得所述電子設(shè)備實現(xiàn)上述任一項所述的文本分類方法。

11、于本發(fā)明一實施例中，還提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，當(dāng)所述計算機程序被計算機的處理器執(zhí)行時，使計算機執(zhí)行上述任一項所述的文本分類方法。

12、如上所述，本發(fā)明的一種文本分類方法、系統(tǒng)、設(shè)備及介質(zhì)，具有以下有益效果：結(jié)合卷積層和不同類型的特征聚合層，有效提升了文本分類模型對文本特征的提取能力。其中，至少一個特征聚合層采用并行注意力機制，使得模型能夠從多個角度學(xué)習(xí)文本內(nèi)部的語義關(guān)系，增強對長距離依賴特征的建模能力。相比于傳統(tǒng)僅依賴池化操作的方式，本發(fā)明能夠保留更多上下文信息，避免關(guān)鍵特征因降維操作而丟失。此外，通過將最后一個特征提取模塊生成的深層文本特征輸入至全連接層，模型能夠更精準(zhǔn)地進行類別判別，從而提高分類的準(zhǔn)確率和魯棒性。本發(fā)明適用于多種文本分類任務(wù)，尤其在處理復(fù)雜文本或長文本時，能夠顯著提升模型的分類效果，同時還可兼顧計算效率和信息完整性。

技術(shù)特征：

1.一種文本分類方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的文本分類方法，其特征在于，所述獲取待分類的目標(biāo)文本，包括：

3.根據(jù)權(quán)利要求1所述的文本分類方法，其特征在于，所述將所述目標(biāo)文本輸入至文本分類模型的特征提取模塊組，生成文本特征，包括：

4.根據(jù)權(quán)利要求3所述的文本分類方法，其特征在于，特征聚合層為多頭注意力層時，所述通過每一個特征提取模塊進行特征處理，最終生成文本特征，包括：

5.根據(jù)權(quán)利要求4所述的文本分類方法，其特征在于，針對每一個注意力頭，從局部語義特征中提取深層特征的過程包括：

6.根據(jù)權(quán)利要求5所述的文本分類方法，其特征在于，所述將所述局部語義特征分別和預(yù)設(shè)的鍵權(quán)重矩陣、值權(quán)重矩陣和查詢權(quán)重矩陣相乘，生成對應(yīng)的鍵矩陣、值矩陣和查詢矩陣，包括：

7.根據(jù)權(quán)利要求5所述的文本分類方法，其特征在于，所述注意力權(quán)重矩陣是基于稀疏注意力機制得到。

8.一種文本分類系統(tǒng)，其特征在于，所述系統(tǒng)包括：

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

10.一種計算機可讀存儲介質(zhì)，其特征在于，其上存儲有計算機程序，當(dāng)所述計算機程序被計算機的處理器執(zhí)行時，使計算機執(zhí)行權(quán)利要求1至7中任一項所述文本分類方法。

技術(shù)總結(jié)
本發(fā)明涉及一種文本分類方法、系統(tǒng)、設(shè)備和介質(zhì)。方法包括：獲取待分類的目標(biāo)文本；將目標(biāo)文本輸入至文本分類模型的特征提取模塊組，生成文本特征；其中，特征提取模塊組包括多個級聯(lián)的特征提取模塊，每個特征提取模塊包括至少一個卷積層和一個特征聚合層，特征聚合層為池化層或多頭注意力層，且存在至少一個特征聚合層為并行注意力層；將文本特征輸入至文本分類模型的全連接層，得到目標(biāo)文本所屬的類別。本發(fā)明提升了文本分類的準(zhǔn)確度。

技術(shù)研發(fā)人員：曹雁彬
受保護的技術(shù)使用者：深圳依時貨拉拉科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15