本發(fā)明涉及智能審核領(lǐng)域，具體是指基于情感分析的短視頻內(nèi)容審核系統(tǒng)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，短視頻平臺迅速崛起，短視頻為用戶提供了便捷的信息獲取和娛樂方式。然而，短視頻平臺的開放性和自由性也帶來了內(nèi)容審核的巨大挑戰(zhàn)。傳統(tǒng)的基于關(guān)鍵詞過濾的方法在應(yīng)對復(fù)雜、多樣的違規(guī)內(nèi)容時，往往難以實現(xiàn)有效識別。傳統(tǒng)的內(nèi)容審核方法主要依賴于基于關(guān)鍵詞過濾和單一模態(tài)特征提取的技術(shù)，這些方法難以滿足對復(fù)雜、多樣化違規(guī)內(nèi)容進行有效識別的需求，存在提取不充分、忽略文本與目標詞的關(guān)聯(lián)、模態(tài)間交互不充分等問題；現(xiàn)有的視覺-文本情感分析方法由于對不同模態(tài)之間相關(guān)性的利用有限，即忽略了不同模態(tài)之間的異質(zhì)性和同質(zhì)性，通常性能較差，這些都嚴重影響了情感分析的準確性和可靠性。

技術(shù)實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了基于情感分析的短視頻內(nèi)容審核系統(tǒng)，針對傳統(tǒng)的內(nèi)容審核方法主要依賴于基于關(guān)鍵詞過濾和單一模態(tài)特征提取的技術(shù)，這些方法難以滿足對復(fù)雜、多樣化違規(guī)內(nèi)容進行有效識別的需求，存在提取不充分、忽略文本與目標詞的關(guān)聯(lián)、模態(tài)間交互不充分等問題，本方案采用自我注意的機制和圖卷積網(wǎng)絡(luò)(graph?convolutional?network,gcn)充分實現(xiàn)了方面詞和文本之間的相互作用，以增強情感分類的精確度；針對現(xiàn)有的視覺-文本情感分析方法由于對不同模態(tài)之間相關(guān)性的利用有限，忽略了不同模態(tài)之間的異質(zhì)性和同質(zhì)性的問題，本方案構(gòu)建了一個包括文本、圖像和音頻特征的圖結(jié)構(gòu)，通過將這些特征進行特征對齊和拼接融合，確保了不同模態(tài)之間的信息能夠充分交互和互補，在保留各模態(tài)獨特性的同時，最大化地挖掘了模態(tài)間的共性信息，從而實現(xiàn)了更高效的情感分析。

2、本發(fā)明提供的基于情感分析的短視頻內(nèi)容審核系統(tǒng)，系統(tǒng)包括數(shù)據(jù)采集處理模塊、文本分析模塊、圖像內(nèi)容分析模塊、音頻分析模塊、綜合決策模塊和用戶反饋調(diào)整模塊；

3、所述數(shù)據(jù)采集處理模塊采集網(wǎng)絡(luò)上和社交平臺中公開的短視頻數(shù)據(jù)，并對短視頻數(shù)據(jù)進行格式轉(zhuǎn)換、剪輯和人工標注的初步處理操作，得到訓(xùn)練集數(shù)據(jù)；

4、所述文本分析模塊獲取訓(xùn)練集數(shù)據(jù)中的文本數(shù)據(jù)，包括視頻字幕、標題、描述以及評論中的文字內(nèi)容，并對文本數(shù)據(jù)的特征進行提取分析，得到文本特征；

5、所述圖像內(nèi)容分析模塊提取訓(xùn)練集數(shù)據(jù)中圖像和視頻數(shù)據(jù)的特征，識別圖像和視頻數(shù)據(jù)中的對象、場景以及行為，判斷是否存在違規(guī)內(nèi)容，得到視頻圖像特征；

6、所述音頻分析模塊采用自動語音技術(shù)識別將視頻中的語音和音樂轉(zhuǎn)化為音頻文本數(shù)據(jù)，使用文本分析模塊的方法對音頻文本數(shù)據(jù)進行特征提取，得到音頻特征；

7、所述綜合決策模塊整合文本特征、視頻圖像特征、音頻特征的信息，并進行綜合分析，得到情感分數(shù)，做出最終的審核決定，并將最終的審核決定反饋給管理員；

8、所述用戶反饋調(diào)整模塊管理員根據(jù)最終的審核決定采取相應(yīng)的措施，并將最終的審核決定反饋給用戶，并提供一個供用戶提交申訴和反饋的平臺，幫助改進系統(tǒng)的準確性和用戶體驗。

9、進一步的，所述文本分析模塊對文本數(shù)據(jù)的特征進行提取分析，具體包括以下步驟：

10、步驟s1：全局文本特征捕獲，使用分類令牌和分隔令牌將文本數(shù)據(jù)中的文本和方面詞轉(zhuǎn)換為分類令牌-文本-分隔令牌和令牌-方面詞-分隔令牌的形式，使用albert模型進行編碼，通過平均池化操作和自注意力機制生成全局視圖特征，所述方面詞是指在情感分析任務(wù)中，特定用于描述一個對象和實體的不同屬性、特性和方面的詞語，所用公式如下：

11、；

12、；

13、式中，表示文本特征，表示第個上下文文本特征，表示方面詞在文本中的起始位置索引，為計數(shù)變量，表示方面詞的文本長度，表示方面詞特征，表示自注意力機制，為全局視圖特征；

14、步驟s2：局部特征捕獲，利用albert模型從文本中提取語義信息，捕捉方面詞在文本中的上下文關(guān)系，得到包含上下文關(guān)系的詞嵌入矩陣；

15、步驟s3：位置嵌入與距離特征，定義句法距離，計算文本中詞語之間的句法距離，調(diào)整詞語的重要性，所用公式如下：

16、；

17、；

18、式中，表示句法距離特征，為定義的句法距離，表示最大可能的句法距離，表示基于位置的權(quán)重調(diào)整系數(shù)，表示文本中每個單詞的特征，為位置感知變換函數(shù)；

19、步驟s4：使用gcn捕獲句法關(guān)系，使用gcn來捕捉文本中單詞間的句法關(guān)系，并更新gcn不同層的單詞特征，所用公式如下：

20、；

21、式中，表示對稱歸一化的單詞的鄰接矩陣，表示前一層gcn的輸出結(jié)果，和表示gcn層的權(quán)重矩陣和偏置項，為函數(shù)，表示經(jīng)過gcn更新后的單詞的特征；

22、步驟s5：深層語義特征提取，在gcn層后添加注意力層，使用詞嵌入矩陣提取方面詞交互信息的局部特征，得到局部交互特征，所用公式如下：

23、；

24、式中，和分別表示多頭自注意力機制中的查詢、鍵和值矩陣，表示局部交互特征；

25、步驟s6：將文本的全局視圖特征和局部交互特征拼接，形成最終的文本特征。

26、進一步的，所述圖像內(nèi)容分析模塊提取訓(xùn)練集數(shù)據(jù)中圖像和視頻數(shù)據(jù)的特征，具體包括以下步驟：

27、步驟a1：初始化，將視頻數(shù)據(jù)分幀成圖像，把分幀后的圖像進行分塊，分成p個圖像塊；

28、步驟a2：初始圖像嵌入，使用預(yù)訓(xùn)練的vit模型對每個圖像塊進行嵌入操作，獲取初始圖像嵌入；

29、步驟a3：主要和次要嵌入，隨機選擇一個圖像塊的主要嵌入和其他塊的次要嵌入，主要嵌入通過兩個線性層獲得key和value特征，次要嵌入通過線性層連接獲得query特征；

30、步驟a4：交叉注意力計算，使用softmax函數(shù)激活key和query特征獲得交叉注意力分數(shù)和value特征；

31、步驟a5：特征輸出，根據(jù)交叉注意力分數(shù)和key、value和query特征獲取并輸出視頻圖像特征。

32、進一步的，所述綜合決策模塊整合文本特征、視頻圖像特征、音頻特征的信息，并進行綜合分析，具體包括以下步驟：

33、步驟b1：圖結(jié)構(gòu)構(gòu)建，使用文本特征、視頻圖像特征、音頻特征構(gòu)造一個關(guān)系圖g；

34、步驟b2：多模態(tài)特征對齊，基于掩碼圖自注意力結(jié)構(gòu)的網(wǎng)絡(luò)，根據(jù)關(guān)系圖g將文本特征、視頻圖像特征、音頻特征進行特征對齊和特征融合，并應(yīng)用最大池化和平均池化操作，得到融合后的特征；

35、步驟b3：多模態(tài)隱藏特征，使用多層感知機對融合后的特征進行編碼，獲取多模態(tài)最終編碼，并通過計算其與每個情感方面的余弦相似度來獲得預(yù)測的情感分數(shù)；

36、步驟b4：損失函數(shù)計算，使用交叉熵損失函數(shù)計算預(yù)測的情感分數(shù)與實際的情感分數(shù)之間的差異，并通過反向傳播更新整個網(wǎng)絡(luò)的參數(shù)。

37、采用上述方案本發(fā)明取得的有益效果如下：

38、（1）針對傳統(tǒng)的基于關(guān)鍵詞過濾和單一模態(tài)特征提取的方法難以滿足對復(fù)雜、多樣化違規(guī)內(nèi)容進行有效識別的需求，存在提取不充分、忽略文本與目標詞的關(guān)聯(lián)、模態(tài)間交互不充分等問題，本方案采用自我注意的機制和圖卷積網(wǎng)絡(luò)充分實現(xiàn)了方面詞和文本之間的相互作用，自我注意機制能夠動態(tài)地調(diào)整文本中不同詞匯的重要性，使模型更加關(guān)注與目標詞相關(guān)的部分，從而增強對文本情感傾向的捕捉能力；圖卷積網(wǎng)絡(luò)則進一步捕捉文本中的上下文關(guān)系和局部特征，為情感分類提供更豐富的信息。通過這兩種技術(shù)的結(jié)合，本方案充分實現(xiàn)了方面詞與文本之間的相互作用，顯著提升了情感分類的精確度；

39、（2）針對現(xiàn)有的視覺-文本情感分析方法由于對不同模態(tài)之間相關(guān)性的利用有限，忽略了不同模態(tài)之間的異質(zhì)性和同質(zhì)性的問題，本方案構(gòu)建了一個包括文本、圖像和音頻特征的圖結(jié)構(gòu)，通過將這些特征進行特征對齊和拼接融合操作，確保了不同模態(tài)之間的信息能夠充分交互和互補，在保留各模態(tài)獨特性的同時，最大化地挖掘了模態(tài)間的共性信息，從而實現(xiàn)了更高效的情感分析。