本發(fā)明涉及人機(jī)交互，更具體的說是涉及一種用于腦電-語音-文本三模態(tài)對齊方法及設(shè)備。

背景技術(shù)：

1、在人工智能與神經(jīng)科學(xué)日益交融的今天，多模態(tài)數(shù)據(jù)分析已成為研究領(lǐng)域的熱點話題。腦電信號(eeg)、文本信息和語音信息作為三種關(guān)鍵模態(tài)，各自蘊含著豐富的生理、語義和情感信息，對于情感識別、認(rèn)知科學(xué)研究、人機(jī)交互等領(lǐng)域具有重要意義。然而，這些模態(tài)在時間、空間和語義層面上的不同步和不對齊，為數(shù)據(jù)融合帶來了巨大挑戰(zhàn)。

2、腦電信號作為大腦活動的直接反映，具有高度的生理基礎(chǔ)和時間分辨率，但其易受噪聲干擾的特性給數(shù)據(jù)處理帶來了困難。文本信息則提供了直接的語義描述，是理解人類思維和情感的重要窗口，然而其獲取往往依賴于主觀輸入，存在主觀性和滯后性。語音信息則包含了語調(diào)、語速、音色等豐富的情感信息，是情感表達(dá)的重要手段，但同樣易受環(huán)境噪聲影響，且時間分辨率相對較低。

3、為了實現(xiàn)三模態(tài)數(shù)據(jù)的有效融合，精確對齊是關(guān)鍵。對齊方法需要能夠處理不同模態(tài)數(shù)據(jù)在時間、空間和語義層面上的不同步和不對齊問題。時間對齊要求不同模態(tài)數(shù)據(jù)在時間上保持一致，這對于實時情感識別和認(rèn)知科學(xué)研究至關(guān)重要。空間對齊則是確保不同模態(tài)數(shù)據(jù)在空間位置上正確對應(yīng)的基礎(chǔ)，對于圖像和語音處理等任務(wù)具有重要意義。語義對齊則是將不同模態(tài)的數(shù)據(jù)在語義層面上進(jìn)行匹配，這通常需要深入理解數(shù)據(jù)的含義和上下文，對于自然語言處理和情感識別等任務(wù)尤為關(guān)鍵。

4、然而，現(xiàn)有技術(shù)在處理腦電信號、文本信息和語音信息三模態(tài)對齊時仍存在局限性。一些方法可能僅適用于特定類型的多模態(tài)數(shù)據(jù)，對于腦電信號這種高時間分辨率、易受噪聲干擾的數(shù)據(jù)效果不佳。另一些方法則可能計算復(fù)雜度高，難以在實際應(yīng)用中實現(xiàn)實時對齊。

5、因此，提供一種高效、準(zhǔn)確的用于腦電-語音-文本三模態(tài)對齊方法及設(shè)備是本領(lǐng)域技術(shù)人員亟需解決的問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種用于腦電-語音-文本三模態(tài)對齊方法及設(shè)備，通過深度學(xué)習(xí)算法和特征匹配技術(shù)精確提取并對齊三模態(tài)數(shù)據(jù)的全局和局部特征，利用相似度函數(shù)優(yōu)化全局對齊特征，增強了腦電-語音-文本三模態(tài)一致性。

2、為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、一種用于腦電-語音-文本三模態(tài)對齊方法，包括：

4、分別獲取測試者的三模態(tài)數(shù)據(jù)；所述三模態(tài)數(shù)據(jù)包括腦電信號、語音信號和文本信息；

5、分別對采集到的三模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；

6、基于預(yù)處理后的腦電信號、語音信號和文本信息分別利用深度學(xué)習(xí)算法，提取全局特征和局部特征；

7、利用特征匹配算法分別對所述全局特征和局部特征進(jìn)行對齊，得到全局對齊特征和局部對齊特征；

8、利用相似度函數(shù)計算所述全局對齊特征和所述局部對齊特征的相似度，基于所述相似度對所述全局對齊特征進(jìn)行優(yōu)化，得到最終的三模態(tài)對齊數(shù)據(jù)。

9、優(yōu)選的，分別對采集到的三模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，包括：

10、對腦電信號的預(yù)處理包括：對采集的腦電信號進(jìn)行濾波處理，得到濾波腦電信號；對濾波腦電信號進(jìn)行去除生物體電信號干擾的降噪處理，得到降噪后的腦電信號；

11、對語音信號的預(yù)處理包括：

12、獲取采集的語音信號的第一頻譜；

13、將預(yù)設(shè)噪聲譜作為所述第一頻譜的第一噪聲譜，基于所述第一噪聲譜，對所述第一頻譜進(jìn)行濾波處理，得到第二頻譜；

14、確定所述第二頻譜中是否存在語音信息；若所述第二頻譜中不存在語音信息，則舍棄所述語音信號；若所述第二頻譜中存在語音信號，則對所述第二頻譜進(jìn)行分離處理，得到有效的語音信號；

15、對文本的預(yù)處理包括：

16、對所述文本信息進(jìn)行去噪處理得到去噪文本，所述去噪處理包括格式標(biāo)準(zhǔn)化、去除特殊符號及標(biāo)點符號；

17、根據(jù)預(yù)置維度對去噪文本進(jìn)行多維度向量化，得到向量化文本；

18、獲取所述向量化文本中符合預(yù)置狀態(tài)轉(zhuǎn)移規(guī)則的文字信息；

19、利用動態(tài)規(guī)劃算法計算所述文字信息，并確定符合預(yù)設(shè)格式的最優(yōu)文字信息，輸出所述最優(yōu)文字信息為所述文本信息的預(yù)處理結(jié)果。

20、優(yōu)選的，基于預(yù)處理后的腦電信號、語音信號和文本信息分別利用深度學(xué)習(xí)算法，提取所述三模態(tài)數(shù)據(jù)的全局特征和局部特征，包括：

21、使用resnet50中的conv1-conv4分別提取預(yù)處理后的腦電信號、語音信號和文本信息的局部特征；

22、對所述局部特征分別進(jìn)行局部編碼，得到局部編碼信號；

23、將所述局部編碼信號輸入訓(xùn)練好的多層感知器特征提取模型進(jìn)行特征提取，得到全局特征；所述多層感知器特征提取模型包括至少一個多層感知器模塊，所述多層感知器模塊包括：全局通道相關(guān)性特征提取層和全局時序特征提取層，通過所述全局通道相關(guān)性特征提取層提取所述腦電局部編碼信號的全局通道相關(guān)性特征；通過所述全局時序特征提取層提取所述全局通道相關(guān)性特征的全局時序特征，得到全局特征。

24、優(yōu)選的，利用特征匹配算法分別對所述全局特征和局部特征進(jìn)行對齊，得到全局對齊特征和局部對齊特征，包括：

25、所述全局特征和局部特征分別輸入至支持在線學(xué)習(xí)的混合注意力機(jī)制，對腦電信號、語音信號、文本信息的全局特征和局部特征分別進(jìn)行線性轉(zhuǎn)換生成對應(yīng)的鍵、值、查詢對，使用點積注意力機(jī)制提取多模態(tài)信號間的關(guān)聯(lián)信息，使用殘差算子融合單一模態(tài)特征與多模態(tài)關(guān)聯(lián)信息，以得到全局對齊特征和局部對齊特征。

26、優(yōu)選的，利用相似度函數(shù)計算所述全局對齊特征和所述局部對齊特征的相似度，基于所述相似度對所述全局對齊特征進(jìn)行優(yōu)化，得到最終的三模態(tài)對齊數(shù)據(jù)，包括：

27、計算全局對齊特征關(guān)于每個局部對齊特征的相似度，所述相似度計算公式為：

28、si＝αiv

29、其中，αi為全局對齊特征關(guān)于第i個局部對齊特征的注意力系數(shù)，v是全局對齊特征表示；

30、基于所述相似度確定全局對齊特征與局部特征之間相似度低于閾值的區(qū)域；

31、對于全局對齊特征與局部特征之間相似度低于閾值的區(qū)域，將全局對齊特征與局部對齊特征進(jìn)行加權(quán)融合，形成優(yōu)化后的全局對齊特征。

32、另一方面，本發(fā)明提供了一種用于腦電-語音-文本三模態(tài)對齊設(shè)備，包括：

33、數(shù)據(jù)采集設(shè)備，用于分別獲取測試者的三模態(tài)數(shù)據(jù)；所述三模態(tài)數(shù)據(jù)包括腦電信號、語音信號和文本信息；

34、預(yù)處理模塊，用于分別對采集到的三模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；

35、特征提取模塊，用于基于預(yù)處理后的腦電信號、語音信號和文本信息分別利用深度學(xué)習(xí)算法，提取所述三模態(tài)數(shù)據(jù)的全局特征和局部特征；

36、對齊模塊，用于利用特征匹配算法分別對所述全局特征和局部特征進(jìn)行對齊，得到全局對齊特征和局部對齊特征；

37、優(yōu)化模塊，用于利用相似度函數(shù)計算所述全局對齊特征和所述局部對齊特征的相似度，基于所述相似度對所述全局對齊特征進(jìn)行優(yōu)化，得到最終的三模態(tài)對齊數(shù)據(jù)。

38、優(yōu)選的，所述預(yù)處理模塊包括：

39、腦電信號預(yù)處理單元，用于對采集的腦電信號進(jìn)行濾波處理，得到濾波腦電信號；對濾波腦電信號進(jìn)行去除生物體電信號干擾的降噪處理，得到降噪后的腦電信號；

40、語音信號預(yù)處理單元，用于獲取采集的語音信號的第一頻譜；將預(yù)設(shè)噪聲譜作為所述第一頻譜的第一噪聲譜，基于所述第一噪聲譜，對所述第一頻譜進(jìn)行濾波處理，得到第二頻譜；確定所述第二頻譜中是否存在語音信息；若所述第二頻譜中不存在語音信息，則舍棄所述語音信號；若所述第二頻譜中存在語音信號，則對所述第二頻譜進(jìn)行分離處理，得到有效的語音信號；

41、文本預(yù)處理單元，用于對所述文本信息進(jìn)行去噪處理得到去噪文本，所述去噪處理包括格式標(biāo)準(zhǔn)化、去除特殊符號及標(biāo)點符號；根據(jù)預(yù)置維度對去噪文本進(jìn)行多維度向量化，得到向量化文本；獲取所述向量化文本中符合預(yù)置狀態(tài)轉(zhuǎn)移規(guī)則的文字信息；利用動態(tài)規(guī)劃算法計算所述文字信息，并確定符合預(yù)設(shè)格式的最優(yōu)文字信息，輸出所述最優(yōu)文字信息為所述文本信息的預(yù)處理結(jié)果。

42、優(yōu)選的，所述特征提取模塊包括：

43、局部特征提取單元，使用resnet50中的conv1-conv4分別提取預(yù)處理后的腦電信號、語音信號和文本信息的局部特征；

44、局部編碼單元，用于對所述局部特征分別進(jìn)行局部編碼，得到局部編碼信號；

45、全局特征提取單元，用于將所述局部編碼信號輸入訓(xùn)練好的多層感知器特征提取模型進(jìn)行特征提取，得到全局特征；所述多層感知器特征提取模型包括至少一個多層感知器模塊，所述多層感知器模塊包括：全局通道相關(guān)性特征提取層和全局時序特征提取層，通過所述全局通道相關(guān)性特征提取層提取所述腦電局部編碼信號的全局通道相關(guān)性特征；通過所述全局時序特征提取層提取所述全局通道相關(guān)性特征的全局時序特征，得到全局特征。

46、優(yōu)選的，所述特征對齊模塊被配置為：

47、所述全局特征和局部特征分別輸入至支持在線學(xué)習(xí)的混合注意力機(jī)制，對腦電信號、語音信號、文本信息的全局特征和局部特征分別進(jìn)行線性轉(zhuǎn)換生成對應(yīng)的鍵、值、查詢對，使用點積注意力機(jī)制提取多模態(tài)信號間的關(guān)聯(lián)信息，使用殘差算子融合單一模態(tài)特征與多模態(tài)關(guān)聯(lián)信息，以得到全局對齊特征和局部對齊特征。

48、優(yōu)選的，所述優(yōu)化模塊被配置為：

49、計算全局對齊特征關(guān)于每個局部對齊特征的相似度，所述相似度計算公式為：

50、si＝αiv

51、其中，αi為全局對齊特征關(guān)于第i個局部對齊特征的注意力系數(shù)，v是全局對齊特征表示；

52、基于所述相似度確定全局對齊特征與局部特征之間相似度低于閾值的區(qū)域；

53、對于全局對齊特征與局部特征之間相似度低于閾值的區(qū)域，將全局對齊特征與局部對齊特征進(jìn)行加權(quán)融合，形成優(yōu)化后的全局對齊特征。

54、經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明公開提供了一種用于腦電-語音-文本三模態(tài)對齊方法及設(shè)備，首先，本發(fā)明通過深度學(xué)習(xí)算法和特征匹配技術(shù)，能夠精確提取并對齊三模態(tài)數(shù)據(jù)的全局和局部特征，有效提高了數(shù)據(jù)對齊的精確性和一致性。這種精確的對齊為后續(xù)的數(shù)據(jù)分析和處理提供了堅實的基礎(chǔ)，為相關(guān)領(lǐng)域的研究提供了可靠的數(shù)據(jù)支持。其次，本發(fā)明提供了一套完整且高效的預(yù)處理流程，包括濾波、降噪、去噪、向量化等步驟，確保了輸入數(shù)據(jù)的準(zhǔn)確性和可靠性。這有助于減少數(shù)據(jù)噪聲和干擾，提高數(shù)據(jù)質(zhì)量，為后續(xù)的對齊和分析工作提供了有力的保障。