本發(fā)明涉及精神障礙智能識別與干預(yù)，具體涉及面向精神障礙的多模態(tài)大模型識別與智能干預(yù)方法與系統(tǒng)。

背景技術(shù)：

1、精神障礙是一類廣泛且嚴(yán)重的心理疾病，涵蓋了抑郁癥、焦慮癥、雙相情感障礙、精神分裂癥等多種類型。目前，精神障礙的診斷和識別主要依賴于傳統(tǒng)的臨床方法，包括患者的自述癥狀、標(biāo)準(zhǔn)化心理量表以及臨床醫(yī)生的面談和觀察。雖然這些方法在某些情況下能夠提供有效的診斷依據(jù)，但也存在顯著的局限性?；颊咦允鐾ǔв休^強(qiáng)的主觀性，容易受到病情、認(rèn)知能力和社會文化背景等因素的影響，可能導(dǎo)致信息的不準(zhǔn)確。此外，臨床醫(yī)生的評估通常依賴于個人的經(jīng)驗和技巧，這使得診斷的準(zhǔn)確性和一致性存在偏差，尤其在癥狀復(fù)雜或不典型的情況下，誤診和漏診的風(fēng)險較高。

2、近年來，隨著人工智能和深度學(xué)習(xí)技術(shù)的飛速發(fā)展，研究逐漸向基于多模態(tài)數(shù)據(jù)的智能識別方法轉(zhuǎn)變，多模態(tài)數(shù)據(jù)整合了來自不同生理和行為信號源的信息，如腦電圖、皮膚電反應(yīng)、面部表情、語音以及文本數(shù)據(jù)等，這些信號能夠從多角度反映個體的生理和心理狀態(tài)。通過對這些多模態(tài)數(shù)據(jù)的融合，不僅能夠更全面地捕捉個體的精神狀態(tài)，還能夠提升精神障礙識別的準(zhǔn)確性，為早期篩查和干預(yù)提供更加精確的依據(jù)。

3、然而，多模態(tài)數(shù)據(jù)融合技術(shù)在精神障礙識別和非藥物干預(yù)中的應(yīng)用面臨諸多挑戰(zhàn)，主要體現(xiàn)在數(shù)據(jù)的異構(gòu)性、時序建模能力的不足、數(shù)據(jù)冗余與噪聲干擾、以及計算資源需求過高等方面。首先，不同模態(tài)數(shù)據(jù)如腦電圖、皮膚電反應(yīng)和面部表情等，存在著顯著的異構(gòu)性，包括信號的尺度、噪聲特性和采集方法的差異，使得這些數(shù)據(jù)的融合變得復(fù)雜且難以有效實現(xiàn)。其次，現(xiàn)有的時序建模方法對多模態(tài)數(shù)據(jù)的處理能力仍顯不足，精神障礙的識別通常需要精準(zhǔn)捕捉大腦及自主神經(jīng)系統(tǒng)的時序特征，而不同模態(tài)數(shù)據(jù)的時序特征往往難以對齊與統(tǒng)一建模。再者，由于數(shù)據(jù)中可能存在噪聲與冗余信息，如何在保證數(shù)據(jù)質(zhì)量的同時提取有效特征，確保融合結(jié)果的準(zhǔn)確性與可解釋性，成為了技術(shù)上的一大難題。最后，盡管多模態(tài)數(shù)據(jù)融合具有極大潛力，但現(xiàn)有方法對計算資源的需求較高，且實時性要求嚴(yán)格，這使得其在實際應(yīng)用中的效率和效果難以平衡。本發(fā)明提出的面向精神障礙的多模態(tài)大模型識別與智能干預(yù)方法與系統(tǒng)，不僅突破了現(xiàn)有技術(shù)的局限性，還為精神障礙的早期篩查、精準(zhǔn)診斷和個性化干預(yù)提供了創(chuàng)新的解決方案。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供面向精神障礙的多模態(tài)大模型識別與智能干預(yù)方法與系統(tǒng)，旨在通過融合腦電、心電、皮膚電、面部表情分析及文本數(shù)據(jù)多模態(tài)信號，結(jié)合大語言模型和跨模態(tài)注意力機(jī)制，實現(xiàn)精神障礙的精準(zhǔn)識別，并動態(tài)優(yōu)化個性化干預(yù)策略。

2、為實現(xiàn)上述目的，本發(fā)明提供了面向精神障礙的多模態(tài)大模型識別與智能干預(yù)系統(tǒng)，包括：

3、多模態(tài)數(shù)據(jù)采集模塊：通過多個傳感器同步采集腦電（eeg）、心電（ecg）、皮膚電（eda）以及表情等多模態(tài)生理數(shù)據(jù)；

4、數(shù)據(jù)預(yù)處理模塊：對采集到的多模態(tài)數(shù)據(jù)實施清洗和標(biāo)準(zhǔn)化處理；

5、特征提取模塊：從每種模態(tài)的數(shù)據(jù)中提煉出關(guān)鍵的時空特征，為后續(xù)分析做準(zhǔn)備；

6、跨模態(tài)特征融合模塊：利用跨模態(tài)時空注意力機(jī)制將不同模態(tài)的數(shù)據(jù)特征進(jìn)行融合，整合多源信息；

7、精神障礙識別模塊：運用基于大語言模型的識別框架和深度學(xué)習(xí)算法，對融合后的多模態(tài)數(shù)據(jù)進(jìn)行智能化處理和精神障礙分類；

8、個性化非藥物干預(yù)模塊：依據(jù)精神障礙識別結(jié)果，結(jié)合認(rèn)知行為療法理論，構(gòu)建對話-反饋-調(diào)整閉環(huán)機(jī)制，進(jìn)行個性化非藥物干預(yù)。

9、本發(fā)明還提供了面向精神障礙的多模態(tài)大模型識別與智能干預(yù)方法，包括以下步驟：

10、s1、多模態(tài)數(shù)據(jù)采集階段，系統(tǒng)通過多個傳感器同步采集腦電、心電、皮膚電以及表情多模態(tài)生理數(shù)據(jù)，每種模態(tài)的信號代表了個體在不同維度的生理和心理狀態(tài)，確保能夠全面反映受試者的狀態(tài)變化；

11、s2、數(shù)據(jù)預(yù)處理階段，對采集到的多模態(tài)數(shù)據(jù)進(jìn)行清洗和標(biāo)準(zhǔn)化處理，確保數(shù)據(jù)的可靠性和準(zhǔn)確性，為后續(xù)分析提供有效數(shù)據(jù)支持；

12、s3、特征提取階段，從每種模態(tài)的數(shù)據(jù)中提取關(guān)鍵的時空特征，通過這些特征，能夠精準(zhǔn)反映個體的生理和心理狀態(tài)；

13、s4、跨模態(tài)特征融合階段，通過跨模態(tài)時空注意力機(jī)制，將不同模態(tài)的數(shù)據(jù)特征進(jìn)行融合，這一階段采用深度學(xué)習(xí)方法優(yōu)化模態(tài)間的信息協(xié)同，結(jié)合時序建模能力，精確捕捉不同模態(tài)之間的語義關(guān)系，提升識別的精度與泛化能力；

14、s5、精神障礙識別階段，采用基于大語言模型（llm）的識別框架，對融合后的多模態(tài)數(shù)據(jù)進(jìn)行智能化處理，運用深度學(xué)習(xí)算法進(jìn)行精神障礙的分類，通過優(yōu)化模型中的相似性約束和協(xié)同損失函數(shù)，提高識別精度，確保識別結(jié)果的穩(wěn)定性和可靠性；

15、s6、個性化非藥物干預(yù)階段，基于精神障礙識別結(jié)果，結(jié)合認(rèn)知行為療法（cbt）理論，構(gòu)建對話-反饋-調(diào)整閉環(huán)機(jī)制；根據(jù)個體的生理反饋信號（如皮膚電反應(yīng)、心電變化等）實時調(diào)整干預(yù)策略，基于獎勵模型，根據(jù)反饋信號來評估當(dāng)前干預(yù)策略的效果，并通過結(jié)合近端策略優(yōu)化（ppo）算法，動態(tài)優(yōu)化干預(yù)過程，實現(xiàn)精準(zhǔn)個性化干預(yù)，提升患者的依從性和治療效果。

16、優(yōu)選的，步驟s1多模態(tài)數(shù)據(jù)采集階段包括：

17、s11、系統(tǒng)設(shè)計一個基于大語言模型的智能交互實驗，受試者通過與大語言模型進(jìn)行文本對話的方式參與實驗，系統(tǒng)可選擇單模態(tài)文本數(shù)據(jù)獲取或同步采集腦電、心電、皮膚電及面部表情多種生理信號，全面反映受試者在交互過程中生理和心理的變化，在實驗過程中，系統(tǒng)設(shè)計了不同情境和話題，刺激受試者的情緒波動，使得數(shù)據(jù)更具代表性和多樣性；

18、s12、情緒障礙患者人群的前額葉區(qū)域與正常人群的激活程度存在差異，且信噪比更高，運動偽跡更少。腦電信號通過多導(dǎo)聯(lián)腦電設(shè)備進(jìn)行采集，并配有參考電極，心電信號通過心電設(shè)備同步采集，記錄心臟電活動和心率變異性，皮膚電信號通過皮膚電設(shè)備實時監(jiān)測皮膚電導(dǎo)的變化，面部表情數(shù)據(jù)通過面部表情識別系統(tǒng)采集，將面部表情轉(zhuǎn)化為情感狀態(tài)的量化指標(biāo)，提供情緒反饋和情感狀態(tài)的實時評估，系統(tǒng)同步采集受試者與大語言模型互動過程中生成的文本數(shù)據(jù)，文本內(nèi)容反映了受試者的語言情感、認(rèn)知反應(yīng)及意圖；通過這些多模態(tài)信號的同步采集，系統(tǒng)能夠全面、精準(zhǔn)地捕捉受試者在情感和認(rèn)知上的多維變化，為后續(xù)的數(shù)據(jù)處理、特征提取以及干預(yù)策略的制定提供充分的基礎(chǔ)。

19、優(yōu)選的，步驟s2數(shù)據(jù)預(yù)處理階段包括腦電信號、心電信號、皮膚電信號、表情數(shù)據(jù)和文本數(shù)據(jù)的預(yù)處理；

20、腦電信號的預(yù)處理過程包含帶通濾波和偽跡去除，帶通濾波范圍為1hz-40hz，以去除直流漂移和高頻噪聲。偽跡去除過程中，首先對原始腦電信號進(jìn)行質(zhì)量檢查，剔除因身體運動、眨眼和眼球運動等引起的偽跡信號，隨后采用獨立成分分析（ica）方法進(jìn)一步去除殘留偽跡，確保信號的純凈度和可靠性；

21、心電信號預(yù)處理過程，首先使用高通濾波去除基線漂移，再通過低通濾波去除高頻噪聲，采用r波檢測算法進(jìn)行心搏周期分割，并對異常波形進(jìn)行剔除，以確保信號質(zhì)量；

22、皮膚電信號的預(yù)處理包括去噪、異常值剔除和歸一化，首先使用低通濾波去除高頻噪聲，然后計算皮膚電信號的變異系數(shù)（cv），識別并剔除異常通道和異常試次數(shù)據(jù)，最后進(jìn)行數(shù)據(jù)歸一化處理，以減少個體間的生理差異影響；

23、表情數(shù)據(jù)的預(yù)處理過程包括數(shù)據(jù)篩查與歸一化，數(shù)據(jù)篩查過程中，利用面部關(guān)鍵點跟蹤算法檢測異常幀并剔除，對表情數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，去除個體性差異，以確保不同個體的表情數(shù)據(jù)具有可比性；

24、文本數(shù)據(jù)的預(yù)處理包括分詞、去停用詞、文本清理和向量化，首先，針對不同語言采用適當(dāng)?shù)姆衷~算法（如中文采用jieba分詞，英文采用nltk?tokenizer）將文本分割為詞或子詞單元。隨后，去除停用詞、標(biāo)點符號及低頻詞，減少噪聲干擾。文本清理過程中，統(tǒng)一大小寫，刪除特殊字符，并進(jìn)行拼寫檢查。最后，采用詞向量（word2vec、glove）或深度語言模型（bert）進(jìn)行文本向量化，以獲取高維語義表示，為后續(xù)分析提供結(jié)構(gòu)化輸入。

25、優(yōu)選的，步驟s3所述特征提取階段分為腦電信號、心電信號、皮膚電信號、表情數(shù)據(jù)和文本數(shù)據(jù)的特征提??；

26、腦電信號特征提取包含如下步驟：

27、線性特征:提取均方根和余隙因子，具體計算方式如下：

28、；

29、其中，表示余隙因子，表示均方根值，表示一組數(shù)據(jù){}中絕對值的最大值；

30、非線性特征:提取c0復(fù)雜度和lempel-ziv復(fù)雜度（lzc）；c0復(fù)雜度用于衡量時間序列的不規(guī)則程度，計算過程涉及功率譜分析與傅里葉逆變換。lzc復(fù)雜度用于評估時間序列的隨機(jī)性，數(shù)值越高，表明信號越接近隨機(jī)過程，頻率成分更加多樣化。

31、心電信號特征提取包含心率變異性（hrv）特征：

32、計算時域特征，衡量心率變化趨勢：

33、；

34、其中，表示全部正常竇性心搏間期的標(biāo)準(zhǔn)差， n表示記錄的 rr間期的總數(shù)，表示第個 rr間期，表示所有 rr間期的平均值；

35、計算頻域特征，評估交感和副交感神經(jīng)系統(tǒng)的活動。

36、所述皮膚電信號特征提取包含：提取皮膚電信號的基線電導(dǎo)水平（scl）、皮膚電反應(yīng)幅度（scr振幅）、皮膚電反應(yīng)頻率（scr頻率）等，反映個體的自主神經(jīng)系統(tǒng)激活程度。

37、表情特征提取包含：采用光流法提取面部表情變化的關(guān)鍵運動信息，包括面部肌肉位移矢量、嘴角運動幅度、眼瞼開合度等，表征個體的情緒表達(dá)模式。

38、文本特征提取包含：詞匯特征、句法特征、語義特征和情感特征等多個方面的提取。

39、優(yōu)選的，步驟s4所述跨模態(tài)特征融合階段采用跨模態(tài)時空注意力機(jī)制（cross-modal?spatio-temporal?attention?mechanism,?cstam），并結(jié)合深度學(xué)習(xí)方法來優(yōu)化模態(tài)間的信息協(xié)同，具體包括：

40、s41、動態(tài)時間窗口選擇與時序編碼：首先采用基于局部窗口的自適應(yīng)動態(tài)時間窗口選擇方法，根據(jù)每個模態(tài)數(shù)據(jù)的采樣率與變化速率動態(tài)調(diào)整窗口大小，將各模態(tài)數(shù)據(jù)對齊至相近的時間尺度，接著使用基于transformer的時序編碼模型，利用位置編碼和時序信息學(xué)習(xí)多模態(tài)數(shù)據(jù)的全局時序依賴，生成統(tǒng)一的特征表示，用于后續(xù)的模態(tài)融合；

41、s42、交叉模態(tài)注意力對齊：引入了交叉模態(tài)注意力機(jī)制，通過計算不同模態(tài)數(shù)據(jù)之間的相關(guān)性矩陣來構(gòu)建模態(tài)間的對齊關(guān)系，設(shè)模態(tài)和模態(tài)之間的注意力權(quán)重為：

42、

43、其中，和分別是模態(tài)和的查詢與鍵表示，為特征維度，用于計算加權(quán)值；

44、s43、多模態(tài)特征協(xié)同學(xué)習(xí)：通過深度特征空間中的相似性約束進(jìn)行多模態(tài)特征的協(xié)同學(xué)習(xí)，為了確保模態(tài)間信息的一致性，使用協(xié)同損失函數(shù)實現(xiàn)多模態(tài)數(shù)據(jù)的協(xié)同學(xué)習(xí)：

45、；

46、其中，時表示兩個模態(tài)來自同一樣本，為相似性閾值，表示模態(tài)間的距離度量，表示第個樣本的坐標(biāo)損失值。

47、優(yōu)選的，步驟s5基于融合后的多模態(tài)特征進(jìn)行識別分析，具體包括：

48、s51、采用k折交叉驗證法對基于對齊多模態(tài)特征的精神障礙識別模型進(jìn)行訓(xùn)練和參數(shù)優(yōu)化，具體為：將融合后的多模態(tài)特征數(shù)據(jù)及對應(yīng)的標(biāo)簽隨機(jī)劃分為k等份，輪流使用其中k-1份作為訓(xùn)練集，其余1份作為測試集，依次訓(xùn)練并驗證模型表現(xiàn)，在模型構(gòu)建過程中，使用全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，網(wǎng)絡(luò)通過全連接層對多模態(tài)特征進(jìn)行處理，并進(jìn)行最終預(yù)測；

49、s52、使用優(yōu)化后的多模態(tài)精神障礙識別模型對測試集中的對齊特征數(shù)據(jù)進(jìn)行預(yù)測。

50、優(yōu)選的，步驟s6基于精神障礙識別結(jié)果，結(jié)合認(rèn)知行為療法理論，構(gòu)建對話-反饋-調(diào)整機(jī)制，通過實時采集個體的生理反饋信號，結(jié)合個體的情緒波動和認(rèn)知狀態(tài)，動態(tài)調(diào)整干預(yù)策略，具體為：

51、實時監(jiān)測多模態(tài)數(shù)據(jù)，獲取反饋信號以調(diào)整干預(yù)策略，采用獎勵模型來評估當(dāng)前干預(yù)策略的效果，模型獎勵函數(shù)如下：

52、；

53、其中，、、和分別代表在時刻上皮膚電、心電、腦電、表情的反饋值，、、和是預(yù)設(shè)的權(quán)重系數(shù)；

54、采用近端策略優(yōu)化算法動態(tài)優(yōu)化干預(yù)策略的調(diào)整，設(shè)定策略，通過最大化以下目標(biāo)函數(shù)來調(diào)整策略參數(shù)：

55、；

56、其中，表示對時間步的期望；是策略的概率比值，是優(yōu)勢估計，是超參數(shù)，用于限制策略更新的幅度，通過這個優(yōu)化過程，干預(yù)策略根據(jù)實時的生理反饋動態(tài)調(diào)整，從而實現(xiàn)精細(xì)的個性化干預(yù)。

57、因此，本發(fā)明采用上述面向精神障礙的多模態(tài)大模型識別與智能干預(yù)方法與系統(tǒng)，具備以下有益效果：

58、（1）提出一種跨模態(tài)時空注意力機(jī)制和動態(tài)時間窗自適應(yīng)選擇技術(shù)，能夠高效提取腦電、皮膚電、心電、表情等多模態(tài)數(shù)據(jù)中的核心特征，并精準(zhǔn)建模個體的時序特征，從而優(yōu)化精神障礙的識別精度與泛化能力；

59、（2）引入深度特征空間的相似性約束，優(yōu)化了多模態(tài)數(shù)據(jù)的協(xié)同損失，進(jìn)一步提升了不同模態(tài)信息的融合效果，使得識別過程更加精準(zhǔn)和穩(wěn)定；

60、（3）在非藥物干預(yù)方面，通過構(gòu)建“對話-反饋-調(diào)整”閉環(huán)機(jī)制，結(jié)合認(rèn)知行為療法（cbt）理論，通過個體生理反饋信號動態(tài)調(diào)整干預(yù)策略，實現(xiàn)精準(zhǔn)的個性化干預(yù)；通過近端策略優(yōu)化（ppo）算法，能夠自適應(yīng)調(diào)整干預(yù)過程，提高干預(yù)方式的靈活性與效率，進(jìn)一步提升患者的依從性和治療效果；

61、（4）基于生理反饋的獎勵模型優(yōu)化了大語言模型的干預(yù)策略，使得干預(yù)過程更加智能化、個性化。

62、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。