本發(fā)明屬于聽覺康復(fù)訓(xùn)練，具體為基于虛擬現(xiàn)實(shí)的聽覺障礙患者康復(fù)訓(xùn)練系統(tǒng)。

背景技術(shù)：

1、基于虛擬現(xiàn)實(shí)的聽覺障礙患者康復(fù)訓(xùn)練系統(tǒng)是一種利用虛擬現(xiàn)實(shí)（vr）技術(shù)，結(jié)合多模態(tài)數(shù)據(jù)融合和人工智能算法，幫助聽覺障礙患者重建聽覺感知能力、提升語(yǔ)音理解能力并增強(qiáng)環(huán)境適應(yīng)能力的智能化康復(fù)工具，該系統(tǒng)通過(guò)構(gòu)建沉浸式的虛擬場(chǎng)景，將聲音信號(hào)轉(zhuǎn)化為可視化光波和觸覺振動(dòng)，幫助患者通過(guò)視覺和觸覺感知聲音信息，幫助患者在復(fù)雜環(huán)境中更好地理解和交流。其作用在于通過(guò)高精度、個(gè)性化的康復(fù)訓(xùn)練，提升患者的聽覺感知能力、語(yǔ)言理解能力和社交適應(yīng)能力，最終改善其生活質(zhì)量。

2、但是，在已有的聽力障礙患者康復(fù)訓(xùn)練系統(tǒng)中，存在著現(xiàn)有系統(tǒng)無(wú)法有效整合多感官數(shù)據(jù)，在康復(fù)過(guò)程中，容易導(dǎo)致患者無(wú)法通過(guò)替代感官進(jìn)而充分感知聲音信息，同時(shí)，數(shù)據(jù)融合的精度和實(shí)時(shí)性不足，無(wú)法為患者提供沉浸式的康復(fù)訓(xùn)練體驗(yàn)，難以有效結(jié)合虛擬現(xiàn)實(shí)技術(shù)進(jìn)行集成應(yīng)用的技術(shù)問(wèn)題；在已有的聽覺感知重建過(guò)程中，存在著現(xiàn)有系統(tǒng)在基礎(chǔ)聽覺感知重建方面缺乏個(gè)性化適配能力，無(wú)法根據(jù)患者的聽力損失程度和康復(fù)進(jìn)展動(dòng)態(tài)調(diào)整訓(xùn)練內(nèi)容，同時(shí)，聲音特征的提取和映射的精度也不足，導(dǎo)致患者對(duì)聲音頻率、方向和強(qiáng)度的感知能力提升有限的技術(shù)問(wèn)題；在已有的語(yǔ)言內(nèi)容整合過(guò)程中，存在著現(xiàn)有系統(tǒng)在唇語(yǔ)訓(xùn)練和語(yǔ)境理解訓(xùn)練方面也缺乏智能化支持，無(wú)法有效識(shí)別和補(bǔ)全患者易混淆的音素、語(yǔ)境和唇動(dòng)信息，影響患者對(duì)語(yǔ)音-唇形關(guān)聯(lián)的學(xué)習(xí)效果的技術(shù)問(wèn)題；在已有的聽力障礙患者康復(fù)訓(xùn)練系統(tǒng)中，存在著現(xiàn)有康復(fù)訓(xùn)練系統(tǒng)缺乏交互性和智能性，而虛擬現(xiàn)實(shí)支持下的現(xiàn)有康復(fù)系統(tǒng)的場(chǎng)景構(gòu)建則依賴于預(yù)設(shè)內(nèi)容，無(wú)法根據(jù)患者需求動(dòng)態(tài)生成訓(xùn)練方案，導(dǎo)致整體上康復(fù)效果不佳的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了基于虛擬現(xiàn)實(shí)的聽覺障礙患者康復(fù)訓(xùn)練系統(tǒng)，針對(duì)在已有的聽力障礙患者康復(fù)訓(xùn)練系統(tǒng)中，存在著現(xiàn)有系統(tǒng)無(wú)法有效整合多感官數(shù)據(jù)，在康復(fù)過(guò)程中，容易導(dǎo)致患者無(wú)法通過(guò)替代感官進(jìn)而充分感知聲音信息，同時(shí)，數(shù)據(jù)融合的精度和實(shí)時(shí)性不足，無(wú)法為患者提供沉浸式的康復(fù)訓(xùn)練體驗(yàn)，難以有效結(jié)合虛擬現(xiàn)實(shí)技術(shù)進(jìn)行集成應(yīng)用的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用多階段跨模態(tài)注意增強(qiáng)的語(yǔ)音視聽表征方法，通過(guò)深度學(xué)習(xí)模型將聲音信號(hào)轉(zhuǎn)化為可視化光波和觸覺振動(dòng)數(shù)據(jù)，實(shí)現(xiàn)高精度、實(shí)時(shí)的多模態(tài)數(shù)據(jù)融合；針對(duì)在已有的聽覺感知重建過(guò)程中，存在著現(xiàn)有系統(tǒng)在基礎(chǔ)聽覺感知重建方面缺乏個(gè)性化適配能力，無(wú)法根據(jù)患者的聽力損失程度和康復(fù)進(jìn)展動(dòng)態(tài)調(diào)整訓(xùn)練內(nèi)容，同時(shí)，聲音特征的提取和映射的精度也不足，導(dǎo)致患者對(duì)聲音頻率、方向和強(qiáng)度的感知能力提升有限的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用結(jié)合聲紋動(dòng)態(tài)映射的聲頻生成動(dòng)態(tài)調(diào)整方法，進(jìn)行基礎(chǔ)聽覺重建，有效地動(dòng)態(tài)生成個(gè)性化的聲景映射，幫助患者重建對(duì)聲音的基礎(chǔ)感知能力；針對(duì)在已有的語(yǔ)言內(nèi)容整合過(guò)程中，存在著現(xiàn)有系統(tǒng)在唇語(yǔ)訓(xùn)練和語(yǔ)境理解訓(xùn)練方面也缺乏智能化支持，無(wú)法有效識(shí)別和補(bǔ)全患者易混淆的音素、語(yǔ)境和唇動(dòng)信息，影響患者對(duì)語(yǔ)音-唇形關(guān)聯(lián)的學(xué)習(xí)效果的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用跨模態(tài)對(duì)比學(xué)習(xí)方法，進(jìn)行唇語(yǔ)同步訓(xùn)練輔助，并在康復(fù)訓(xùn)練過(guò)程中提供人聲語(yǔ)境背景提示，輔助患者的人聲語(yǔ)音理解，實(shí)現(xiàn)了高精度的唇語(yǔ)-語(yǔ)音對(duì)齊、易混淆音素以及語(yǔ)言內(nèi)容的針對(duì)性訓(xùn)練；針對(duì)在已有的聽力障礙患者康復(fù)訓(xùn)練系統(tǒng)中，存在著現(xiàn)有康復(fù)訓(xùn)練系統(tǒng)缺乏交互性和智能性，而虛擬現(xiàn)實(shí)支持下的現(xiàn)有康復(fù)系統(tǒng)的場(chǎng)景構(gòu)建則依賴于預(yù)設(shè)內(nèi)容，無(wú)法根據(jù)患者需求動(dòng)態(tài)生成訓(xùn)練方案，導(dǎo)致整體上康復(fù)效果不佳的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用結(jié)合虛擬現(xiàn)實(shí)技術(shù)、聽覺重建和語(yǔ)言內(nèi)容理解三項(xiàng)技術(shù)的整合，集成式實(shí)現(xiàn)了基于虛擬現(xiàn)實(shí)的聽覺障礙患者康復(fù)訓(xùn)練系統(tǒng)，提升了康復(fù)訓(xùn)練的整體效果，也為聽力障礙患者的智能化、自動(dòng)化康復(fù)提供了有力的支持和探索經(jīng)驗(yàn)。

2、本發(fā)明采取的技術(shù)方案如下：本發(fā)明提供的基于虛擬現(xiàn)實(shí)的聽覺障礙患者康復(fù)訓(xùn)練系統(tǒng)，包括感知融合模塊、基礎(chǔ)感知重建模塊、語(yǔ)言內(nèi)容整合模塊、康復(fù)訓(xùn)練模塊和虛擬現(xiàn)實(shí)輔助模塊；

3、所述感知融合模塊，用于多模態(tài)數(shù)據(jù)收集處理，通過(guò)多模態(tài)數(shù)據(jù)收集處理，得到聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集，并將所述聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集發(fā)送至基礎(chǔ)感知重建模塊和語(yǔ)言內(nèi)容整合模塊；

4、所述基礎(chǔ)感知重建模塊，用于基礎(chǔ)聽覺感知重建，通過(guò)基礎(chǔ)聽覺感知重建，得到基礎(chǔ)聲音特征感知優(yōu)化數(shù)據(jù)，并將所述基礎(chǔ)聲音特征感知優(yōu)化數(shù)據(jù)發(fā)送至康復(fù)訓(xùn)練模塊；

5、所述語(yǔ)言內(nèi)容整合模塊，用于唇語(yǔ)同步訓(xùn)練和語(yǔ)境理解訓(xùn)練，通過(guò)唇語(yǔ)同步訓(xùn)練和語(yǔ)境理解訓(xùn)練，得到語(yǔ)言內(nèi)容理解康復(fù)優(yōu)化數(shù)據(jù)，并將所述語(yǔ)言內(nèi)容理解康復(fù)優(yōu)化數(shù)據(jù)發(fā)送至康復(fù)訓(xùn)練模塊；

6、所述康復(fù)訓(xùn)練模塊，用于綜合康復(fù)訓(xùn)練，通過(guò)綜合康復(fù)訓(xùn)練，得到綜合康復(fù)訓(xùn)練參考評(píng)估數(shù)據(jù)，并結(jié)合所述虛擬現(xiàn)實(shí)輔助模塊，進(jìn)行聽覺障礙患者的康復(fù)訓(xùn)練；

7、所述虛擬現(xiàn)實(shí)輔助模塊，用于構(gòu)建虛擬現(xiàn)實(shí)場(chǎng)景并輔助康復(fù)訓(xùn)練，通過(guò)虛擬現(xiàn)實(shí)技術(shù)輔助，進(jìn)行康復(fù)訓(xùn)練。

8、進(jìn)一步地，所述多模態(tài)數(shù)據(jù)收集處理，用于收集虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練所需的原始數(shù)據(jù)集，具體為通過(guò)多模態(tài)數(shù)據(jù)收集，得到聽覺障礙康復(fù)訓(xùn)練原始數(shù)據(jù)集，并通過(guò)數(shù)據(jù)融合，得到聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集；

9、所述多模態(tài)數(shù)據(jù)采集，通過(guò)麥克風(fēng)陣列、空間音頻傳感器、眼動(dòng)追蹤設(shè)備和觸覺反饋裝置，實(shí)時(shí)采集環(huán)境聲音、用戶視線方向和身體姿態(tài)數(shù)據(jù)；

10、所述環(huán)境聲音，包括音頻數(shù)據(jù)和聲音頻譜圖數(shù)據(jù)；所述音頻數(shù)據(jù)包括人聲語(yǔ)音數(shù)據(jù)、人聲視頻數(shù)據(jù)和環(huán)境雜音數(shù)據(jù)；

11、所述數(shù)據(jù)融合，通過(guò)結(jié)合多階段跨模態(tài)注意增強(qiáng)的語(yǔ)音視聽表征方法，進(jìn)行聲音信號(hào)特征提取，依據(jù)所述環(huán)境聲音，進(jìn)行特征跨模態(tài)映射，得到聲音信號(hào)特征數(shù)據(jù)并映射得到可視化頻譜圖數(shù)據(jù)和觸覺振動(dòng)數(shù)據(jù)，通過(guò)特征跨模態(tài)映射，得到聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集，包括以下步驟：多階段跨模態(tài)特征提取、多尺度特征融合優(yōu)化、跨模態(tài)注意力優(yōu)化、跨模態(tài)特征更新、跨模態(tài)特征損失構(gòu)建和特征跨模態(tài)映射；

12、所述多階段跨模態(tài)特征提取，用于構(gòu)建語(yǔ)音視聽表征方法的基本問(wèn)題模型，具體為定義視聽實(shí)例特征向量對(duì)，并將每對(duì)視聽實(shí)例特征向量對(duì)設(shè)置為獨(dú)熱類別向量，進(jìn)行多階段跨模態(tài)特征提取問(wèn)題建模，得到視聽實(shí)例特征向量數(shù)據(jù)；

13、所述多尺度特征融合優(yōu)化，用于線性投影和卷積提取聲音和視覺特征，具體為將聲音特征數(shù)據(jù)和視覺特征數(shù)據(jù)通過(guò)一維卷積運(yùn)算分別進(jìn)行特征提取和特征融合，得到多尺度特征融合優(yōu)化數(shù)據(jù)；

14、所述跨模態(tài)注意力優(yōu)化，用于優(yōu)化聲音特征和視覺特征的注意力信息并計(jì)算注意力權(quán)重，具體為依據(jù)所述多尺度特征融合優(yōu)化數(shù)據(jù)，進(jìn)行跨模態(tài)注意力優(yōu)化，得到跨模態(tài)注意力權(quán)重?cái)?shù)據(jù)；

15、所述跨模態(tài)特征更新，具體為依據(jù)所述跨模態(tài)注意力權(quán)重?cái)?shù)據(jù)，對(duì)所述多尺度特征融合優(yōu)化數(shù)據(jù)進(jìn)行跨模態(tài)特征更新，得到更新注意力特征數(shù)據(jù)；

16、所述跨模態(tài)特征損失構(gòu)建，用于優(yōu)化模型訓(xùn)練的過(guò)程，具體為依次構(gòu)建判別損失、模態(tài)內(nèi)損失和跨模態(tài)損失，并進(jìn)行損失集成，得到跨模態(tài)特征損失函數(shù)；

17、所述跨模態(tài)特征損失函數(shù)的計(jì)算公式為：

18、l=ldis+a·lintra+b·lcross；

19、式中，l是跨模態(tài)特征損失函數(shù)，ldis是判別損失，lintra是模態(tài)內(nèi)損失，lcross是跨模態(tài)損失，a是模態(tài)內(nèi)損失權(quán)重，b是跨模態(tài)損失權(quán)重；

20、所述特征跨模態(tài)映射，具體為通過(guò)所述多階段跨模態(tài)特征提取、所述多尺度特征融合優(yōu)化、所述跨模態(tài)注意力優(yōu)化、所述跨模態(tài)特征更新和所述跨模態(tài)特征損失構(gòu)建，進(jìn)行特征跨模態(tài)映射模型訓(xùn)練，得到聲音可視特征跨模態(tài)映射模型，并通過(guò)使用所述聲音可視特征跨模態(tài)映射模型，依據(jù)所述環(huán)境聲音，進(jìn)行特征跨模態(tài)映射，得到聲音信號(hào)特征數(shù)據(jù)和可視化頻譜圖數(shù)據(jù)，并依據(jù)所述可視化頻譜圖數(shù)據(jù)，生成觸覺振動(dòng)模擬數(shù)據(jù)，得到聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集；

21、所述聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集，具體包括人聲特征數(shù)據(jù)、人聲視頻特征數(shù)據(jù)、環(huán)境雜音特征數(shù)據(jù)、可視化頻譜數(shù)據(jù)和觸覺振動(dòng)模擬數(shù)據(jù)；

22、所述聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集，結(jié)合虛擬現(xiàn)實(shí)場(chǎng)景，形成虛擬現(xiàn)實(shí)輔助數(shù)據(jù)，并將所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù)用于綜合康復(fù)訓(xùn)練；所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù)，包括聲源位置、聲音強(qiáng)度、聲音可視化輔助信息和聲音觸覺化輔助信息。

23、進(jìn)一步地，所述基礎(chǔ)聽覺感知重建，用于輔助聽力障礙患者重建對(duì)聲音的基礎(chǔ)感知能力，具體為依據(jù)所述聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集，采用結(jié)合聲紋動(dòng)態(tài)映射的聲頻生成動(dòng)態(tài)調(diào)整方法，進(jìn)行基礎(chǔ)聽覺重建，得到基礎(chǔ)聲音特征感知優(yōu)化數(shù)據(jù)，包括以下步驟：聲紋動(dòng)態(tài)映射、眼球追蹤輔助引導(dǎo)、自適應(yīng)聲場(chǎng)訓(xùn)練優(yōu)化和基礎(chǔ)聽覺感知重建；

24、所述聲紋動(dòng)態(tài)映射，具體為采用結(jié)合聲音可視化輔助信息的聲頻對(duì)抗生成網(wǎng)絡(luò)，進(jìn)行聲音信號(hào)動(dòng)態(tài)光波生成，得到生成聲音信號(hào)可視光波數(shù)據(jù)；

25、所述結(jié)合聲音可視化輔助信息的聲頻對(duì)抗生成網(wǎng)絡(luò)，采用標(biāo)準(zhǔn)生成器訓(xùn)練和判別器訓(xùn)練，進(jìn)行生成對(duì)抗訓(xùn)練，并構(gòu)建對(duì)抗損失和頻譜重建損失的綜合損失函數(shù)，進(jìn)行生成對(duì)抗訓(xùn)練，得到生成聲音信號(hào)可視光波數(shù)據(jù)；

26、所述綜合損失函數(shù)的計(jì)算公式為：

27、；

28、式中，ltotal是綜合損失函數(shù)，lgan是對(duì)抗損失函數(shù)，g是生成器標(biāo)識(shí)，d是判別器標(biāo)識(shí)，r是頻譜重建損失權(quán)重，sreal是真實(shí)聲音頻譜對(duì)應(yīng)的可視光波數(shù)據(jù)，sgen是生成的聲音頻譜對(duì)應(yīng)的可視光波數(shù)據(jù)；

29、所述眼球追蹤輔助引導(dǎo)，具體為采集用戶眼球追蹤數(shù)據(jù)作為輔助數(shù)據(jù)，并通過(guò)空間注意力機(jī)制，動(dòng)態(tài)調(diào)整所述生成聲音信號(hào)可視光波數(shù)據(jù)的聲源光波亮度，進(jìn)行視線引導(dǎo)增強(qiáng)訓(xùn)練，得到視線引導(dǎo)優(yōu)化數(shù)據(jù)；

30、所述自適應(yīng)聲場(chǎng)訓(xùn)練優(yōu)化，具體為依據(jù)所述生成聲音信號(hào)可視光波數(shù)據(jù)和所述視線引導(dǎo)優(yōu)化數(shù)據(jù)，采用標(biāo)準(zhǔn)強(qiáng)化學(xué)習(xí)方法進(jìn)行基礎(chǔ)聽覺感知重建訓(xùn)練階段的康復(fù)訓(xùn)練難度，并通過(guò)構(gòu)建狀態(tài)參數(shù)、動(dòng)作參數(shù)和獎(jiǎng)勵(lì)函數(shù)，執(zhí)行自適應(yīng)聲場(chǎng)訓(xùn)練優(yōu)化，得到自適應(yīng)訓(xùn)練調(diào)整參考策略數(shù)據(jù)；

31、所述基礎(chǔ)聽覺感知重建，具體為通過(guò)所述聲紋動(dòng)態(tài)映射、眼球追蹤輔助引導(dǎo)和自適應(yīng)聲場(chǎng)訓(xùn)練優(yōu)化，進(jìn)行基礎(chǔ)聽覺感知重建，并結(jié)合所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù)，進(jìn)行基礎(chǔ)聽覺感知重建康復(fù)訓(xùn)練，得到基礎(chǔ)聲音特征感知優(yōu)化數(shù)據(jù)。

32、進(jìn)一步地，所述唇語(yǔ)同步訓(xùn)練，用于輔助聽力障礙患者對(duì)唇形和語(yǔ)音的關(guān)聯(lián)識(shí)別能力訓(xùn)練，具體為依據(jù)所述聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集，采用跨模態(tài)對(duì)比學(xué)習(xí)方法，進(jìn)行唇語(yǔ)同步訓(xùn)練輔助，得到語(yǔ)言理解康復(fù)優(yōu)化數(shù)據(jù)；

33、所述跨模態(tài)對(duì)比學(xué)習(xí)方法，具體將所述聽覺障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集中的人聲特征數(shù)據(jù)和人聲視頻特征數(shù)據(jù)作為輸入數(shù)據(jù)，并構(gòu)建標(biāo)準(zhǔn)三維卷積網(wǎng)絡(luò)，作為唇語(yǔ)特征編碼器，構(gòu)建標(biāo)準(zhǔn)wav2vec2.0模型，作為語(yǔ)音特征編碼器，通過(guò)提取唇動(dòng)特征和語(yǔ)音特征，進(jìn)行跨模態(tài)對(duì)比學(xué)習(xí)，并構(gòu)建對(duì)比損失函數(shù)，最大化唇動(dòng)特征和語(yǔ)音特征的相似度，得到唇動(dòng)語(yǔ)音映射數(shù)據(jù)，并結(jié)合所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù)，進(jìn)行唇語(yǔ)同步康復(fù)訓(xùn)練，得到語(yǔ)言理解康復(fù)優(yōu)化數(shù)據(jù)；

34、所述對(duì)比損失函數(shù)的計(jì)算公式為：

35、；

36、式中，lcontrastive是對(duì)比損失函數(shù)，exp(·)是自然底數(shù)函數(shù)，flip是唇動(dòng)特征，是語(yǔ)音特征中的正樣本，用于表示與唇動(dòng)特征相匹配的語(yǔ)音特征，是第n個(gè)語(yǔ)音特征，m是唇動(dòng)特征和語(yǔ)音特征的特征對(duì)總數(shù)，n是特征對(duì)索引，是特征對(duì)修正系數(shù)。

37、進(jìn)一步地，所述語(yǔ)境理解訓(xùn)練，用于輔助聽力障礙患者在虛擬場(chǎng)景中對(duì)語(yǔ)境信息的理解訓(xùn)練，具體為結(jié)合所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù)，在康復(fù)訓(xùn)練過(guò)程中提供人聲語(yǔ)境背景提示，輔助患者的人聲語(yǔ)音理解，得到語(yǔ)言內(nèi)容理解康復(fù)優(yōu)化數(shù)據(jù)。

38、進(jìn)一步地，所述綜合康復(fù)訓(xùn)練，用于結(jié)合虛擬視覺環(huán)境、聽覺感知重建和語(yǔ)言內(nèi)容理解訓(xùn)練的結(jié)果進(jìn)行康復(fù)訓(xùn)練，具體為通過(guò)依據(jù)所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù)，進(jìn)行虛擬現(xiàn)實(shí)場(chǎng)景模擬，并實(shí)時(shí)結(jié)合患者的手勢(shì)姿勢(shì)監(jiān)測(cè)，通過(guò)所述基礎(chǔ)聲音特征感知優(yōu)化數(shù)據(jù)增強(qiáng)康復(fù)訓(xùn)練過(guò)程中患者的聽覺感知，并通過(guò)所述語(yǔ)言內(nèi)容理解康復(fù)優(yōu)化數(shù)據(jù)增強(qiáng)康復(fù)訓(xùn)練過(guò)程中患者的語(yǔ)言內(nèi)容感知，得到綜合康復(fù)訓(xùn)練參考評(píng)估數(shù)據(jù)。

39、采用上述方案本發(fā)明取得的有益效果如下：

40、（1）針對(duì)在已有的聽力障礙患者康復(fù)訓(xùn)練系統(tǒng)中，存在著現(xiàn)有系統(tǒng)無(wú)法有效整合多感官數(shù)據(jù)，在康復(fù)過(guò)程中，容易導(dǎo)致患者無(wú)法通過(guò)替代感官進(jìn)而充分感知聲音信息，同時(shí)，數(shù)據(jù)融合的精度和實(shí)時(shí)性不足，無(wú)法為患者提供沉浸式的康復(fù)訓(xùn)練體驗(yàn)，難以有效結(jié)合虛擬現(xiàn)實(shí)技術(shù)進(jìn)行集成應(yīng)用的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用多階段跨模態(tài)注意增強(qiáng)的語(yǔ)音視聽表征方法，通過(guò)深度學(xué)習(xí)模型將聲音信號(hào)轉(zhuǎn)化為可視化光波和觸覺振動(dòng)數(shù)據(jù)，實(shí)現(xiàn)高精度、實(shí)時(shí)的多模態(tài)數(shù)據(jù)融合；

41、（2）針對(duì)在已有的聽覺感知重建過(guò)程中，存在著現(xiàn)有系統(tǒng)在基礎(chǔ)聽覺感知重建方面缺乏個(gè)性化適配能力，無(wú)法根據(jù)患者的聽力損失程度和康復(fù)進(jìn)展動(dòng)態(tài)調(diào)整訓(xùn)練內(nèi)容，同時(shí)，聲音特征的提取和映射的精度也不足，導(dǎo)致患者對(duì)聲音頻率、方向和強(qiáng)度的感知能力提升有限的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用結(jié)合聲紋動(dòng)態(tài)映射的聲頻生成動(dòng)態(tài)調(diào)整方法，進(jìn)行基礎(chǔ)聽覺重建，有效地動(dòng)態(tài)生成個(gè)性化的聲景映射，幫助患者重建對(duì)聲音的基礎(chǔ)感知能力；

42、（3）針對(duì)在已有的語(yǔ)言內(nèi)容整合過(guò)程中，存在著現(xiàn)有系統(tǒng)在唇語(yǔ)訓(xùn)練和語(yǔ)境理解訓(xùn)練方面也缺乏智能化支持，無(wú)法有效識(shí)別和補(bǔ)全患者易混淆的音素、語(yǔ)境和唇動(dòng)信息，影響患者對(duì)語(yǔ)音-唇形關(guān)聯(lián)的學(xué)習(xí)效果的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用跨模態(tài)對(duì)比學(xué)習(xí)方法，進(jìn)行唇語(yǔ)同步訓(xùn)練輔助，并在康復(fù)訓(xùn)練過(guò)程中提供人聲語(yǔ)境背景提示，輔助患者的人聲語(yǔ)音理解，實(shí)現(xiàn)了高精度的唇語(yǔ)-語(yǔ)音對(duì)齊、易混淆音素以及語(yǔ)言內(nèi)容的針對(duì)性訓(xùn)練；

43、（4）針對(duì)在已有的聽力障礙患者康復(fù)訓(xùn)練系統(tǒng)中，存在著現(xiàn)有康復(fù)訓(xùn)練系統(tǒng)缺乏交互性和智能性，而虛擬現(xiàn)實(shí)支持下的現(xiàn)有康復(fù)系統(tǒng)的場(chǎng)景構(gòu)建則依賴于預(yù)設(shè)內(nèi)容，無(wú)法根據(jù)患者需求動(dòng)態(tài)生成訓(xùn)練方案，導(dǎo)致整體上康復(fù)效果不佳的技術(shù)問(wèn)題，本方案創(chuàng)造性地采用結(jié)合虛擬現(xiàn)實(shí)技術(shù)、聽覺重建和語(yǔ)言內(nèi)容理解三項(xiàng)技術(shù)的整合，集成式實(shí)現(xiàn)了基于虛擬現(xiàn)實(shí)的聽覺障礙患者康復(fù)訓(xùn)練系統(tǒng)，提升了康復(fù)訓(xùn)練的整體效果，也為聽力障礙患者的智能化、自動(dòng)化康復(fù)提供了有力的支持和探索經(jīng)驗(yàn)。