1.基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:包括感知融合模塊、基礎(chǔ)感知重建模塊、語(yǔ)言?xún)?nèi)容整合模塊、康復(fù)訓(xùn)練模塊和虛擬現(xiàn)實(shí)輔助模塊;
2.根據(jù)權(quán)利要求1所述的基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:所述多模態(tài)數(shù)據(jù)收集處理,用于收集虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練所需的原始數(shù)據(jù)集,具體為通過(guò)多模態(tài)數(shù)據(jù)收集,得到聽(tīng)覺(jué)障礙康復(fù)訓(xùn)練原始數(shù)據(jù)集,并通過(guò)數(shù)據(jù)融合,得到聽(tīng)覺(jué)障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集;
3.根據(jù)權(quán)利要求2所述的基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:所述多階段跨模態(tài)特征提取,用于構(gòu)建語(yǔ)音視聽(tīng)表征方法的基本問(wèn)題模型,具體為定義視聽(tīng)實(shí)例特征向量對(duì),并將每對(duì)視聽(tīng)實(shí)例特征向量對(duì)設(shè)置為獨(dú)熱類(lèi)別向量,進(jìn)行多階段跨模態(tài)特征提取問(wèn)題建模,得到視聽(tīng)實(shí)例特征向量數(shù)據(jù);
4.根據(jù)權(quán)利要求3所述的基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:所述基礎(chǔ)聽(tīng)覺(jué)感知重建,用于輔助聽(tīng)力障礙患者重建對(duì)聲音的基礎(chǔ)感知能力,具體為依據(jù)所述聽(tīng)覺(jué)障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集,采用結(jié)合聲紋動(dòng)態(tài)映射的聲頻生成動(dòng)態(tài)調(diào)整方法,進(jìn)行基礎(chǔ)聽(tīng)覺(jué)重建,得到基礎(chǔ)聲音特征感知優(yōu)化數(shù)據(jù),包括以下步驟:聲紋動(dòng)態(tài)映射、眼球追蹤輔助引導(dǎo)、自適應(yīng)聲場(chǎng)訓(xùn)練優(yōu)化和基礎(chǔ)聽(tīng)覺(jué)感知重建。
5.根據(jù)權(quán)利要求4所述的基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:所述聲紋動(dòng)態(tài)映射,具體為采用結(jié)合聲音可視化輔助信息的聲頻對(duì)抗生成網(wǎng)絡(luò),進(jìn)行聲音信號(hào)動(dòng)態(tài)光波生成,得到生成聲音信號(hào)可視光波數(shù)據(jù);
6.根據(jù)權(quán)利要求5所述的基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:所述唇語(yǔ)同步訓(xùn)練,用于輔助聽(tīng)力障礙患者對(duì)唇形和語(yǔ)音的關(guān)聯(lián)識(shí)別能力訓(xùn)練,具體為依據(jù)所述聽(tīng)覺(jué)障礙康復(fù)訓(xùn)練融合數(shù)據(jù)集,采用跨模態(tài)對(duì)比學(xué)習(xí)方法,進(jìn)行唇語(yǔ)同步訓(xùn)練輔助,得到語(yǔ)言理解康復(fù)優(yōu)化數(shù)據(jù);
7.根據(jù)權(quán)利要求6所述的基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:所述語(yǔ)境理解訓(xùn)練,用于輔助聽(tīng)力障礙患者在虛擬場(chǎng)景中對(duì)語(yǔ)境信息的理解訓(xùn)練,具體為結(jié)合所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù),在康復(fù)訓(xùn)練過(guò)程中提供人聲語(yǔ)境背景提示,輔助患者的人聲語(yǔ)音理解,得到語(yǔ)言?xún)?nèi)容理解康復(fù)優(yōu)化數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的基于虛擬現(xiàn)實(shí)的聽(tīng)覺(jué)障礙患者康復(fù)訓(xùn)練系統(tǒng),其特征在于:所述綜合康復(fù)訓(xùn)練,用于結(jié)合虛擬視覺(jué)環(huán)境、聽(tīng)覺(jué)感知重建和語(yǔ)言?xún)?nèi)容理解訓(xùn)練的結(jié)果進(jìn)行康復(fù)訓(xùn)練,具體為通過(guò)依據(jù)所述虛擬現(xiàn)實(shí)輔助數(shù)據(jù),進(jìn)行虛擬現(xiàn)實(shí)場(chǎng)景模擬,并實(shí)時(shí)結(jié)合患者的手勢(shì)姿勢(shì)監(jiān)測(cè),通過(guò)所述基礎(chǔ)聲音特征感知優(yōu)化數(shù)據(jù)增強(qiáng)康復(fù)訓(xùn)練過(guò)程中患者的聽(tīng)覺(jué)感知,并通過(guò)所述語(yǔ)言?xún)?nèi)容理解康復(fù)優(yōu)化數(shù)據(jù)增強(qiáng)康復(fù)訓(xùn)練過(guò)程中患者的語(yǔ)言?xún)?nèi)容感知,得到綜合康復(fù)訓(xùn)練參考評(píng)估數(shù)據(jù)。