本發(fā)明涉及輔助聽力，尤其涉及一種聲音-觸覺信號(hào)轉(zhuǎn)換方法、系統(tǒng)、裝置和程序產(chǎn)品。

背景技術(shù)：

1、聾人群體由于聽力障礙，無法感知周圍環(huán)境中的聲音信息，這給他們的日常生活帶來了諸多不便。特別是在緊急情況下，如汽車?guó)Q笛、火災(zāi)警報(bào)等重要聲音信息對(duì)于聾人的安全更是至關(guān)重要。輔助聽力設(shè)備的出現(xiàn)即是為了應(yīng)對(duì)上述問題，幫助聾人識(shí)別特定的聲音信號(hào)。

2、傳統(tǒng)的輔助聽力設(shè)備往往依賴視覺提示對(duì)聲音信息進(jìn)行反饋，例如閃光燈或屏幕顯示。這種設(shè)備依賴視覺注意力，因此在視線被遮擋，或注意力被分散時(shí)，該設(shè)備所反饋的信息可能無法被及時(shí)、準(zhǔn)確地接收。同時(shí)，視覺反饋設(shè)備本身的屬性往往導(dǎo)致其難以在移動(dòng)、運(yùn)動(dòng)場(chǎng)景中適用，同時(shí)無法滿足個(gè)性化設(shè)置等要求。

3、基于上述特點(diǎn)，傳統(tǒng)的輔助聽力設(shè)備存在因視覺感官特點(diǎn)而產(chǎn)生的局限性、信息傳遞效率低、應(yīng)用場(chǎng)景受限，以及無法滿足用戶的個(gè)性化需求等亟待得到改善缺陷。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提出了一種基于感官反饋的輔助聽力解決方案，利用先進(jìn)的音頻處理技術(shù)和可穿戴設(shè)備，將外界的聲音轉(zhuǎn)換為特定的感官信號(hào)，并反饋給用戶，使聾人能夠通過皮膚的感覺來識(shí)別如汽車?guó)Q笛、警報(bào)聲等關(guān)鍵聲音信息。這種方法不僅提高了聾人在日常生活中的安全性和便利性，還拓展了他們?cè)趶?fù)雜環(huán)境中獲取信息的能力，適用于公共安全、家居生活、交通出行等多種場(chǎng)景，為聾人群體提供了更加全面的感官補(bǔ)償方案。

2、第一方面，本發(fā)明提供一種聲音信號(hào)轉(zhuǎn)換系統(tǒng)，包括以下模塊：

3、1、聲音采集模塊

4、包括聲音收集設(shè)備，一個(gè)或多個(gè)高靈敏度麥克風(fēng)組成，負(fù)責(zé)收集來自外界的聲音信號(hào)。麥克風(fēng)可以是定向的，也可以是全向的，以適應(yīng)不同的應(yīng)用場(chǎng)景。

5、2、聲音識(shí)別與分類模塊

6、采用基于機(jī)器學(xué)習(xí)的音頻處理算法對(duì)收集到的聲音進(jìn)行實(shí)時(shí)分析，識(shí)別出重要的聲音事件(如汽車?guó)Q笛、警報(bào)聲、敲門聲等)。根據(jù)預(yù)先設(shè)定的數(shù)據(jù)庫(kù)，將識(shí)別出的聲音事件歸類，并為每一類聲音事件分配一個(gè)唯一的標(biāo)識(shí)符。

7、3、信號(hào)轉(zhuǎn)換模塊

8、基于聲音識(shí)別與分類的結(jié)果，信號(hào)轉(zhuǎn)換模塊會(huì)將每種聲音事件轉(zhuǎn)換成特定的感官信號(hào)指令。感官信號(hào)指令包括但不限于視覺信號(hào)指令和觸覺信號(hào)指令。

9、以觸覺信號(hào)指令為例，指令通過不同震動(dòng)參數(shù)的組合實(shí)現(xiàn)不同的觸覺樣式，這些參數(shù)包括但不限于震動(dòng)頻率、振幅，震動(dòng)模式(例如連續(xù)震動(dòng)、間歇性震動(dòng))以及震動(dòng)位置等參數(shù)，確保不同類型的事件可以通過不同的觸覺體驗(yàn)來區(qū)分。

10、4、信號(hào)反饋模塊

11、此模塊通過穿戴式便攜設(shè)備(如腕帶、腰帶、眼鏡或其他形式的佩戴裝置)執(zhí)行感官信號(hào)指令，向用戶傳遞感官信號(hào)。

12、以觸覺信號(hào)指令為例，根據(jù)該信號(hào)指向的觸覺樣式，向用戶傳遞觸覺信號(hào)。產(chǎn)生觸覺信號(hào)的設(shè)備包括小型振動(dòng)電機(jī)或者其他能產(chǎn)生觸感的元件。

13、5、用戶控制模塊

14、為了方便用戶操作和設(shè)置，在用戶控制模塊中配備用戶界面。用戶可以通過這個(gè)界面啟動(dòng)或關(guān)停設(shè)備、調(diào)整設(shè)備的敏感度、選擇想要接收的聲音事件類型，以及自定義某些感官信號(hào)指令，例如自定義某些觸覺樣式。

15、第二方面，所述聲音信號(hào)轉(zhuǎn)換系統(tǒng)各個(gè)模塊協(xié)同工作的原理，即本發(fā)明提出的聲音信號(hào)轉(zhuǎn)換方法，包括：

16、用戶通過控制界面啟動(dòng)設(shè)備后，聲音采集模塊即開始持續(xù)監(jiān)聽周圍環(huán)境。

17、當(dāng)檢測(cè)到的聲音響度超過預(yù)設(shè)的閾值時(shí)，聲音識(shí)別與分類模塊會(huì)立即對(duì)該聲音事件進(jìn)行分析和識(shí)別，并確定其類別。

18、對(duì)于被認(rèn)定為重要的聲音事件，信號(hào)轉(zhuǎn)換模塊會(huì)迅速將該聲音事件轉(zhuǎn)換為對(duì)應(yīng)的感官信號(hào)指令，并發(fā)送給信號(hào)反饋模塊。

19、信號(hào)反饋模塊執(zhí)行接收到的感官信號(hào)指令，產(chǎn)生感官信號(hào)，并傳遞給用戶。

20、用戶通過學(xué)習(xí)和記憶，識(shí)別不同的感官信號(hào)所對(duì)應(yīng)的聲音事件，并據(jù)此獲悉當(dāng)前情景信息，從而做出相應(yīng)的反應(yīng)。

21、第三方面，本發(fā)明提供一套硬件裝置，包括穿戴裝置、收聲裝置、感官信號(hào)發(fā)生裝置、處理器及存儲(chǔ)器，所述硬件裝置協(xié)同工作，以實(shí)現(xiàn)第一方面所述系統(tǒng)的功能。

22、第四方面，本發(fā)明提供一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述系統(tǒng)的功能。

技術(shù)特征：

1.一種聲音信號(hào)轉(zhuǎn)換系統(tǒng)，其特征在于，包括以下模塊：

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述信號(hào)反饋模塊，集成在便攜式穿戴設(shè)備上，直接向用戶提供感官信號(hào)。

3.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述信號(hào)反饋模塊包括能夠產(chǎn)生感官信號(hào)的元件。

4.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述聲音采集模塊可以集成在所述便攜式穿戴設(shè)備上，也可以獨(dú)立于穿戴設(shè)備。

5.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述用戶控制模塊包括手機(jī)應(yīng)用，還包括集成在所述穿戴設(shè)備上的按鈕。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述聲音識(shí)別與分類模塊采用基于機(jī)器學(xué)習(xí)的音頻處理算法識(shí)別出重要的聲音事件；根據(jù)預(yù)先設(shè)定的數(shù)據(jù)庫(kù)，將識(shí)別出的聲音事件歸類。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述機(jī)器學(xué)習(xí)包括基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的聲音事件檢測(cè)技術(shù)sed-crnn。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述感官信號(hào)指令包括感官信號(hào)的呈現(xiàn)方式、具體樣式，以及信號(hào)的內(nèi)容或細(xì)節(jié)。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述感官信號(hào)指令包括但不限于視覺信號(hào)指令和觸覺信號(hào)指令。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述觸覺信號(hào)指令通過不同震動(dòng)參數(shù)的組合實(shí)現(xiàn)不同的觸覺樣式，震動(dòng)參數(shù)包括震動(dòng)的頻率、振幅、模式、位置等。

11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述視覺信號(hào)指令包括顯示文字提示、顯示符號(hào)以及相應(yīng)的顏色等。

12.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述其它模塊的運(yùn)行參數(shù)，包括：系統(tǒng)開關(guān)、聲音識(shí)別靈敏度、聲音事件的類型，以及所述感官信號(hào)指令的具體內(nèi)容。

13.一種使用如權(quán)利要求1所述系統(tǒng)的聲音信號(hào)轉(zhuǎn)換方法，其特征在于，包括以下步驟：

14.根據(jù)權(quán)利要求13所述的方法，其特征在于，根據(jù)環(huán)境噪聲水平，調(diào)整所述閾值，以減少誤報(bào)。

15.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述感官信號(hào)與所述聲音事件之間存在對(duì)應(yīng)關(guān)系：

16.一套硬件裝置，包括穿戴裝置、收聲裝置、感官信號(hào)發(fā)生裝置、處理器及存儲(chǔ)器，所述硬件裝置協(xié)同工作，以實(shí)現(xiàn)權(quán)利要求1-15中的任一項(xiàng)所述的系統(tǒng)或方法。

17.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-15中的任一項(xiàng)所述的系統(tǒng)或方法。

技術(shù)總結(jié)
本發(fā)明提供一種聲音信號(hào)轉(zhuǎn)換方法、系統(tǒng)、裝置和程序產(chǎn)品，涉及輔助聽力技術(shù)領(lǐng)域。其中，聲音信號(hào)轉(zhuǎn)換方法包括：采用聲音采集模塊監(jiān)聽周圍環(huán)境；使用聲音識(shí)別與分類模塊進(jìn)行聲音事件識(shí)別；使用信號(hào)轉(zhuǎn)換模塊將識(shí)別到的聲音事件轉(zhuǎn)換為感官信號(hào)指令；使用信號(hào)反饋模塊執(zhí)行感官信號(hào)指令，產(chǎn)生感官信號(hào)，并傳遞給用戶。本發(fā)明提出了一種基于感官反饋的輔助聽力解決方案，尤其是利用觸覺這一更為直接的感官通道，采用便攜裝置，配合高靈敏度的聲音采集模塊和快速的聲音識(shí)別算法，使聾人在不同的場(chǎng)景下都能迅速感知外接的聲音信息，提高了信息反饋的實(shí)時(shí)性、準(zhǔn)確性和可辨識(shí)度，可適用于各種場(chǎng)景。

技術(shù)研發(fā)人員：沈偉林,虞釘釘,沈旭立,蔡華,徐清
受保護(hù)的技術(shù)使用者：華院計(jì)算技術(shù)（上海）股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15