本發(fā)明涉及一種基于音頻信號處理的耳機環(huán)繞立體聲處理方法及介質(zhì),屬于語音信號處理。
背景技術(shù):
1、現(xiàn)今,耳機環(huán)繞立體聲處理技術(shù)是為了讓用戶在使用耳機時能獲得更加逼真、沉浸式的音頻體驗,人類聽覺系統(tǒng)能夠通過雙耳接收到聲音的時間差、強度差和相位差等信息來判斷聲音的方向和位置,耳機環(huán)繞立體聲處理技術(shù)利用這一原理,通過對音頻信號進行處理,模擬出不同聲音源在空間中的位置,使用戶產(chǎn)生聲音來自不同方向的錯覺,從而使用戶仿佛置身于不同的空間環(huán)境中,每個人的頭部形狀、耳廓結(jié)構(gòu)等都有所不同,這導致不同人對聲音的空間感知也存在差異,頭部相關(guān)傳輸函數(shù)(hrtf)是描述從聲源到雙耳的傳輸特性的函數(shù),它包含了個體差異對聲音空間感知的影響,在耳機環(huán)繞立體聲處理中,利用hrtf可以為每個用戶提供個性化的環(huán)繞立體聲體驗。
2、目前,對耳機中信號的環(huán)繞立體性處理的能力不足,理由如下,耳機中音頻來自于終端設(shè)備,例如手機、電腦等終端設(shè)備中儲存的音頻信號,而這些音頻信號又是在錄音棚中被錄制的信號,要想實現(xiàn)耳機中信號的環(huán)繞立體性的效果,則需要盡量還原音頻信號被錄制時的現(xiàn)場環(huán)境,也就是音頻信號在錄音棚中被錄制時所包含的三維場景得到的信號,現(xiàn)有技術(shù)往往是通過聲音傳感器所接收的語音信號來模擬語音信號在現(xiàn)實場景中被發(fā)射、反射等時的傳播場景,來實現(xiàn)語音信號的環(huán)繞立體性播放,且聲音傳感器與聲源處于同一場景中,例如聲音傳感器與聲源處于同一錄音棚中,但是,耳機與聲源并不處于同一場景中,例如聲源處于錄音棚中,而戴耳機聽歌的用戶處于地鐵中,因此,現(xiàn)有的技術(shù)在耳機中利用頭部相關(guān)傳輸函數(shù)來實現(xiàn)語音信號的環(huán)繞立體性效果的方式較為困難。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供一種基于音頻信號處理的耳機環(huán)繞立體聲處理方法及介質(zhì),其主要目的在于在耳機中利用頭部相關(guān)傳輸函數(shù)來實現(xiàn)語音信號的環(huán)繞立體性效果。
2、為實現(xiàn)上述目的,本發(fā)明提供的一種基于音頻信號處理的耳機環(huán)繞立體聲處理方法,包括:
3、在用戶戴上耳機之后,通過所述耳機內(nèi)置的定位裝置測量所述用戶的頭部坐標,準備所述用戶的頭相關(guān)傳輸模型,分別采集所述耳機的左側(cè)耳機音頻與右側(cè)耳機音頻;
4、分析所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻相位差,利用所述音頻相位差,確定所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻距離差,通過所述音頻距離差識別所述耳機中音頻的音頻源坐標;
5、利用所述左側(cè)耳機音頻與所述右側(cè)耳機音頻確定所述頭相關(guān)傳輸模型的第一模型參數(shù),利用所述頭部坐標與所述音頻源坐標確定所述頭相關(guān)傳輸模型的第二模型參數(shù);
6、通過所述第一模型參數(shù)與所述第二模型參數(shù)對所述耳機中音頻進行聲源重構(gòu),得到重構(gòu)聲源,基于所述重構(gòu)聲源,分別對所述左側(cè)耳機音頻與所述右側(cè)耳機音頻進行音頻重構(gòu),得到重構(gòu)左側(cè)音頻與重構(gòu)右側(cè)音頻;
7、分別對所述重構(gòu)左側(cè)音頻與所述重構(gòu)右側(cè)音頻進行音頻增強,得到增強左側(cè)音頻與增強右側(cè)音頻,在所述耳機中分別播放所述增強左側(cè)音頻與所述增強右側(cè)音頻后,完成所述耳機中音頻的環(huán)繞立體聲處理,得到環(huán)繞立體聲處理結(jié)果。
8、可選的,所述通過所述耳機內(nèi)置的定位裝置測量所述用戶的頭部坐標,包括:
9、獲取所述定位裝置中的左耳定位裝置與右耳定位裝置;
10、通過所述左耳定位裝置定位所述用戶的左耳坐標;
11、通過所述右耳定位裝置定位所述用戶的右耳坐標;
12、將所述左耳坐標與所述右耳坐標作為所述頭部坐標。
13、可選的,所述分析所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻相位差,包括:
14、計算所述左側(cè)耳機音頻的左側(cè)音頻相位;
15、計算所述右側(cè)耳機音頻的右側(cè)音頻相位;
16、確定所述左側(cè)音頻相位與所述右側(cè)音頻相位之間的第一音頻相位差;
17、獲取耳機中音頻對應的現(xiàn)場中心點;
18、將所述左側(cè)音頻相位與所述右側(cè)音頻相位之間的平均音頻相位作為所述現(xiàn)場中心點的中心音頻相位;
19、確定所述左側(cè)音頻相位與所述中心音頻相位之間的第二音頻相位差;
20、確定所述右側(cè)音頻相位與所述中心音頻相位之間的第三音頻相位差;
21、將所述第一音頻相位差、所述第二音頻相位差及所述第三音頻相位差作為所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻相位差。
22、可選的,所述利用所述音頻相位差,確定所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻距離差,包括:
23、根據(jù)所述音頻相位差中第一音頻相位差,利用下述公式計算所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的第一音頻時間差:其中,表示第一音頻時間差,表示第一音頻相位差,表示左側(cè)耳機音頻與右側(cè)耳機音頻的圓頻率的均值;
24、利用預設(shè)聲速與所述音頻時間差確定所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的第一音頻距離差;
25、分別確定所述音頻相位差中第二音頻相位差與第三音頻相位差對應的第二音頻距離差與第三音頻距離差;
26、將所述第一音頻距離差、所述第二音頻距離差及所述第三音頻距離差作為所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻距離差。
27、可選的,所述通過所述音頻距離差識別所述耳機中音頻的音頻源坐標,包括:
28、獲取所述音頻距離差中的第一音頻距離差、第二音頻距離差及第三音頻距離差;
29、根據(jù)所述第一音頻距離差、所述第二音頻距離差及所述第三音頻距離差,確定所述耳機中音頻的音頻源坐標。
30、可選的,所述利用所述左側(cè)耳機音頻與所述右側(cè)耳機音頻確定所述頭相關(guān)傳輸模型的第一模型參數(shù),包括:
31、獲取所述頭相關(guān)傳輸模型中的個體符號;
32、將所述個體符號調(diào)整為所述左側(cè)耳機音頻對應的左側(cè)數(shù)值;
33、將所述個體符號調(diào)整為所述右側(cè)耳機音頻對應的右側(cè)數(shù)值;
34、將所述左側(cè)數(shù)值與所述右側(cè)數(shù)值作為所述頭相關(guān)傳輸模型的第一模型參數(shù)。
35、可選的,所述利用所述頭部坐標與所述音頻源坐標確定所述頭相關(guān)傳輸模型的第二模型參數(shù),包括:
36、獲取所述頭部坐標中的左耳坐標與右耳坐標;
37、計算所述左耳坐標與所述右耳坐標之間的坐標距離;
38、獲取所述音頻源坐標對應的現(xiàn)場左右距離、現(xiàn)場左源距離及現(xiàn)場右源距離;
39、識別所述坐標距離與所述現(xiàn)場左右距離之間的距離倍數(shù);
40、利用所述距離倍數(shù)分別確定所述現(xiàn)場左源距離對應的左源坐標距離與右源坐標距離;
41、以所述左耳坐標為左側(cè)球體中心、以所述左源坐標距離為左側(cè)球體半徑,構(gòu)建所述左耳坐標的左側(cè)球體;
42、以所述右耳坐標為右側(cè)球體中心、以所述右源坐標距離為右側(cè)球體半徑,構(gòu)建所述右耳坐標的右側(cè)球體;
43、將所述左側(cè)球體與所述右側(cè)球體之間的球體交點作為所述頭部坐標對應的立體源坐標;
44、識別所述立體源坐標與所述坐標距離的中心坐標之間的中源距離;
45、獲取所述音頻源坐標對應的水平方位角、聲源仰角、角頻率均值、左側(cè)聲壓、右側(cè)聲壓及聲壓均值;
46、將所述中源距離、所述水平方位角、所述聲源仰角、所述角頻率均值、所述左側(cè)聲壓、所述右側(cè)聲壓及所述聲壓均值作為第二模型參數(shù)。
47、可選的,所述基于所述重構(gòu)聲源,分別對所述左側(cè)耳機音頻與所述右側(cè)耳機音頻進行音頻重構(gòu),得到重構(gòu)左側(cè)音頻與重構(gòu)右側(cè)音頻,包括:
48、獲取所述重構(gòu)聲源中的左側(cè)數(shù)值、右側(cè)數(shù)值、水平方位角、聲源仰角、角頻率均值、左側(cè)聲壓、右側(cè)聲壓及聲壓均值;
49、根據(jù)所述左側(cè)數(shù)值、所述水平方位角、所述聲源仰角、所述角頻率均值、所述左側(cè)聲壓及所述聲壓均值,對所述左側(cè)耳機音頻進行音頻重構(gòu),得到重構(gòu)左側(cè)音頻;
50、根據(jù)所述右側(cè)數(shù)值、所述水平方位角、所述聲源仰角、所述角頻率均值、所述右側(cè)聲壓及所述聲壓均值,對所述右側(cè)耳機音頻進行音頻重構(gòu),得到重構(gòu)右側(cè)音頻。
51、可選的,所述分別對所述重構(gòu)左側(cè)音頻與所述重構(gòu)右側(cè)音頻進行音頻增強,得到增強左側(cè)音頻與增強右側(cè)音頻,包括:
52、對所述重構(gòu)左側(cè)音頻進行音頻增強,得到增強左側(cè)音頻;
53、對所述重構(gòu)右側(cè)音頻進行音頻增強,得到增強右側(cè)音頻。
54、為了解決上述問題,本發(fā)明還提供一種基于音頻信號處理的耳機環(huán)繞立體聲處理介質(zhì),所述介質(zhì)包括:
55、音頻采集模塊,用于在用戶戴上耳機之后,通過所述耳機內(nèi)置的定位裝置測量所述用戶的頭部坐標,準備所述用戶的頭相關(guān)傳輸模型,分別采集所述耳機的左側(cè)耳機音頻與右側(cè)耳機音頻;
56、坐標識別模塊,用于分析所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻相位差,利用所述音頻相位差,確定所述左側(cè)耳機音頻與所述右側(cè)耳機音頻之間的音頻距離差,通過所述音頻距離差識別所述耳機中音頻的音頻源坐標;
57、參數(shù)確定模塊,用于利用所述左側(cè)耳機音頻與所述右側(cè)耳機音頻確定所述頭相關(guān)傳輸模型的第一模型參數(shù),利用所述頭部坐標與所述音頻源坐標確定所述頭相關(guān)傳輸模型的第二模型參數(shù);
58、音頻重構(gòu)模塊,用于通過所述第一模型參數(shù)與所述第二模型參數(shù)對所述耳機中音頻進行聲源重構(gòu),得到重構(gòu)聲源,基于所述重構(gòu)聲源,分別對所述左側(cè)耳機音頻與所述右側(cè)耳機音頻進行音頻重構(gòu),得到重構(gòu)左側(cè)音頻與重構(gòu)右側(cè)音頻;
59、立體聲處理模塊,用于分別對所述重構(gòu)左側(cè)音頻與所述重構(gòu)右側(cè)音頻進行音頻增強,得到增強左側(cè)音頻與增強右側(cè)音頻,在所述耳機中分別播放所述增強左側(cè)音頻與所述增強右側(cè)音頻后,完成所述耳機中音頻的環(huán)繞立體聲處理,得到環(huán)繞立體聲處理結(jié)果。
60、相比于背景技術(shù)所述問題,本發(fā)明實施例通過gps定位技術(shù)定位雙耳的位置,并通過雙耳音頻的差異計算音頻所含的距離差,進而基于雙耳的距離與現(xiàn)實錄音場景中收音裝置的距離之間的距離倍數(shù),來確定耳機所在場景中聲源相對于耳機的位置,進一步的,將所計算得到的聲源相對于耳機的虛擬位置信息應用于頭相關(guān)傳輸模型中,通過頭相關(guān)傳輸模型來重構(gòu)耳機中的音頻信號,以此在耳機音頻信號中增加環(huán)繞立體效果,最后對中低頻的音頻信號進行音質(zhì)的增強,從而在耳機中利用頭相關(guān)傳輸模型實現(xiàn)音頻信號的環(huán)繞立體效果。