本技術(shù)涉及音頻處理，尤其涉及一種音頻處理方法、音頻解碼方法、音頻編碼方法、音頻處理裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、相關(guān)技術(shù)中，對(duì)于音頻進(jìn)行處理時(shí)，往往是基于原始音頻進(jìn)行的。例如對(duì)于音頻的壓縮處理，具體的，相關(guān)技術(shù)中直接對(duì)音頻進(jìn)行如下編碼格式的壓縮處理，指脈沖編碼調(diào)制(pulse?code?modulation，pcm)格式、微軟音頻(windows?media?audio，wma)格式、高級(jí)音頻編碼(advanced?audio?coding，aac)格式、動(dòng)態(tài)影像專家壓縮標(biāo)準(zhǔn)音頻層面3(movingpicture?experts?group?audio?layerⅲ，mp3)格式等。從而通過對(duì)音頻編碼可以實(shí)現(xiàn)對(duì)音頻文件的壓縮，從而可降低數(shù)據(jù)量，進(jìn)而可以降低音頻的存儲(chǔ)與傳輸成本。

2、相關(guān)技術(shù)中，直接對(duì)原始音頻進(jìn)行加工處理，如執(zhí)行上述編碼格式的編碼過程。然而，相關(guān)技術(shù)存在對(duì)音頻處理精細(xì)化程度低的問題，不利于提升音頻性能。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種音頻處理方法、音頻解碼方法、音頻編碼方法、音頻處理裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，至少在一定程度上提升了對(duì)音頻的處理精細(xì)化程度，有利于提升音頻性能。

2、第一方面，本技術(shù)提供一種音頻處理方法，該方法包括：將原始音頻劃分為多個(gè)子音頻，其中，上述多個(gè)子音頻分別對(duì)應(yīng)的頻域區(qū)間不同，上述多個(gè)子音頻中至少一個(gè)子音頻對(duì)應(yīng)的頻域區(qū)間屬于高頻區(qū)域，上述多個(gè)子音頻中至少一個(gè)子音頻對(duì)應(yīng)的頻域區(qū)間屬于低頻區(qū)域；以及，通過對(duì)屬于上述高頻區(qū)域的子音頻以及屬于上述低頻區(qū)域的子音頻分別進(jìn)行特征提取處理，來確定上述原始音頻對(duì)應(yīng)的目標(biāo)音頻。

3、在一些實(shí)施例中，基于上述方案，上述確定上述原始音頻對(duì)應(yīng)的目標(biāo)音頻，包括：將上述多個(gè)子音頻中頻域區(qū)間屬于上述高頻區(qū)域的子音頻確定為高頻子音頻，將上述多個(gè)子音頻中頻域區(qū)間屬于上述低頻區(qū)域的子音頻確定為低頻子音頻；對(duì)上述高頻子音頻進(jìn)行第一特征提取處理，得到上述高頻子音頻對(duì)應(yīng)的恢復(fù)子音頻；合并上述恢復(fù)子音頻和上述低頻子音頻，得到合并音頻；以及，對(duì)上述合并音頻進(jìn)行第二特征提取處理，得到上述原始音頻對(duì)應(yīng)的目標(biāo)音頻。

4、在一些實(shí)施例中，基于上述方案，上述對(duì)上述高頻子音頻進(jìn)行第一特征提取處理，得到上述高頻子音頻對(duì)應(yīng)的恢復(fù)子音頻，包括：將第i個(gè)高頻子音頻輸入第i個(gè)第一編解碼模型，以通過上述第i個(gè)第一編解碼模型對(duì)上述第i個(gè)高頻子音頻執(zhí)行編碼過程，以及對(duì)上述第i高頻子音頻的編碼結(jié)果執(zhí)行解碼過程，上述第i個(gè)第一編解碼模型輸出上述第i個(gè)高頻子音頻對(duì)應(yīng)的第i個(gè)恢復(fù)子音頻，i取值為不大于上述高頻子音頻的數(shù)量的正整數(shù)；其中，上述第一編解碼模型為訓(xùn)練后的深度學(xué)習(xí)模型。

5、在一些實(shí)施例中，基于上述方案，上述第一編解碼模型包括：p個(gè)編碼單元和q個(gè)解碼單元，p和q取值均為正整數(shù)；其中，上述p個(gè)編碼單元對(duì)應(yīng)的下采樣倍數(shù)，與上述q個(gè)解碼單元對(duì)應(yīng)的上采樣倍數(shù)相同。

6、在一些實(shí)施例中，基于上述方案，上述對(duì)上述合并音頻進(jìn)行第二特征提取處理，得到上述原始音頻對(duì)應(yīng)的目標(biāo)音頻，包括：將上述合并音頻輸入第二編解碼模型，以通過上述第二編解碼模型對(duì)上述合并音頻進(jìn)行執(zhí)行編碼過程，以及對(duì)上述合并音頻的編碼結(jié)果執(zhí)行解碼過程，上述第二編解碼模型輸出上述原始音頻對(duì)應(yīng)的目標(biāo)音頻；其中，上述第二編解碼模型為訓(xùn)練后的深度學(xué)習(xí)模型。

7、在一些實(shí)施例中，基于上述方案，在上述將原始音頻劃分為多個(gè)子音頻后，上述方法還包括：對(duì)目標(biāo)子音頻進(jìn)行個(gè)性化處理，其中，上述目標(biāo)子音頻對(duì)應(yīng)于目標(biāo)頻域區(qū)間，上述個(gè)性化處理為針對(duì)上述目標(biāo)頻域區(qū)間的處理。

8、在一些實(shí)施例中，基于上述方案，上述通過上述第i個(gè)第一編解碼模型對(duì)上述第i個(gè)高頻子音頻執(zhí)行解碼過程，包括：對(duì)上述第i個(gè)高頻子音頻進(jìn)行個(gè)性化處理，其中，上述第i個(gè)高頻子音頻對(duì)應(yīng)于第i個(gè)頻域區(qū)間，上述個(gè)性化處理為針對(duì)上述第i個(gè)頻域區(qū)間的處理。

9、在一些實(shí)施例中，基于上述方案，上述將原始音頻劃分為多個(gè)子音頻，包括：將原始音頻轉(zhuǎn)換至頻域，得到目標(biāo)頻域信號(hào)；根據(jù)上述目標(biāo)頻域信號(hào)的分布確定m-1個(gè)頻率點(diǎn)，其中m取值為大于1的整數(shù)；通過上述m-1個(gè)頻率點(diǎn)，將上述目標(biāo)頻域信號(hào)劃分至m個(gè)頻域區(qū)間；以及，將上述m個(gè)頻域區(qū)間對(duì)應(yīng)的m個(gè)子音頻信號(hào)分別轉(zhuǎn)換至?xí)r域，得到m個(gè)子音頻。

10、在一些實(shí)施例中，基于上述方案，在上述確定上述原始音頻對(duì)應(yīng)的目標(biāo)音頻之后，上述方法還包括：通過音頻發(fā)送端對(duì)目標(biāo)音頻進(jìn)行編碼，得到目標(biāo)碼流；以及，通過上述音頻發(fā)送端發(fā)送上述目標(biāo)碼流至音頻接收端，以在上述音頻解碼端對(duì)上述目標(biāo)碼流進(jìn)行解碼。

11、本技術(shù)實(shí)施例提供的音頻處理方法，將原始音頻劃分為屬于高頻區(qū)域子音頻和屬于低頻區(qū)域的子音頻，并針對(duì)性地對(duì)屬于高頻區(qū)域的子音頻和低頻區(qū)域的子音頻分別進(jìn)行特征提取，能夠提升對(duì)音頻的精細(xì)化處理程度，有利于提升音頻性能。進(jìn)一步地，相較于對(duì)原始音頻進(jìn)行編解碼，對(duì)上述原始音頻對(duì)應(yīng)的目標(biāo)音頻進(jìn)行編解碼的效果得到提升，從而有利于提升音頻編解碼效率。

12、第二方面，本技術(shù)提供了一種音頻處理裝置，該裝置包括：子音頻確定模塊以及特征提取模塊；

13、其中，上述子音頻確定模塊，用于將原始音頻劃分為多個(gè)子音頻，其中，上述多個(gè)子音頻分別對(duì)應(yīng)的頻域區(qū)間不同，上述多個(gè)子音頻中至少一個(gè)子音頻對(duì)應(yīng)的頻域區(qū)間屬于高頻區(qū)域，上述多個(gè)子音頻中至少一個(gè)子音頻對(duì)應(yīng)的頻域區(qū)間屬于低頻區(qū)域；以及，上述特征提取模塊，用于通過對(duì)屬于上述高頻區(qū)域的子音頻以及屬于上述低頻區(qū)域的子音頻分別進(jìn)行特征提取處理，來確定上述原始音頻對(duì)應(yīng)的目標(biāo)音頻。

14、在一些實(shí)施例中，基于前述方案，上述特征提取模塊，包括：篩選單元、第一特征提取單元、合并單元以及第二特征提取單元；

15、其中，上述篩選單元用于：將上述多個(gè)子音頻中頻域區(qū)間屬于上述高頻區(qū)域的子音頻確定為高頻子音頻，將上述多個(gè)子音頻中頻域區(qū)間屬于上述低頻區(qū)域的子音頻確定為低頻子音頻；上述第一特征提取單元用于：對(duì)上述高頻子音頻進(jìn)行第一特征提取處理，得到上述高頻子音頻對(duì)應(yīng)的恢復(fù)子音頻；上述合并單元用于：合并上述恢復(fù)子音頻和上述低頻子音頻，得到合并音頻；以及，上述第二特征提取單元用于：對(duì)上述合并音頻進(jìn)行第二特征提取處理，得到上述原始音頻對(duì)應(yīng)的目標(biāo)音頻。

16、在一些實(shí)施例中，基于前述方案，上述第一特征提取單元具體用于：將第i個(gè)高頻子音頻輸入第i個(gè)第一編解碼模型，以通過上述第i個(gè)第一編解碼模型對(duì)上述第i個(gè)高頻子音頻執(zhí)行編碼過程，以及對(duì)上述第i高頻子音頻的編碼結(jié)果執(zhí)行解碼過程，上述第i個(gè)第一編解碼模型輸出上述第i個(gè)高頻子音頻對(duì)應(yīng)的第i個(gè)恢復(fù)子音頻，i取值為不大于上述高頻子音頻的數(shù)量的正整數(shù)；其中，上述第一編解碼模型為訓(xùn)練后的深度學(xué)習(xí)模型。

17、在一些實(shí)施例中，基于前述方案，上述第一編解碼模型包括：p個(gè)編碼單元和q個(gè)解碼單元，p和q取值均為正整數(shù)；其中，上述p個(gè)編碼單元對(duì)應(yīng)的下采樣倍數(shù)，與上述q個(gè)解碼單元對(duì)應(yīng)的上采樣倍數(shù)相同。

18、在一些實(shí)施例中，基于前述方案，上述第二特征提取單元具體用于：將上述合并音頻輸入第二編解碼模型，以通過上述第二編解碼模型對(duì)上述合并音頻進(jìn)行執(zhí)行編碼過程，以及對(duì)上述合并音頻的編碼結(jié)果執(zhí)行解碼過程，上述第二編解碼模型輸出上述原始音頻對(duì)應(yīng)的目標(biāo)音頻；其中，上述第二編解碼模型為訓(xùn)練后的深度學(xué)習(xí)模型。

19、在一些實(shí)施例中，基于前述方案，上述音頻處理裝置還包括：個(gè)性化處理模塊；

20、其中，上述個(gè)性化處理模塊用于：在上述子音頻確定模塊將原始音頻劃分為多個(gè)子音頻后，對(duì)目標(biāo)子音頻進(jìn)行個(gè)性化處理，其中，上述目標(biāo)子音頻對(duì)應(yīng)于目標(biāo)頻域區(qū)間，上述個(gè)性化處理為針對(duì)上述目標(biāo)頻域區(qū)間的處理。

21、在一些實(shí)施例中，基于前述方案，上述第一特征提取單元還具體用于：對(duì)上述第i個(gè)高頻子音頻進(jìn)行個(gè)性化處理，其中，上述第i個(gè)高頻子音頻對(duì)應(yīng)于第i個(gè)頻域區(qū)間，上述個(gè)性化處理為針對(duì)上述第i個(gè)頻域區(qū)間的處理。

22、在一些實(shí)施例中，基于前述方案，上述子音頻確定模塊具體用于：將原始音頻轉(zhuǎn)換至頻域，得到目標(biāo)頻域信號(hào)；根據(jù)上述目標(biāo)頻域信號(hào)的分布確定m-1個(gè)頻率點(diǎn)，其中m取值為大于1的整數(shù)；通過上述m-1個(gè)頻率點(diǎn)，將上述目標(biāo)頻域信號(hào)劃分至m個(gè)頻域區(qū)間；以及，將上述m個(gè)頻域區(qū)間對(duì)應(yīng)的m個(gè)子音頻信號(hào)分別轉(zhuǎn)換至?xí)r域，得到m個(gè)子音頻。

23、在一些實(shí)施例中，基于上述方案，上述音頻處理裝置還包括：編碼模塊和發(fā)送模塊；其中，上述編碼模塊用于：在上述特征提取模塊確定上述原始音頻對(duì)應(yīng)的目標(biāo)音頻之后，通過音頻發(fā)送端對(duì)目標(biāo)音頻進(jìn)行編碼，得到目標(biāo)碼流；以及，上述發(fā)送模塊用于：通過上述音頻發(fā)送端發(fā)送上述目標(biāo)碼流至音頻接收端，以在上述音頻解碼端對(duì)上述目標(biāo)碼流進(jìn)行解碼。

24、本技術(shù)實(shí)施例提供的音頻處理裝置，將原始音頻劃分為屬于高頻區(qū)域子音頻和屬于低頻區(qū)域的子音頻，并針對(duì)性地對(duì)屬于高頻區(qū)域的子音頻和低頻區(qū)域的子音頻分別進(jìn)行特征提取，能夠提升對(duì)音頻的精細(xì)化處理程度，有利于提升音頻性能。進(jìn)一步地，相較于對(duì)原始音頻進(jìn)行編解碼，對(duì)上述原始音頻對(duì)應(yīng)的目標(biāo)音頻進(jìn)行編解碼的效果更優(yōu)，從而有利于提升音頻編解碼效率。

25、第三方面，本技術(shù)提供了一種音頻解碼方法，應(yīng)用于解碼器，該方法包括：對(duì)原始音頻對(duì)應(yīng)的碼流進(jìn)行解碼，得到目標(biāo)音頻；其中，上述目標(biāo)音頻為根據(jù)上述第一方面所提供的方法處理上述原始音頻確定的。

26、由于在音頻編碼前的預(yù)處理過程中對(duì)音頻的精細(xì)化處理，因此在音頻傳輸過程中，將有利于提升音頻發(fā)射端編碼器和音頻接收端解碼器分別對(duì)應(yīng)的編碼效果以及解碼效果，進(jìn)而有利于提升音頻中終端間傳輸過程中的編解碼效率，也由于音頻保真性能提升，即可以降低失真程度，從而有利于音頻傳輸過程中的編解碼效果，進(jìn)而有利于提升音頻傳輸過程中音頻編解碼效率。

27、第四方面，本技術(shù)提供了一種解碼器，該解碼器包括：解碼模塊；其中，上述解碼模塊，用于對(duì)原始音頻對(duì)應(yīng)的碼流進(jìn)行解碼，得到目標(biāo)音頻；其中，上述目標(biāo)音頻為根據(jù)上述第一方面所提供的方法處理上述原始音頻確定的。

28、由于在音頻編碼前的預(yù)處理過程中對(duì)音頻的精細(xì)化處理，因此在音頻傳輸過程中，將有利于提升音頻發(fā)射端編碼器和音頻接收端解碼器分別對(duì)應(yīng)的編碼效果以及解碼效果，進(jìn)而有利于提升音頻中終端間傳輸過程中的編解碼效率，也由于音頻保真性能提升，即可以降低失真程度，從而有利于音頻傳輸過程中的編解碼效果，進(jìn)而有利于提升音頻傳輸過程中音頻編解碼效率。

29、第五方面，本技術(shù)提供了一種音頻編碼方法，該方法包括：獲取目標(biāo)音頻，其中，上述目標(biāo)音頻為根據(jù)上述第一方面所提供的方法處理原始音頻確定的；以及，對(duì)上述目標(biāo)音頻進(jìn)行編碼處理，得到上述原始音頻對(duì)應(yīng)的碼流。

30、由于在音頻編碼前的預(yù)處理過程中對(duì)音頻的精細(xì)化處理，因此在音頻傳輸過程中，將有利于提升音頻發(fā)射端編碼器和音頻接收端解碼器分別對(duì)應(yīng)的編碼效果以及解碼效果，進(jìn)而有利于提升音頻中終端間傳輸過程中的編解碼效率，也由于音頻保真性能提升，即可以降低失真程度，從而有利于音頻傳輸過程中的編解碼效果，進(jìn)而有利于提升音頻傳輸過程中音頻編解碼效率。

31、第六方面，本技術(shù)提供了一種編碼器，該編碼器包括：獲取模塊和編碼模塊；

32、其中，上述獲取模塊，用于獲取目標(biāo)音頻，其中，上述目標(biāo)音頻為根據(jù)上述第一方面或其任意一個(gè)實(shí)施例所提供的方法處理原始音頻確定的；以及，上述編碼模塊，用于對(duì)上述目標(biāo)音頻進(jìn)行編碼處理，得到上述原始音頻對(duì)應(yīng)的碼流。

33、由于在音頻編碼前的預(yù)處理過程中對(duì)音頻的精細(xì)化處理，因此在音頻傳輸過程中，將有利于提升音頻發(fā)射端編碼器和音頻接收端解碼器分別對(duì)應(yīng)的編碼效果以及解碼效果，進(jìn)而有利于提升音頻中終端間傳輸過程中的編解碼效率，也由于音頻保真性能提升，即可以降低失真程度，從而有利于音頻傳輸過程中的編解碼效果，進(jìn)而有利于提升音頻傳輸過程中音頻編解碼效率。

34、第七方面，提供了一種電子設(shè)備，包括處理器和存儲(chǔ)器；上述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，上述處理器用于調(diào)用并運(yùn)行上述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序，以執(zhí)行上述第一方面或其任意一個(gè)實(shí)施例所提供的音頻處理方法，或執(zhí)行上述第三方面所提供的音頻解碼方法，或執(zhí)行上述第五方面所提供的音頻編碼方法。

35、第八方面，提供了一種芯片，用于實(shí)現(xiàn)上述第一方面或其任意一個(gè)實(shí)施例所提供的音頻處理方法；具體地，上述芯片包括：處理器，用于從存儲(chǔ)器中調(diào)用并運(yùn)行計(jì)算機(jī)程序，使得安裝有上述芯片的設(shè)備執(zhí)行如上述第一方面所提供的音頻處理方法，或執(zhí)行上述第三方面所提供的音頻解碼方法，或執(zhí)行上述第五方面所提供的音頻編碼方法。

36、第九方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)程序，上述計(jì)算機(jī)程序使得計(jì)算機(jī)執(zhí)行上述第一方面或其任意一個(gè)實(shí)施例所提供的音頻處理方法，或執(zhí)行上述第三方面所提供的音頻解碼方法，或執(zhí)行上述第五方面所提供的音頻編碼方法。

37、第十方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序指令，上述計(jì)算機(jī)程序指令使得計(jì)算機(jī)執(zhí)行上述第一方面或其任意一個(gè)實(shí)施例所提供的音頻處理方法，或執(zhí)行上述第三方面所提供的音頻解碼方法，或執(zhí)行上述第五方面所提供的音頻編碼方法。

38、第十一方面，提供了一種計(jì)算機(jī)程序，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述第一方面或其任意一個(gè)實(shí)施例所提供的音頻處理方法，或執(zhí)行上述第三方面所提供的音頻解碼方法，或執(zhí)行上述第五方面所提供的音頻編碼方法。

39、綜上，由于不同頻率的音頻具有不同特點(diǎn)，本技術(shù)實(shí)施例提供的數(shù)據(jù)音頻處理方案中，對(duì)原始音頻在頻域上進(jìn)行劃分，并將劃分結(jié)果轉(zhuǎn)換至?xí)r域，從而將原始音頻劃分為屬于高頻區(qū)域子音頻和屬于低頻區(qū)域的子音頻。進(jìn)一步地，針對(duì)性地對(duì)屬于高頻區(qū)域的子音頻和低頻區(qū)域的子音頻分別進(jìn)行特征提取，以確定出上述原始音頻的目標(biāo)音頻。本技術(shù)實(shí)施例提供的音頻處理方法，能夠提升對(duì)音頻的精細(xì)化處理程度，有利于提升音頻性能。進(jìn)一步地，相較于對(duì)原始音頻進(jìn)行編解碼，對(duì)上述原始音頻對(duì)應(yīng)的目標(biāo)音頻進(jìn)行編解碼的效果得到提升，從而有利于提升音頻編解碼效率。