本發(fā)明屬于音頻信號處理領(lǐng)域，特別涉及一種全息音頻渲染控制方法。

背景技術(shù)：

隨著VR、AR技術(shù)的不斷發(fā)展，在追求視覺沉浸感的同時(shí)，也需要相應(yīng)的加強(qiáng)聽覺的沉浸感；而虛擬環(huán)繞聲技術(shù)是聽覺VR、AR重要的支撐技術(shù)，該技術(shù)是在虛擬聲場中渲染出虛擬聲源以及虛擬聲源的運(yùn)動軌跡，得到全息音頻信號，實(shí)時(shí)監(jiān)聽或者記錄后重放該信號，則可以為用戶營造出逼真的聲場。如附圖1所示，現(xiàn)有的虛擬聲源渲染控制方法，一般是通過畫面顯示空間坐標(biāo)系，用戶通過鼠標(biāo)操控在空間坐標(biāo)系中放置虛擬聲源或者設(shè)定聲源的運(yùn)動軌跡，然而這種方法對普通用戶而言不夠直觀，操作的難度較大，應(yīng)用前景不佳。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提出一種全息音頻渲染控制方法。通過多級觸控的方式對虛擬聲源的方位進(jìn)行控制，以方便、直觀的對虛擬聲源進(jìn)行全息聲場的渲染。

提出一種全息音頻渲染控制方法，提供一種觸控裝置，該觸控裝置具有立體形狀，其包括觸摸表面，其具有與觸控裝置的立體形狀相同的形狀，該觸摸表面用于感應(yīng)用戶手的觸摸位置同時(shí)可感應(yīng)用戶手按壓的壓力；建立起聽眾的虛擬聲場聽覺坐標(biāo)系和觸控裝置的物理坐標(biāo)系間的對應(yīng)關(guān)系，即，觸控裝置相當(dāng)于聽眾所處的虛擬聲場，在觸控裝置的觸摸表面上的點(diǎn)的方位對應(yīng)于聽眾所處的虛擬聲場的聲源的方位，而施加在該點(diǎn)上的壓力大小則對應(yīng)于虛擬聲場中的聲源的距離遠(yuǎn)近；用戶的手接觸到觸控裝置的觸摸表面時(shí)，根據(jù)觸摸表面所感應(yīng)到用戶的手的觸摸位置來確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位；同時(shí)，根據(jù)觸摸表面所感應(yīng)到的用戶手的按壓壓力大小確定出對應(yīng)的虛擬聲場中聲源的距離；根據(jù)所確定的虛擬聲源的方位以及距離，對干信號進(jìn)行空間卷積，得到經(jīng)渲染的虛擬聲源信號；將該信號饋送至聽眾的耳機(jī)或聽眾面前的揚(yáng)聲器中進(jìn)行重放，聽眾獲得虛擬聲源的感知；可設(shè)置專門的壓力傳感器，其設(shè)置于觸摸表面的下方，壓力傳感器用于感應(yīng)用戶手施加在觸摸表面上的壓力。

其中，所述空間卷積包括使用頭相關(guān)傳輸函數(shù)(HRTF)或雙耳房間脈沖響應(yīng)(BRIR)進(jìn)行信號卷積。其中，用音箱進(jìn)行虛擬聲源信號重放時(shí)，包括串音消除的步驟。

包括在觸控裝置的觸摸表面上觸碰多個(gè)位置以虛擬出多個(gè)虛擬聲源的步驟或根據(jù)用戶的手在觸控裝置的觸摸表面上的運(yùn)動軌跡，虛擬出運(yùn)動的聲源的步驟或同時(shí)包括以上兩種方式。

進(jìn)一步包括實(shí)時(shí)空間卷積以進(jìn)行同步監(jiān)聽，或者先對虛擬聲源的位置或運(yùn)動軌跡進(jìn)行記錄，再通過后期信號處理的方式得到虛擬聲源信號。

另外提出一種全息音頻渲染控制方法，提供一種觸控裝置，該觸控裝置具有立體形狀，其包括觸摸表面，其具有與觸控裝置的立體形狀相同的形狀，該觸摸表面用于感應(yīng)用戶手的觸摸位置；建立起聽眾的虛擬聲場聽覺坐標(biāo)系和觸控裝置的物理坐標(biāo)系間的對應(yīng)關(guān)系，即，觸控裝置相當(dāng)于聽眾所處的虛擬聲場，在觸控裝置的觸摸表面上的點(diǎn)的方位對應(yīng)于聽眾所處的虛擬聲場的聲源的方位；用戶的手接觸到觸控裝置的觸摸表面時(shí)，根據(jù)觸摸表面所感應(yīng)到用戶的手的觸摸位置來確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位；利用能量Panning的方式基于確定的虛擬聲源的方位對干聲信號進(jìn)行渲染，該能量Panning的方式包括但不限于VBAP(Vector Base Amplitude Panning)方式，并將渲染后的信號饋送至多個(gè)音箱進(jìn)行重放，使聽眾獲得虛擬聲源感知。

其中，包括在觸控裝置的觸摸表面上觸碰多個(gè)位置以虛擬出多個(gè)虛擬聲源的步驟或根據(jù)用戶的手在觸控裝置的觸摸表面上的運(yùn)動軌跡，虛擬出運(yùn)動的聲源的步驟或同時(shí)包括以上兩種方式。

進(jìn)一步包括實(shí)時(shí)空間卷積以進(jìn)行同步監(jiān)聽，或者先對虛擬聲源的位置或運(yùn)動軌跡進(jìn)行記錄，再通過后期信號處理的方式得到虛擬聲源信號。

附圖說明

圖1為現(xiàn)有技術(shù)中的虛擬聲源控制方法示意圖

圖2為本發(fā)明的全息音頻渲染控制方法的操作示意圖

具體實(shí)施方式

結(jié)合附圖，對本發(fā)明的全息音頻渲染控制方法進(jìn)行詳細(xì)說明。如附圖2所示，對于雙耳信號重放的情況(包括耳機(jī)重放及揚(yáng)聲器重放)，第一步，提供一種觸控裝置1，其可為球體、橢球體、立方體、長方體或是其他立體形狀，可根據(jù)所要虛擬的聲場情況進(jìn)行具體配置；該觸控裝置1包括觸摸表面2，其具有與觸控裝置1的立體形狀相同的形狀，該觸摸表面2用于感應(yīng)用戶手的觸摸位置，進(jìn)一步該觸摸表面2同時(shí)可感應(yīng)用戶手按壓的壓力，或者設(shè)置專門的壓力傳感器3，其設(shè)置于觸摸表面2的下方，壓力傳感器3用于感應(yīng)用戶手施加在觸摸表面2上的壓力。第二步，建立起聽眾的虛擬聲場聽覺坐標(biāo)系和觸控裝置1的物理坐標(biāo)系間的對應(yīng)關(guān)系，也即，觸控裝置1就相當(dāng)于聽眾所處的虛擬聲場，在觸控裝置1的觸摸表面2上的點(diǎn)的方位對應(yīng)于聽眾所處的虛擬聲場的聲源的方位，而施加在該點(diǎn)上的壓力大小則對應(yīng)于虛擬聲場中的聲源的距離遠(yuǎn)近，壓力大則距離遠(yuǎn)，壓力小則距離近，相反亦可。第三步，用戶的手接觸到觸控裝置1的觸摸表面2時(shí)，根據(jù)觸摸表面2所感應(yīng)到用戶的手的觸摸位置來確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位，方位可采用方位角-仰角來表示，也可以用其他方位表示方法來表示；同時(shí)，根據(jù)觸摸表面2或者壓力傳感器3所感應(yīng)到的用戶手的按壓壓力大小確定出對應(yīng)的虛擬聲場中聲源的距離；上述確定方位及距離的執(zhí)行主體可以是該觸控裝置1本身，或是與其連接的外部終端，例如計(jì)算機(jī)。第四步，根據(jù)所確定的虛擬聲源的方位以及距離，對干信號進(jìn)行空間卷積，包括使用對應(yīng)所述虛擬聲源方位和距離的頭相關(guān)傳輸函數(shù)(HRTF)或雙耳房間脈沖響應(yīng)(BRIR)進(jìn)行時(shí)域卷積，從而得到經(jīng)渲染的虛擬聲源信號。第五步，將該信號饋送至聽眾的耳機(jī)或聽眾面前的揚(yáng)聲器中進(jìn)行重放，聽眾獲得虛擬聲源的感知。注意用音箱進(jìn)行虛擬聲源信號重放時(shí)，包括串音消除的步驟。另外，上述操控觸控裝置1的用戶與聽眾可以是同一人也可為不同的人。

進(jìn)一步的，通過在觸控裝置1的觸摸表面2上觸碰多個(gè)位置可虛擬出多個(gè)虛擬聲源；也可根據(jù)用戶的手在觸控裝置1上的觸摸表面2的運(yùn)動軌跡，虛擬出運(yùn)動的聲源。既可以進(jìn)行實(shí)時(shí)的虛擬聲場卷積以進(jìn)行同步監(jiān)聽，也可以先將虛擬聲源的位置或運(yùn)動軌跡進(jìn)行記錄，再通過后期信號處理的方式得到虛擬聲源信號。

對于多通道環(huán)繞聲重放的情況，如附圖2中斜向箭頭所指向的場景所示，與雙耳信號重放的情況所不同的是，其中，當(dāng)用戶的手接觸到觸控裝置1的觸摸表面2時(shí)，根據(jù)觸摸表面2所感應(yīng)到用戶的手的觸摸位置來確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位，利用能量Panning的方式基于確定的虛擬聲源的方位對干聲信號進(jìn)行渲染，該能量Panning的方式包括但不限于VBAP(Vector Base Amplitude Panning)方式，并將渲染后的信號饋送至多個(gè)音箱進(jìn)行重放，使聽眾獲得虛擬聲源感知。也即，不考慮虛擬聲源的距離。

本發(fā)明的全息音頻渲染控制方法既可以用于音頻制作也可以用于現(xiàn)場演示監(jiān)聽，操控簡單，直觀性強(qiáng)，應(yīng)用前景廣闊。