本技術(shù)實(shí)施例涉及通信，尤其涉及一種全景視頻語義傳輸方法及裝置。

背景技術(shù)：

1、在6g愿景中，沉浸式通信將成為關(guān)鍵一大應(yīng)用場景，用戶將觀看到360度全景視頻并與虛擬世界互動。為確保用戶的服務(wù)質(zhì)量(quality?of?service,qos)，基站需要提供低延遲(低于20ms)、高質(zhì)量視頻傳輸。然而，對于4k視頻(分辨率為3840×1920)，由于視場角(field?of?view，fov)的限制，用戶實(shí)際上只能看到分辨率為960×540的圖像。因此，為提供沉浸式體驗(yàn)，網(wǎng)絡(luò)需要傳輸更高分辨率的全景視頻，所需傳輸?shù)臄?shù)據(jù)量急劇增加。

2、目前的全景視頻技術(shù)多采用不同的多址技術(shù)，在結(jié)合全景視頻特點(diǎn)的基礎(chǔ)上進(jìn)行合理的資源分配、碼率選擇等。多址技術(shù)的干擾和噪聲管理依賴于良好的通信環(huán)境。當(dāng)網(wǎng)絡(luò)流量急劇增加，出現(xiàn)數(shù)據(jù)擁堵時(shí)，信噪比急劇下降，多址技術(shù)無法有效的從接收信號中分離出原始信號，從而造成沉浸式體驗(yàn)質(zhì)量出現(xiàn)懸崖效應(yīng)，嚴(yán)重影響視頻質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例的目的在于提出一種全景視頻語義傳輸方法及裝置。

2、基于上述目的，本技術(shù)實(shí)施例提供了一種全景視頻語義傳輸方法，應(yīng)用于發(fā)送端，包括：

3、對各用戶請求的全景視頻數(shù)據(jù)進(jìn)行語義編碼，得到各用戶的全景視頻數(shù)據(jù)對應(yīng)的語義信息流；

4、將各用戶的歷史視場角信息輸入預(yù)先構(gòu)建的視場角預(yù)測模型，由所述視場角預(yù)測模型輸出各用戶的當(dāng)前視場角信息；

5、將各用戶的當(dāng)前視場角信息映射于語義空間，得到各用戶的當(dāng)前視場角語義信息；

6、基于各用戶的當(dāng)前視場角語義信息，利用預(yù)設(shè)的消息分割器將各用戶的語義信息流分流為各用戶的公共子語義流和私有語義流；

7、將各用戶的公共子語義流合并為一路公共語義流，并基于預(yù)設(shè)的公共語義流碼本對該路公共語義流進(jìn)行編碼，得到公共語義碼字；

8、基于預(yù)設(shè)的私有語義流碼本，對各用戶的私有語義流進(jìn)行編碼，得到各用戶的私有語義碼字；

9、將各用戶的當(dāng)前視場角語義信息、當(dāng)前信道狀態(tài)信息、歷史資源分配策略信息輸入預(yù)先構(gòu)建的資源分配模型，由所述資源分配模型輸出所述公共語義碼字和私有語義碼字的資源分配策略。

10、可選的，將各用戶的當(dāng)前視場角信息映射于語義空間，得到各用戶的當(dāng)前視角語義信息，包括：

11、對于每個(gè)用戶，定義與所述全景視頻數(shù)據(jù)大小相同的系數(shù)矩陣；

12、將所述系數(shù)矩陣與用戶的當(dāng)前視場角信息進(jìn)行對應(yīng)，將所述系數(shù)矩陣中與視場角內(nèi)對應(yīng)的系數(shù)設(shè)置為第一預(yù)定值，將視場角外的系數(shù)設(shè)置為第二預(yù)定值，得到更新的系數(shù)矩陣；其中，第一預(yù)定值大于第二預(yù)定值；

13、對所述更新的系數(shù)矩陣進(jìn)行特征提取，得到當(dāng)前視場角特征；

14、對所述當(dāng)前視場角特征進(jìn)行向量化處理，得到當(dāng)前視場角語義信息。

15、可選的，基于各用戶的當(dāng)前視場角語義信息，利用預(yù)設(shè)的消息分割器將各用戶的語義信息流分流為各用戶的公共子語義流和私有語義流，包括：

16、將各用戶的當(dāng)前視場角語義信息相重疊部分對應(yīng)的語義信息流作為公共子語義流，將各用戶的當(dāng)前視場角語義信息未重疊部分對應(yīng)的語義信息流作為各用戶的私有語義流。

17、可選的，所述資源分配模型的訓(xùn)練方法包括：

18、構(gòu)建訓(xùn)練樣本；其中，所述訓(xùn)練樣本包括一定時(shí)間段內(nèi)的一定數(shù)量的狀態(tài)信息、獲得的資源分配策略、計(jì)算得到的虛擬獎勵和真實(shí)獎勵；所述狀態(tài)信息包括視場角語義信息、信道狀態(tài)信息和歷史資源分配策略信息；

19、基于所述訓(xùn)練樣本更新資源分配模型的參數(shù)。

20、可選的，所述真實(shí)獎勵根據(jù)執(zhí)行資源分配策略后所計(jì)算得到的傳輸時(shí)延得分和視頻質(zhì)量得分確定。

21、可選的，所述資源分配策略包括：所述公共語義碼字和各用戶的私有語義碼字的功率分配比例、傳輸速率分配比例，以及各用戶的信道帶寬分配比例。

22、可選的，所述方法還包括：

23、按照所述資源分配策略，將所述公共語義碼字和各用戶的私有語義碼字進(jìn)行歸一化，并將歸一化的碼字進(jìn)行疊加，經(jīng)信道傳輸疊加后的語義碼字。

24、本技術(shù)實(shí)施例還提供一種全景視頻語義傳輸方法，應(yīng)用于接收端，包括經(jīng)信道接收語義碼字；

25、基于預(yù)設(shè)的公共語義碼本對所述語義碼字進(jìn)行解碼，得到解碼的公共語義流；

26、利用預(yù)設(shè)的消息分割器，從所述解碼的公共語義流中分割出當(dāng)前用戶的公共子語義流；

27、基于所述語義碼字和所述解碼的公共語義流進(jìn)行連續(xù)干擾消除處理，去除所述解碼的公共語義流，得到各用戶的私有語義碼字；

28、基于預(yù)設(shè)的私有語義碼本對各用戶的私有語義碼字進(jìn)行解碼，得到解碼的當(dāng)前用戶的私有語義流；

29、將當(dāng)前用戶的公共子語義流和解碼的當(dāng)前用戶的私有語義流進(jìn)行合并，得到當(dāng)前用戶的語義信息流；

30、對當(dāng)前用戶的語義信息流進(jìn)行語義解碼，得到恢復(fù)的全景視頻數(shù)據(jù)。

31、本技術(shù)實(shí)施例還提供一種全景視頻語義傳輸裝置，應(yīng)用于發(fā)送端，包括：

32、視頻語義編碼模塊，用于對各用戶請求的全景視頻數(shù)據(jù)進(jìn)行語義編碼，得到各用戶的全景視頻數(shù)據(jù)對應(yīng)的語義信息流；

33、視場角預(yù)測模塊，用于將各用戶的歷史視場角信息輸入預(yù)先構(gòu)建的視場角預(yù)測模型，由所述視場角預(yù)測模型輸出各用戶的當(dāng)前視場角信息；

34、語義映射模塊，用于將各用戶的當(dāng)前視場角信息映射于語義空間，得到各用戶的當(dāng)前視場角語義信息；

35、分割模塊，用于基于各用戶的當(dāng)前視場角語義信息，利用預(yù)設(shè)的消息分割器將各用戶的語義信息流分流為各用戶的公共子語義流和私有語義流；

36、合并及編碼模塊，用于將各用戶的公共子語義流合并為一路公共語義流，并基于預(yù)設(shè)的公共語義流碼本對該路公共語義流進(jìn)行編碼，得到公共語義碼字；

37、私有語義編碼模塊，用于基于預(yù)設(shè)的私有語義流碼本，對各用戶的私有語義流進(jìn)行編碼，得到各用戶的私有語義碼字；

38、資源分配模塊，用于將各用戶的當(dāng)前視場角語義信息、當(dāng)前信道狀態(tài)信息、歷史資源分配策略信息輸入預(yù)先構(gòu)建的資源分配模型，由所述資源分配模型輸出所述公共語義碼字和私有語義碼字的資源分配策略。

39、本技術(shù)實(shí)施例還提供一種全景視頻語義傳輸裝置，應(yīng)用于接收端，包括：

40、接收模塊，用于經(jīng)信道接收語義碼字；

41、公共碼字解碼模塊，用于基于預(yù)設(shè)的公共語義碼本對所述語義碼字進(jìn)行解碼，得到解碼的公共語義流；

42、公共分割模塊，用于利用預(yù)設(shè)的消息分割器，從所述解碼的公共語義流中分割出當(dāng)前用戶的公共子語義流；

43、私有分割模塊，用于基于所述語義碼字和所述解碼的公共語義流進(jìn)行連續(xù)干擾消除處理，去除所述解碼的公共語義流，得到各用戶的私有語義碼字；

44、私有碼字解碼模塊，用于基于預(yù)設(shè)的私有語義碼本對各用戶的私有語義碼字進(jìn)行解碼，得到解碼的當(dāng)前用戶的私有語義流；

45、合并模塊，用于將當(dāng)前用戶的公共子語義流和解碼的當(dāng)前用戶的私有語義流進(jìn)行合并，得到當(dāng)前用戶的語義信息流；

46、恢復(fù)模塊，用于對當(dāng)前用戶的語義信息流進(jìn)行語義解碼，得到恢復(fù)的全景視頻數(shù)據(jù)。

47、從上面所述可以看出，本技術(shù)實(shí)施例提供的全景視頻語義傳輸方法及裝置，通過將語義通信與速率分割多址技術(shù)相結(jié)合，在多用戶并發(fā)的復(fù)雜場景下，能夠?qū)崿F(xiàn)對公共語義流與私有語義流的合理資源分配，提高高負(fù)載場景下的整體傳輸效率與魯棒性，提高全景視頻的傳輸性能。