本申請涉及視頻編解碼領(lǐng)域，尤其是一種指定隱層特征屬性的視頻編解碼方法、裝置及存儲設(shè)備。

背景技術(shù)：

1、在面向機(jī)器智能的場景下，現(xiàn)有的一部分圖像視頻編解碼方法直接編解碼圖像視頻，然后使用重建圖像視頻進(jìn)一步完成機(jī)器智能任務(wù)。但也有一部分方法對智能分析任務(wù)推理過程中的特征數(shù)據(jù)編解碼。在這種框架中，首先需要使用任務(wù)網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)從圖像視頻提取特征，然后使用圖像視頻編解碼器編碼和解碼特征，最后將解碼的特征作為機(jī)器智能任務(wù)的輸入，推理以完成機(jī)器智能任務(wù)。由于機(jī)器智能任務(wù)網(wǎng)絡(luò)不盡相同，待編碼的特征尺寸和內(nèi)容也不一致。如果不在碼流中指示該特征數(shù)據(jù)應(yīng)當(dāng)被送入機(jī)器智能任務(wù)網(wǎng)絡(luò)的位置，可能會使機(jī)器智能任務(wù)網(wǎng)絡(luò)無法使用該特征完成后續(xù)任務(wù)推理。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種指定隱層特征屬性的視頻編解碼方法及裝置，包括如下方面：

2、本發(fā)明的第一個方面提供一種指定隱層特征屬性的視頻解碼方法，包括：

3、從碼流中解析指定隱層特征屬性的語法元素，所述隱層特征屬性包含如下信息中的任意一種或幾種的組合：

4、解碼特征所對應(yīng)的一種或一類智能任務(wù)網(wǎng)絡(luò)模型；

5、解碼特征輸入到智能任務(wù)網(wǎng)絡(luò)模型中的位置；

6、發(fā)送端特征提取器的類型。

7、進(jìn)一步的，該解碼方法還包括：

8、調(diào)用智能任務(wù)網(wǎng)絡(luò)，并基于所述隱層特征屬性來使用隱層特征完成智能任務(wù)的推理或分析。

9、本發(fā)明的第二個方面提供一種指定隱層特征屬性的視頻編碼方法，包括：

10、在碼流中增加指定隱層特征屬性的語法元素，所述隱層特征屬性包含如下信息中的任意一種或幾種的組合：

11、解碼特征所對應(yīng)的一種或一類智能任務(wù)網(wǎng)絡(luò)模型；

12、解碼特征輸入到智能任務(wù)網(wǎng)絡(luò)模型中的位置；

13、發(fā)送端特征提取器的類型。

14、本發(fā)明的第三個方面提供一種指定隱層特征屬性的視頻解碼裝置，包括：

15、處理器；

16、用于存儲碼流的存儲器；以及

17、一個或多個程序用于完成如上述第一個方面所述的指定隱層特征屬性的視頻解碼方法。

18、本發(fā)明的第四個方面提供一種指定隱層特征屬性的視頻編碼裝置，包括：

19、處理器；

20、用于存儲碼流的存儲器；以及

21、一個或多個程序用于完成如如上述第二個方面所述的指定隱層特征屬性的視頻編碼方法。

22、本發(fā)明的第五個方面提供一種存儲設(shè)備，該存儲設(shè)備包含碼流，該碼流使用如上述第一個方面所述的指定隱層特征屬性的視頻解碼方法進(jìn)行解碼并用于智能任務(wù)網(wǎng)絡(luò)。

23、本發(fā)明的第六個方面提供一種存儲設(shè)備，該存儲設(shè)備包含碼流，該碼流使用如上述第二個方面所述的指定隱層特征屬性的視頻編碼方法進(jìn)行編碼并用于智能任務(wù)網(wǎng)絡(luò)。

24、本申請的有益效果在于：

25、在碼流中使用語法元素來指定解碼特征的屬性，依次來指導(dǎo)該特征的后續(xù)處理方法。該屬性標(biāo)明了解碼特征中所包含的語義信息能夠完成的智能任務(wù)類型，還可以標(biāo)明解碼特征可以直接作為智能任務(wù)網(wǎng)絡(luò)中間某一層的輸入數(shù)據(jù)并完成特定任務(wù)，還可以標(biāo)明解碼特征可以支持一組智能任務(wù)，并指導(dǎo)接收端調(diào)用相應(yīng)的適配器處理解碼的特征以將其用于完成特定任務(wù)，還可以表明發(fā)送端使用的特征提取器類型，并指導(dǎo)接收端利用該特征提取器對后端網(wǎng)絡(luò)重新設(shè)計(jì)和訓(xùn)練。這種方法的好處是，能夠明確規(guī)定解碼特征的能力和用途，為接收端進(jìn)行后續(xù)處理提供了準(zhǔn)確的指導(dǎo)；同時，還能為接收端進(jìn)行針對性的任務(wù)網(wǎng)絡(luò)再優(yōu)化提供語義信息范圍的約束，有助于接收端使用該解碼特征提升特定任務(wù)的準(zhǔn)確度。

技術(shù)特征：

1.一種指定隱層特征屬性的視頻解碼方法，其特征在于，包括：

2.如權(quán)利要求1所述的指定隱層特征屬性的視頻解碼方法，其特征在于，還包括：

3.一種指定隱層特征屬性的視頻編碼方法，其特征在于，包括：

4.一種指定隱層特征屬性的視頻解碼裝置，其特征在于，包括：

5.一種指定隱層特征屬性的視頻編碼裝置，其特征在于，包括：

6.一種存儲設(shè)備，其特征在于，該存儲設(shè)備包含碼流，該碼流使用如權(quán)利要求1或2所述的指定隱層特征屬性的視頻解碼方法進(jìn)行解碼并用于智能任務(wù)網(wǎng)絡(luò)。

7.一種存儲設(shè)備，其特征在于，該存儲設(shè)備包含碼流，該碼流使用如權(quán)利要求3所述的指定隱層特征屬性的視頻編碼方法進(jìn)行編碼并用于智能任務(wù)網(wǎng)絡(luò)。

技術(shù)總結(jié)
本申請?zhí)峁┮环N指定隱層特征屬性的視頻編解碼方法及裝置，所述視頻解碼方法，包括：從碼流中解析指定隱層特征屬性的語法元素，所述隱層特征屬性包含如下信息中的任意一種或幾種的組合：解碼特征所對應(yīng)的一種或一類智能任務(wù)網(wǎng)絡(luò)模型；解碼特征輸入到智能任務(wù)網(wǎng)絡(luò)模型中的位置；發(fā)送端特征提取器的類型。本發(fā)明的方法及裝置能夠明確規(guī)定被編碼的特征的能力和用途，為接收端進(jìn)行后續(xù)處理提供了準(zhǔn)確的指導(dǎo)；同時，還能為接收端進(jìn)行針對性的任務(wù)網(wǎng)絡(luò)再優(yōu)化提供語義信息范圍的約束，有助于接收端使用該被編碼的特征提升特定任務(wù)的準(zhǔn)確度。

技術(shù)研發(fā)人員：虞露,賈可,于化龍
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15