本申請(qǐng)涉及超高清視頻傳輸,尤其涉及一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法、設(shè)備及介質(zhì)。
背景技術(shù):
1、隨著視頻采集技術(shù)的進(jìn)步,超高清視頻(如8k/120fps)逐漸普及,隨之造成的事視頻數(shù)據(jù)量巨大,傳統(tǒng)編碼標(biāo)準(zhǔn)(如hevc)在實(shí)時(shí)傳輸中面臨高帶寬占用與編解碼延遲問題。
2、現(xiàn)有的主流分塊編碼方案采用固定分塊大小,難以適應(yīng)復(fù)雜動(dòng)態(tài)場(chǎng)景(如快速運(yùn)動(dòng)畫面),導(dǎo)致碼率波動(dòng)大、畫質(zhì)損失明顯。?且未解決動(dòng)態(tài)場(chǎng)景下的分塊策略問題,在網(wǎng)絡(luò)帶寬波動(dòng)時(shí),自適應(yīng)算法響應(yīng)速度慢,易出現(xiàn)卡頓或分辨率下降。現(xiàn)有技術(shù)無法實(shí)現(xiàn)基于歷史帶寬預(yù)測(cè)進(jìn)行碼率調(diào)整,同時(shí)聯(lián)合視頻內(nèi)容特征進(jìn)行針對(duì)性的編碼優(yōu)化。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法、設(shè)備及介質(zhì),解決了現(xiàn)有技術(shù)中超高清視頻分塊編碼碼率波動(dòng)大、畫質(zhì)損失明顯的技術(shù)問題。
2、第一方面,本申請(qǐng)實(shí)施例提供了一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,方法包括:獲取超高清視頻幀,并對(duì)超高清視頻幀進(jìn)行視頻場(chǎng)景識(shí)別,以得到動(dòng)態(tài)分塊建議圖;基于動(dòng)態(tài)分塊建議圖,通過分塊決策分析,確定視頻分塊結(jié)果;對(duì)視頻分塊結(jié)果進(jìn)行分層量化編碼處理,以得到差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù);根據(jù)差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù),通過帶寬周期預(yù)測(cè),確定抗波動(dòng)帶寬數(shù)據(jù);基于抗波動(dòng)帶寬數(shù)據(jù),通過動(dòng)態(tài)碼率控制,得到碼率分配數(shù)據(jù)。
3、在本申請(qǐng)的一種實(shí)現(xiàn)方式中,對(duì)超高清視頻幀進(jìn)行視頻場(chǎng)景識(shí)別,以得到動(dòng)態(tài)分塊建議圖,具體包括:對(duì)超高清視頻幀進(jìn)行運(yùn)動(dòng)矢量分析,以得到第一動(dòng)態(tài)特征;對(duì)超高清視頻幀進(jìn)行紋理復(fù)雜度分析,以得到第二動(dòng)態(tài)特征;基于第一動(dòng)態(tài)特征和第二動(dòng)態(tài)特征,確定超高清視頻幀的動(dòng)態(tài)特征向量;根據(jù)動(dòng)態(tài)特征向量,通過動(dòng)態(tài)分塊分析,得到動(dòng)態(tài)分塊建議圖;其中動(dòng)態(tài)分塊分析包括:區(qū)域建議分塊尺寸標(biāo)記、分塊尺寸優(yōu)化、紋理復(fù)雜度評(píng)分。
4、在本申請(qǐng)的一種實(shí)現(xiàn)方式中,基于動(dòng)態(tài)分塊建議圖,通過分塊決策分析,確定視頻分塊結(jié)果,具體包括:對(duì)動(dòng)態(tài)分塊建議圖進(jìn)行分塊參數(shù)配置,以得到待優(yōu)化分塊視頻幀;其中,分塊參數(shù)配置包括:運(yùn)動(dòng)敏感區(qū)域、紋理復(fù)雜區(qū)域、連續(xù)靜態(tài)區(qū)域;對(duì)待優(yōu)化分塊視頻幀進(jìn)行分塊邊界優(yōu)化,以確定視頻分塊結(jié)果;其中,分塊邊界優(yōu)化包括:形態(tài)學(xué)閉運(yùn)算、分塊尺寸梯度變化約束。
5、在本申請(qǐng)的一種實(shí)現(xiàn)方式中,在對(duì)待優(yōu)化分塊視頻幀進(jìn)行分塊邊界優(yōu)化,以確定視頻分塊結(jié)果之后,方法還包括:基于視頻分塊結(jié)果,通過帶寬變化閾值分析,確定視頻調(diào)整模式;其中,視頻調(diào)整模式包括:正常模式、緊急模式;在視頻調(diào)整模式為正常模式的情況下,保持原有視頻分塊狀態(tài);在視頻調(diào)整模式為緊急模式的情況下,通過區(qū)域質(zhì)量動(dòng)態(tài)調(diào)整,得到動(dòng)態(tài)優(yōu)化圖像;將預(yù)設(shè)的i幀插入至動(dòng)態(tài)優(yōu)化圖像中,以確定緊急模式優(yōu)化數(shù)據(jù)。
6、在本申請(qǐng)的一種實(shí)現(xiàn)方式中,對(duì)視頻分塊結(jié)果進(jìn)行分層量化編碼處理,以得到差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù),具體包括:基于視頻分塊結(jié)果,通過運(yùn)動(dòng)等級(jí)匹配,確定分塊類型對(duì)應(yīng)的運(yùn)動(dòng)等級(jí);將運(yùn)動(dòng)等級(jí)匹配對(duì)應(yīng)的量化參數(shù),以得到分層量化數(shù)據(jù);根據(jù)分層量化數(shù)據(jù),通過碼率權(quán)重匹配,確定差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù)。
7、在本申請(qǐng)的一種實(shí)現(xiàn)方式中,根據(jù)差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù),通過帶寬周期預(yù)測(cè),確定抗波動(dòng)帶寬數(shù)據(jù),具體包括:基于動(dòng)態(tài)分配數(shù)據(jù),通過周期帶寬檢測(cè),得到當(dāng)前可用帶寬;其中,周期帶寬檢測(cè)的計(jì)算公式為:
8、
9、其中,為數(shù)據(jù)包有效載荷,是第個(gè)數(shù)據(jù)包的往返時(shí)間,為當(dāng)前可用帶寬值;對(duì)當(dāng)前可用帶寬進(jìn)行抗干擾平滑處理,以得到抗波動(dòng)帶寬數(shù)據(jù);其中,抗干擾平滑處理的計(jì)算公式為:
10、
11、其中,為經(jīng)過帶寬平滑處理之后的帶寬值,為上次計(jì)算的帶寬值。
12、在本申請(qǐng)的一種實(shí)現(xiàn)方式中,基于抗波動(dòng)帶寬數(shù)據(jù),通過動(dòng)態(tài)碼率控制,得到碼率分配數(shù)據(jù),具體包括:對(duì)抗波動(dòng)帶寬數(shù)據(jù)進(jìn)行碼率動(dòng)態(tài)運(yùn)算,以得到待分配碼率;其中,碼率動(dòng)態(tài)運(yùn)算的計(jì)算公式為:
13、
14、其中,為編碼器支持的最大碼率,為分塊的碼率權(quán)重,為分塊當(dāng)前的值;將待分配碼率分配至對(duì)應(yīng)的編碼中,以得到碼率分配數(shù)據(jù)。
15、在本申請(qǐng)的一種實(shí)現(xiàn)方式中,在基于抗波動(dòng)帶寬數(shù)據(jù),通過動(dòng)態(tài)碼率控制,得到碼率分配數(shù)據(jù)之后,方法還包括:基于碼率分配數(shù)據(jù),得到超高清優(yōu)化視頻;通過預(yù)設(shè)的傳輸網(wǎng)絡(luò),將超高清優(yōu)化視頻傳輸至視頻目的地,以得到輸出超高清視頻。
16、第二方面,本申請(qǐng)實(shí)施例還提供了一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化設(shè)備,其特征在于,設(shè)備包括:至少一個(gè)處理器;以及,與至少一個(gè)處理器通信連接的存儲(chǔ)器;其中,存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令,指令被至少一個(gè)處理器執(zhí)行,以使至少一個(gè)處理器能夠:獲取超高清視頻幀,并對(duì)超高清視頻幀進(jìn)行視頻場(chǎng)景識(shí)別,以得到動(dòng)態(tài)分塊建議圖;基于動(dòng)態(tài)分塊建議圖,通過分塊決策分析,確定視頻分塊結(jié)果;對(duì)視頻分塊結(jié)果進(jìn)行分層量化編碼處理,以得到差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù);根據(jù)差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù),通過帶寬周期預(yù)測(cè),確定抗波動(dòng)帶寬數(shù)據(jù);基于抗波動(dòng)帶寬數(shù)據(jù),通過動(dòng)態(tài)碼率控制,得到碼率分配數(shù)據(jù)。
17、第三方面,本申請(qǐng)實(shí)施例還提供了一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì),存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,其特征在于,計(jì)算機(jī)可執(zhí)行指令設(shè)置為:獲取超高清視頻幀,并對(duì)超高清視頻幀進(jìn)行視頻場(chǎng)景識(shí)別,以得到動(dòng)態(tài)分塊建議圖;基于動(dòng)態(tài)分塊建議圖,通過分塊決策分析,確定視頻分塊結(jié)果;對(duì)視頻分塊結(jié)果進(jìn)行分層量化編碼處理,以得到差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù);根據(jù)差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù),通過帶寬周期預(yù)測(cè),確定抗波動(dòng)帶寬數(shù)據(jù);基于抗波動(dòng)帶寬數(shù)據(jù),通過動(dòng)態(tài)碼率控制,得到碼率分配數(shù)據(jù)。
18、本申請(qǐng)實(shí)施例提供了一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法、設(shè)備及介質(zhì),通過分塊決策與量化、基于帶寬預(yù)測(cè)的碼率調(diào)整以及碼率的實(shí)時(shí)分配,解決了現(xiàn)有技術(shù)中超高清視頻分塊編碼碼率波動(dòng)大、畫質(zhì)損失明顯的技術(shù)問題,實(shí)現(xiàn)了超高清視頻的動(dòng)態(tài)編碼,提高了波動(dòng)網(wǎng)絡(luò)下的傳輸?shù)姆€(wěn)定性,降低了傳輸延時(shí),突破現(xiàn)有標(biāo)準(zhǔn)在8k實(shí)時(shí)傳輸中的性能瓶頸。
1.一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,對(duì)所述超高清視頻幀進(jìn)行視頻場(chǎng)景識(shí)別,以得到動(dòng)態(tài)分塊建議圖,具體包括:
3.根據(jù)權(quán)利要求1所述的一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,基于所述動(dòng)態(tài)分塊建議圖,通過分塊決策分析,確定視頻分塊結(jié)果,具體包括:
4.根據(jù)權(quán)利要求3所述的一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,在對(duì)所述待優(yōu)化分塊視頻幀進(jìn)行分塊邊界優(yōu)化,以確定所述視頻分塊結(jié)果之后,所述方法還包括:
5.根據(jù)權(quán)利要求1所述的一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,對(duì)所述視頻分塊結(jié)果進(jìn)行分層量化編碼處理,以得到差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù),具體包括:
6.根據(jù)權(quán)利要求1所述的一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,根據(jù)所述差異化量化參數(shù)的動(dòng)態(tài)分配數(shù)據(jù),通過帶寬周期預(yù)測(cè),確定抗波動(dòng)帶寬數(shù)據(jù),具體包括:
7.根據(jù)權(quán)利要求1所述的一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,基于所述抗波動(dòng)帶寬數(shù)據(jù),通過動(dòng)態(tài)碼率控制,得到碼率分配數(shù)據(jù),具體包括:
8.根據(jù)權(quán)利要求1所述的一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化方法,其特征在于,在基于所述抗波動(dòng)帶寬數(shù)據(jù),通過動(dòng)態(tài)碼率控制,得到碼率分配數(shù)據(jù)之后,所述方法還包括:
9.一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化設(shè)備,其特征在于,所述設(shè)備包括:
10.一種基于超高清視頻傳輸?shù)姆謮K優(yōu)化的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì),存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,其特征在于,所述計(jì)算機(jī)可執(zhí)行指令設(shè)置為: