1.一種視頻超分辨率重建方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種視頻超分辨率重建方法,其特征在于,所述根據(jù)稠密光流場將目標幀圖像向中心幀圖像進行幾何對齊,對對齊后的幀序列進行淺層特征編碼,得到運動一致性特征;具體包括以下步驟:
3.根據(jù)權(quán)利要求1所述的一種視頻超分辨率重建方法,其特征在于,所述通過參數(shù)化殘差縮放模塊自適應(yīng)調(diào)整特征融合比例對視頻幀序列的淺層視覺特征進行提取,具體包括:采用串行級聯(lián)的五層堆疊結(jié)構(gòu)對視頻幀序列進行局部細節(jié)到全局語義的特征提??;其中,利用學(xué)習(xí)參數(shù)動態(tài)調(diào)節(jié)殘差連接強度來自適應(yīng)調(diào)整特征融合比例,并通過移除batchnorm層消除不同視頻幀之間的統(tǒng)計分布差異;各層級特征通過漸進式傳遞進行特征提取,且每個層包含3×3卷積層、leakyrelu激活函數(shù)和參數(shù)化殘差連接;特征提取過程表示為:
4.根據(jù)權(quán)利要求3所述的一種視頻超分辨率重建方法,其特征在于,所述將提取到的淺層視覺特征輸入以時空transformer為基本單元的雙向傳播模塊中,得到時序正向特征和時序逆向特征,具體包括以下步驟:
5.根據(jù)權(quán)利要求4所述的一種視頻超分辨率重建方法,其特征在于,所述通過引入3d位置編碼的時空注意力機制聚合視頻幀序列中的多幀淺層視覺特征,具體包括以下步驟:
6.根據(jù)權(quán)利要求1所述的一種視頻超分辨率重建方法,其特征在于,通過多尺度特征金字塔將時序正向特征和時序逆向特征進行融合,得到細節(jié)特征,具體包括以下步驟:
7.根據(jù)權(quán)利要求1所述的一種視頻超分辨率重建方法,其特征在于,利用動態(tài)門控融合機制將運動一致性特征和細節(jié)特征進行融合;具體包括以下步驟:
8.根據(jù)權(quán)利要求1所述的一種視頻超分辨率重建方法,其特征在于,所述對融合后的特征進行層級特征提取,得到深層視覺特征;具體包括以下步驟:
9.根據(jù)權(quán)利要求1所述的一種視頻超分辨率重建方法,其特征在于,所述根據(jù)深層視覺特征進行像素級重建,生成最終的超分辨率視頻序列;具體包括以下步驟:
10.一種視頻超分辨率重建系統(tǒng),其特征在于,包括: