本發(fā)明涉及圖像處理，特別涉及一種嵌入式npu視頻超分辨率重建方法、系統(tǒng)及設(shè)備。

背景技術(shù)：

1、圖像超分辨率重建技術(shù)是一種旨在提升圖像分辨率并增強(qiáng)圖像細(xì)節(jié)與質(zhì)量的處理方法。該技術(shù)通過(guò)分析圖像內(nèi)含的信息、結(jié)構(gòu)以及習(xí)得的先驗(yàn)知識(shí)，從單張或多張低分辨率圖像中生成高分辨率圖像。它在多個(gè)領(lǐng)域如監(jiān)控視頻、醫(yī)學(xué)成像、衛(wèi)星遙感以及視頻增強(qiáng)等方面有著廣泛的應(yīng)用。傳統(tǒng)的圖像超分辨率重建方法主要基于插值技術(shù)，如最近鄰插值、雙線性插值和雙三次插值等。這些方法雖然操作簡(jiǎn)單，僅通過(guò)增加像素尺寸來(lái)放大圖像，但往往無(wú)法有效地恢復(fù)圖像中的高頻細(xì)節(jié)，因此其重建效果存在局限性。

2、隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，計(jì)算機(jī)視覺(jué)領(lǐng)域取得了顯著進(jìn)步，特別是基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)。例如，dong等人提出的srcnn模型，使用一個(gè)簡(jiǎn)單的三層卷積神經(jīng)網(wǎng)絡(luò)(cnn)來(lái)學(xué)習(xí)低分辨率圖像到高分辨率圖像的映射關(guān)系。隨后，衍生出了如rcan、edsr、srgan等多種高效的超分辨率模型，這些模型通過(guò)增加網(wǎng)絡(luò)深度和參數(shù)量，進(jìn)一步提升了網(wǎng)絡(luò)的學(xué)習(xí)能力和圖像重建性能。

3、然而，將這些深度網(wǎng)絡(luò)模型部署到計(jì)算資源和內(nèi)存有限的嵌入式設(shè)備上面臨挑戰(zhàn)。嵌入式設(shè)備的限制導(dǎo)致部署的網(wǎng)絡(luò)規(guī)模和復(fù)雜度受限，且在實(shí)際應(yīng)用中可能會(huì)出現(xiàn)推理速度慢、重建精度降低等問(wèn)題。因此，必須綜合考慮模型結(jié)構(gòu)、推理速度和重建精度之間的平衡，并采用輕量化和優(yōu)化策略，以適應(yīng)嵌入式設(shè)備的資源限制。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問(wèn)題，本發(fā)明旨在提出一種嵌入式npu視頻超分辨率重建方法、系統(tǒng)及設(shè)備，用于實(shí)現(xiàn)對(duì)低分辨率的視頻到高分辨率視頻的重建，在降低計(jì)算量和參數(shù)量的同時(shí)，保持較高的圖像質(zhì)量，同時(shí)使用硬件加速手段提高模型推理速度。

2、為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一種嵌入式npu視頻超分辨率重建方法，包括：

4、s1、數(shù)據(jù)處理：通過(guò)多種組合退化操作將原始高分辨率圖像轉(zhuǎn)換為低分辨率圖像，模擬實(shí)際場(chǎng)景中的圖像退化過(guò)程，以供模型訓(xùn)練使用；

5、s2、模型構(gòu)建：通過(guò)輕量化的圖像超分辨率生成器和判別器，將低分辨率圖像重建成超分辨率圖像，生成器采用深度可分離卷積和有效的通道注意力機(jī)制，結(jié)合殘差模塊和特征融合技術(shù)，用于顯著減少模型參數(shù)和計(jì)算量，同時(shí)保持較高的圖像重建質(zhì)量；

6、s3、模型訓(xùn)練：使用圖像訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練；將低分辨率圖像作為生成器網(wǎng)絡(luò)的輸入，對(duì)應(yīng)的原始高分辨率圖像樣本作為生成器網(wǎng)絡(luò)的預(yù)期輸出，使用反向傳播算法訓(xùn)練生成器網(wǎng)絡(luò)；將低分辨率圖像和對(duì)應(yīng)的高分辨率圖像作為正例圖像對(duì)，訓(xùn)練樣本數(shù)據(jù)集中的低分辨率圖像和生成器網(wǎng)絡(luò)相應(yīng)輸出的圖像作為反例圖像對(duì)，使用反向傳播算法訓(xùn)練判別器網(wǎng)絡(luò)；

7、s4、模型量化壓縮：將已訓(xùn)練完畢的超分辨率模型文件轉(zhuǎn)換為中間的onnx格式，將onnx格式的模型文件進(jìn)一步轉(zhuǎn)換為嵌入式設(shè)備兼容的rknn格式；

8、s5、部署：輸入低分辨率視頻，通過(guò)opencv庫(kù)讀取視頻每一幀圖像，對(duì)每一幀圖像進(jìn)行必要的預(yù)處理，輸入至量化后的模型中，模型將對(duì)輸入的低分辨率圖像進(jìn)行推理，并加載訓(xùn)練過(guò)程中獲得的模型權(quán)重文件，經(jīng)過(guò)量化模型的處理，輸出超分辨率圖像；最后，利用opencv庫(kù)將處理后的超分辨率圖像重新組合成視頻，從而完成重建超分辨率視頻；

9、s6、加速：針對(duì)步驟s5部署的模型使用硬件加速手段加速推理過(guò)程。

10、進(jìn)一步的，所述步驟s1的數(shù)據(jù)處理包括：對(duì)原始高分辨率圖像執(zhí)行裁剪、高斯模糊、散焦和運(yùn)動(dòng)模糊模擬以及高斯噪聲添加，生成第一參考圖像；

11、對(duì)第一參考圖像實(shí)施jpeg壓縮，引入圖像質(zhì)量壓縮，得到第二參考圖像；

12、對(duì)第二參考圖像執(zhí)行雙三次插值下采樣，并做歸一化處理獲得退化后的低分辨率圖像。

13、進(jìn)一步的，所述步驟s2的圖像重建包括：將低分辨率圖像送入圖像超分辨率生成網(wǎng)絡(luò)的淺層特征提取模塊得到圖像淺層特征圖；

14、將圖像淺層特征圖送入圖像超分辨率生成網(wǎng)絡(luò)的深層特征提取模塊得到圖像深層特征圖。

15、進(jìn)一步的，所述深層特征提取模塊包括預(yù)設(shè)數(shù)量殘差模塊的堆疊，每個(gè)殘差模塊由1x1卷積、3x3卷積、sigmoid和有效的通道注意力機(jī)制級(jí)聯(lián)組成，并引入深度可分離卷積操作；

16、將所述圖像淺層特征圖和深層特征圖送入特征融合模塊得到融合特征圖；

17、將所述融合特征圖送入圖像超分辨率生成網(wǎng)絡(luò)的上采樣模塊得到所述低分辨率圖像的超分辨率圖像；

18、利用所述超分辨率圖像和所述高分辨率圖像，分別輸入圖像超分辨率判別網(wǎng)絡(luò)，可以得到判別所述超分辨率圖像為真實(shí)圖像的概率值；

19、其中判別網(wǎng)絡(luò)是一個(gè)圖像分類(lèi)卷積神經(jīng)網(wǎng)絡(luò)，使用leakrelu激活函數(shù)防止負(fù)性輸出壞死；

20、輸入圖像經(jīng)過(guò)分類(lèi)卷積神經(jīng)網(wǎng)絡(luò)后再經(jīng)過(guò)兩個(gè)線性層得到輸出結(jié)果；

21、根據(jù)所述高分辨率圖像和超分辨率圖像、判別器網(wǎng)絡(luò)輸出的概率值，確定生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的損失函數(shù)。

22、進(jìn)一步的，所述判別網(wǎng)絡(luò)的損失函數(shù)：

23、

24、所述生成網(wǎng)絡(luò)損失函數(shù)由三部分組成：

25、

26、其中l(wèi)percep采用vgg損失：

27、

28、w和h分別表示vgg網(wǎng)絡(luò)中feature?map的維度；

29、i和j分別指第i層最大池化前的第j個(gè)卷積層；

30、其中生成網(wǎng)絡(luò)對(duì)抗損失函數(shù)

31、

32、其中用來(lái)評(píng)估生成的超分辨率圖像g(xi)和原始高分辨率圖像之間1-范數(shù)距離內(nèi)容損失，λ、η是權(quán)重系數(shù)。

33、進(jìn)一步的，所述步驟s3的模型訓(xùn)練包括：使用制作的視頻訓(xùn)練數(shù)據(jù)樣本對(duì)模型進(jìn)行優(yōu)化和微調(diào)；

34、首先，從制作的訓(xùn)練數(shù)據(jù)中獲取一批次低分辨率圖像組lrgroup，批次設(shè)為32，即一次獲取32張低分辨率圖像；

35、其次，利用生成網(wǎng)絡(luò)生成相對(duì)應(yīng)的超分辨率圖像組srgroup；

36、接著，將生成的srgroup與訓(xùn)練數(shù)據(jù)中原始高分辨率圖像組hrgroup對(duì)應(yīng)的送入判別網(wǎng)絡(luò)；

37、同時(shí)，利用生成器的損失函數(shù)和判別器的損失函數(shù)對(duì)模型進(jìn)行調(diào)優(yōu)，完成模型的訓(xùn)練過(guò)程。

38、進(jìn)一步的，所述步驟s4的模型量化壓縮還包括：在此轉(zhuǎn)換過(guò)程中，需預(yù)先設(shè)定模型的輸入尺寸、均值、歸一化參數(shù)以及是否進(jìn)行量化配置選項(xiàng)；

39、對(duì)rknn文件執(zhí)行模型量化操作，即將浮點(diǎn)數(shù)轉(zhuǎn)換為定點(diǎn)數(shù)，以便在嵌入式設(shè)備上高效運(yùn)行。

40、進(jìn)一步的，所述步驟s6的加速包括：利用嵌入式設(shè)備的硬件圖像處理加速器rga來(lái)加快圖像預(yù)處理的速度；

41、通過(guò)線程池實(shí)現(xiàn)并發(fā)操作，從而加速模型的推理速度，提升系統(tǒng)的實(shí)時(shí)性能；

42、在嵌入式推理前，使用rga將大尺寸圖像分割成子塊進(jìn)行超分辨率重建，優(yōu)化子塊拼接流程，采用重疊區(qū)域融合技術(shù)解決拼接線的影響。

43、為了實(shí)現(xiàn)上述目的，本發(fā)明還公開(kāi)了一種嵌入式npu視頻超分辨率重建系統(tǒng)，包括：

44、數(shù)據(jù)處理模塊：用于通過(guò)多種組合退化操作將原始高分辨率圖像轉(zhuǎn)換為低分辨率圖像，以供模型訓(xùn)練使用；

45、模型構(gòu)建模塊：通過(guò)輕量化的圖像超分辨率生成器和判別器，將低分辨率圖像重建成超分辨率圖像；

46、模型訓(xùn)練模塊：使用圖像訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練；將低分辨率圖像作為生成器網(wǎng)絡(luò)的輸入，對(duì)應(yīng)的原始高分辨率圖像樣本作為生成器網(wǎng)絡(luò)的預(yù)期輸出，使用反向傳播算法訓(xùn)練生成器網(wǎng)絡(luò)；將低分辨率圖像和對(duì)應(yīng)的高分辨率圖像作為正例圖像對(duì)，訓(xùn)練樣本數(shù)據(jù)集中的低分辨率圖像和生成器網(wǎng)絡(luò)相應(yīng)輸出的圖像作為反例圖像對(duì)，使用反向傳播算法訓(xùn)練判別器網(wǎng)絡(luò)；

47、模型量化壓縮模塊：用于將已訓(xùn)練完畢的超分辨率模型文件轉(zhuǎn)換為中間的onnx格式，將onnx格式的模型文件進(jìn)一步轉(zhuǎn)換為嵌入式設(shè)備兼容的rknn格式；

48、部署模塊：輸入低分辨率視頻，通過(guò)opencv庫(kù)讀取視頻每一幀圖像，對(duì)每一幀圖像進(jìn)行必要的預(yù)處理，輸入至量化后的模型中，模型將對(duì)輸入的低分辨率圖像進(jìn)行推理，并加載訓(xùn)練過(guò)程中獲得的模型權(quán)重文件，經(jīng)過(guò)量化模型的處理，輸出超分辨率圖像；最后，利用opencv庫(kù)將處理后的超分辨率圖像重新組合成視頻，從而完成重建超分辨率視頻；

49、加速模塊：針對(duì)部署模塊的模型使用硬件加速手段加速推理過(guò)程。

50、為了實(shí)現(xiàn)上述目的，本發(fā)明還公開(kāi)了一種嵌入式npu視頻超分辨率重建設(shè)備，包括處理器及存儲(chǔ)介質(zhì)；

51、所述存儲(chǔ)介質(zhì)用于存儲(chǔ)指令；所述處理器用于根據(jù)所述指令進(jìn)行操作以執(zhí)行上述方法的步驟。

52、有益效果：本發(fā)明基于現(xiàn)有的圖像超分辨率重建算法，本發(fā)明通過(guò)采用輕量化的殘差結(jié)構(gòu)來(lái)替代原始的殘差網(wǎng)絡(luò)，顯著降低了模型的參數(shù)數(shù)量和計(jì)算復(fù)雜度。模型轉(zhuǎn)換與量化過(guò)程在確保圖像重建質(zhì)量的同時(shí)，進(jìn)一步壓縮了模型體積，增強(qiáng)了模型的可移植性，使其更適合在資源受限的嵌入式設(shè)備上部署；

53、此外，本發(fā)明通過(guò)整合多種硬件加速技術(shù)，充分挖掘硬件潛能，大幅提升了模型在嵌入式設(shè)備上的推理速度，從而提高了其實(shí)用性。在不同的測(cè)試數(shù)據(jù)集上驗(yàn)證表明，本發(fā)明的超分辨率重建方法不僅具備快速的推理能力，而且具有高度的便攜性，加速了嵌入式領(lǐng)域?qū)崿F(xiàn)深度學(xué)超分辨率重建的發(fā)展。