本公開涉及人工智能，尤其涉及芯片、大模型和計(jì)算機(jī)視覺，可應(yīng)用于視頻異常幀修復(fù)場景下。更具體地，本公開提供了一種視頻處理方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，可以將利用各種設(shè)備進(jìn)行視頻的采集、傳輸。在視頻傳輸、存儲(chǔ)和視頻解碼播放的過程中，視頻中的一個(gè)或多個(gè)視頻幀可能會(huì)受損，導(dǎo)致視頻播放效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供了一種視頻處理方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)。

2、根據(jù)本公開的一方面，提供了一種視頻處理方法，該方法包括：對(duì)待處理視頻的多個(gè)參考視頻幀進(jìn)行圖像分割，得到多個(gè)參考視頻幀各自的幀圖像分割結(jié)果，其中，幀圖像分割結(jié)果包括與至少一個(gè)對(duì)象對(duì)應(yīng)的至少一個(gè)對(duì)象掩碼信息；根據(jù)多個(gè)參考視頻幀各自的幀圖像分割結(jié)果，生成用于至少一個(gè)對(duì)象的至少一個(gè)對(duì)象素材；根據(jù)與至少一個(gè)對(duì)象對(duì)應(yīng)的至少一個(gè)對(duì)象運(yùn)動(dòng)軌跡信息，確定至少一個(gè)目標(biāo)對(duì)象位置信息，其中，目標(biāo)對(duì)象位置信息用于指示對(duì)象在待處理視頻的待替換視頻幀中的位置；根據(jù)至少一個(gè)目標(biāo)對(duì)象位置信息和至少一個(gè)對(duì)象素材，生成用于替換待替換視頻幀的目標(biāo)視頻幀。

3、根據(jù)本公開的另一方面，提供了一種視頻處理裝置，該裝置包括：圖像分割模塊，用于對(duì)待處理視頻的多個(gè)參考視頻幀進(jìn)行圖像分割，得到多個(gè)參考視頻幀各自的幀圖像分割結(jié)果，其中，幀圖像分割結(jié)果包括與至少一個(gè)對(duì)象對(duì)應(yīng)的至少一個(gè)對(duì)象掩碼信息；第一生成模塊，用于根據(jù)多個(gè)參考視頻幀各自的幀圖像分割結(jié)果，生成用于至少一個(gè)對(duì)象的至少一個(gè)對(duì)象素材；確定模塊，用于根據(jù)與至少一個(gè)對(duì)象對(duì)應(yīng)的至少一個(gè)對(duì)象運(yùn)動(dòng)軌跡信息，確定至少一個(gè)目標(biāo)對(duì)象位置信息，其中，目標(biāo)對(duì)象位置信息用于指示對(duì)象在待處理視頻的待替換視頻幀中的位置；第二生成模塊，用于根據(jù)至少一個(gè)目標(biāo)對(duì)象位置信息和至少一個(gè)對(duì)象素材，生成用于替換待替換視頻幀的目標(biāo)視頻幀。

4、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行根據(jù)本公開提供的方法。

5、根據(jù)本公開的另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行根據(jù)本公開提供的方法。

6、根據(jù)本公開的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開提供的方法。

7、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種視頻處理方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述幀圖像分割結(jié)果包括至少一個(gè)局部圖像分割結(jié)果，

3.根據(jù)權(quán)利要求1或2所述的方法，還包括：

4.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)多個(gè)所述參考視頻幀各自的幀圖像分割結(jié)果，生成用于至少一個(gè)對(duì)象的至少一個(gè)對(duì)象素材包括：

5.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)至少一個(gè)所述對(duì)象位置信息和至少一個(gè)所述對(duì)象素材，生成用于替換所述待替換視頻幀的目標(biāo)視頻幀包括：

6.根據(jù)權(quán)利要求5所述的方法，其中，所述根據(jù)多個(gè)所述參考視頻幀，確定場景圖像包括：

7.根據(jù)權(quán)利要求6所述的方法，其中，所述待融合圖像數(shù)據(jù)是將所述參考視頻幀和所述視頻幀差異信息融合得到的。

8.根據(jù)權(quán)利要求1所述的方法，其中，多個(gè)所述參考視頻幀包括以下至少之一：

9.一種視頻處理裝置，包括：

10.一種電子設(shè)備，包括：

11.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法。

12.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供了一種視頻處理方法，涉及人工智能技術(shù)領(lǐng)域，尤其涉及芯片、大模型和計(jì)算機(jī)視覺技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：對(duì)待處理視頻的多個(gè)參考視頻幀進(jìn)行圖像分割，得到多個(gè)參考視頻幀各自的幀圖像分割結(jié)果，其中，幀圖像分割結(jié)果包括至少一個(gè)對(duì)象掩碼信息；根據(jù)多個(gè)參考視頻幀各自的幀圖像分割結(jié)果，生成用于至少一個(gè)對(duì)象的至少一個(gè)對(duì)象素材；根據(jù)至少一個(gè)對(duì)象運(yùn)動(dòng)軌跡信息，確定至少一個(gè)目標(biāo)對(duì)象位置信息，其中，目標(biāo)對(duì)象位置信息用于指示對(duì)象在待處理視頻的待替換視頻幀中的位置；根據(jù)至少一個(gè)目標(biāo)對(duì)象位置信息和至少一個(gè)對(duì)象素材，生成用于替換待替換視頻幀的目標(biāo)視頻幀。本公開還提供了一種視頻處理裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

技術(shù)研發(fā)人員：劉沫,陳文敏
受保護(hù)的技術(shù)使用者：昆侖芯（北京）科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15