本申請涉及視頻處理，尤其涉及一種人像消除方法、設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、在多媒體處理領(lǐng)域，尤其是視頻編輯和后期制作過程中，常存在對視頻中的指定人像進(jìn)行消除的需求。

2、目前上述需求多通過視頻剪輯軟件實現(xiàn)。視頻剪輯軟件可以提供一系列的圖像編輯工具，允許用戶逐幀查看視頻內(nèi)容，并通過手動操作圖像編輯工具來消除每一幀圖像中的人像，但并不支持自動消除指定人像。

技術(shù)實現(xiàn)思路

1、第一方面，本申請實施例提供一種人像消除方法，包括：

2、響應(yīng)于在視頻上的指定操作，從所述視頻中確定出所述指定操作所指定的目標(biāo)人像的指定人臉特征；

3、基于所述視頻中視頻幀包含的人像的人臉特征與所述指定人臉特征之間的相似度，從所述視頻幀中確定出目標(biāo)視頻幀；

4、獲取所述目標(biāo)視頻幀中所述目標(biāo)人像的掩膜，將所述目標(biāo)視頻幀和所述目標(biāo)人像的掩膜輸入至圖像修復(fù)模型，得到所述圖像修復(fù)模型輸出的修復(fù)圖像，其中，所述目標(biāo)人像的掩膜用于指定所述目標(biāo)視頻幀的待修復(fù)區(qū)域，所述修復(fù)圖像不再包括所述目標(biāo)人像；

5、基于所述目標(biāo)人像的掩膜從所述修復(fù)圖像中摳取得到已修復(fù)區(qū)域，并基于所述目標(biāo)人像的掩膜從所述目標(biāo)視頻幀中摳除所述目標(biāo)人像得到待合成圖像；

6、在所述待合成圖像上疊加所述已修復(fù)區(qū)域，得到對所述目標(biāo)視頻幀進(jìn)行目標(biāo)人像消除后的修復(fù)視頻幀。

7、在一些實施例中，從所述視頻中確定出所述指定操作所指定的目標(biāo)人像的指定人臉特征，包括：

8、對所述視頻中所述指定操作關(guān)聯(lián)的視頻幀進(jìn)行圖像分割，得到所述關(guān)聯(lián)的視頻幀中一個或多個第一人像的掩膜；

9、根據(jù)所述一個或多個第一人像的掩膜確定一個或多個第一人像檢測框；

10、確定發(fā)生所述指定操作對應(yīng)的第一人像檢測框，對發(fā)生所述指定操作的第一人像檢測框?qū)?yīng)的感興趣區(qū)域子圖進(jìn)行人臉檢測；

11、響應(yīng)于在所述的感興趣區(qū)域子圖中檢測到指定人臉，提取所述指定人臉的特征作為所述指定人臉特征，發(fā)生所述指定操作的第一人像檢測框?qū)?yīng)的第一人像為所述目標(biāo)人像。

12、在一些實施例中，基于所述視頻中視頻幀包含的人像的人臉特征與所述指定人臉特征之間的相似度，從所述視頻幀中確定出目標(biāo)視頻幀，包括：

13、獲取每個所述視頻幀的候選人臉特征；

14、確定所述視頻幀存在所述候選人臉特征與所述指定人臉特征之間的相似度大于預(yù)設(shè)閾值，則將所述視頻幀作為所述目標(biāo)視頻幀；

15、其中，獲取所述目標(biāo)視頻幀中所述目標(biāo)人像的掩膜，包括：

16、獲取相似度大于預(yù)設(shè)閾值的所述候選人臉特征對應(yīng)的候選人臉檢測框作為目標(biāo)人臉檢測框；對所述目標(biāo)視頻幀進(jìn)行圖像分割，得到所述目標(biāo)視頻幀中一個或多個第二人像的掩膜；

17、基于所述一個或多個第二人像的掩膜與所述目標(biāo)人臉檢測框的重合關(guān)系，從所述一個或多個第二人像的掩膜中確定所述目標(biāo)人像的掩膜。

18、在一些實施例中，還包括：

19、以所述目標(biāo)視頻幀為起點，對所述視頻進(jìn)行前向視頻追蹤和后向視頻追蹤中的至少一種，得到所述視頻中還存在所述目標(biāo)人像的視頻幀，并將還存在所述目標(biāo)人像的視頻幀作為追蹤視頻幀；

20、將所述追蹤視頻幀作為新的目標(biāo)視頻幀。

21、在一些實施例中，以所述目標(biāo)視頻幀為起點，對所述視頻進(jìn)行前向視頻追蹤，得到所述視頻中還存在所述目標(biāo)人像的視頻幀，并將還存在所述目標(biāo)人像的視頻幀作為追蹤視頻幀，包括：

22、將任一目標(biāo)視頻幀作為當(dāng)前幀，響應(yīng)于所述當(dāng)前幀的前一視頻幀為非目標(biāo)視頻幀，基于所述當(dāng)前幀中的所述目標(biāo)人像的掩膜分別與所述前一視頻幀中各人像的掩膜之間的重合關(guān)系，判斷所述前一視頻幀中是否包含所述目標(biāo)人像；

23、確定所述前一視頻幀中包含所述目標(biāo)人像，則將所述前一視頻幀作為所述追蹤視頻幀，并且，響應(yīng)于所述前一視頻幀為非轉(zhuǎn)場幀，將所述前一視頻幀作為新的所述當(dāng)前幀進(jìn)行所述前向視頻追蹤。

24、在一些實施例中，還包括：

25、確定所述前一視頻幀中不包含所述目標(biāo)人像，或者，確定所述前一視頻幀中包含所述目標(biāo)人像且所述前一視頻幀為轉(zhuǎn)場幀，所述前向視頻追蹤結(jié)束。

26、在一些實施例中，以所述目標(biāo)視頻幀為起點，對所述視頻進(jìn)行后向視頻追蹤，得到所述視頻中還存在所述目標(biāo)人像的視頻幀，并將還存在所述目標(biāo)人像的視頻幀作為追蹤視頻幀，包括：

27、將任一目標(biāo)視頻幀作為當(dāng)前幀，響應(yīng)于所述當(dāng)前幀的后一視頻幀為非目標(biāo)視頻幀且為非轉(zhuǎn)場幀，基于所述當(dāng)前幀中的所述目標(biāo)人像的掩膜分別與所述后一視頻幀中各人像的掩膜之間的重合關(guān)系，判斷所述后一視頻幀中是否包含所述目標(biāo)人像；

28、確定所述后一視頻幀中包含所述目標(biāo)人像，則將所述后一視頻幀作為所述追蹤視頻幀，并將所述后一視頻幀作為新的所述當(dāng)前幀進(jìn)行所述后向視頻追蹤。

29、在一些實施例中，還包括：

30、確定所述當(dāng)前幀的后一視頻幀為所述轉(zhuǎn)場幀，或者，確定所述當(dāng)前幀的后一視頻幀中不包含所述目標(biāo)人像，所述后向視頻追蹤結(jié)束。

31、在一些實施例中，還包括：

32、使用所述修復(fù)視頻幀替換所述視頻中的所述目標(biāo)視頻幀。

33、第二方面，本申請實施例還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述人像消除方法。

34、第三方面，本申請實施例還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述人像消除方法。

35、第四方面，本申請實施例還提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述人像消除方法。

技術(shù)特征：

1.一種人像消除方法，包括：

2.根據(jù)權(quán)利要求1所述的人像消除方法，其中，從所述視頻中確定出所述指定操作所指定的目標(biāo)人像的指定人臉特征，包括：

3.根據(jù)權(quán)利要求1所述的人像消除方法，其中，基于所述視頻中視頻幀包含的人像的人臉特征與所述指定人臉特征之間的相似度，從所述視頻幀中確定出目標(biāo)視頻幀，包括：

4.根據(jù)權(quán)利要求1所述的人像消除方法，還包括：

5.根據(jù)權(quán)利要求4所述的人像消除方法，其中，以所述目標(biāo)視頻幀為起點，對所述視頻進(jìn)行前向視頻追蹤，得到所述視頻中還存在所述目標(biāo)人像的視頻幀，并將還存在所述目標(biāo)人像的視頻幀作為追蹤視頻幀，包括：

6.根據(jù)權(quán)利要求5所述的人像消除方法，還包括：

7.根據(jù)權(quán)利要求4所述的人像消除方法，其中，以所述目標(biāo)視頻幀為起點，對所述視頻進(jìn)行后向視頻追蹤，得到所述視頻中還存在所述目標(biāo)人像的視頻幀，并將還存在所述目標(biāo)人像的視頻幀作為追蹤視頻幀，包括：

8.根據(jù)權(quán)利要求7所述的人像消除方法，還包括：

9.根據(jù)權(quán)利要求1至8中任一項所述的人像消除方法，還包括：

10.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至9任一項所述人像消除方法。

11.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至9任一項所述人像消除方法。

技術(shù)總結(jié)
本申請公開了一種人像消除方法、設(shè)備和存儲介質(zhì)，屬于視頻處理技術(shù)領(lǐng)域，本申請實施例的人像消除方法包括：響應(yīng)于在視頻上的指定操作，從視頻中確定出指定操作所指定的目標(biāo)人像的指定人臉特征；基于視頻中視頻幀包含人像的人臉特征與指定人臉特征之間的相似度，從視頻幀中確定出目標(biāo)視頻幀；獲取目標(biāo)視頻幀中目標(biāo)人像的掩膜，將目標(biāo)視頻幀和目標(biāo)人像的掩膜輸入至圖像修復(fù)模型，得到圖像修復(fù)模型輸出的修復(fù)圖像；基于目標(biāo)人像的掩膜從修復(fù)圖像中摳取得到已修復(fù)區(qū)域，并基于目標(biāo)人像的掩膜從目標(biāo)視頻幀中摳除目標(biāo)人像得到待合成圖像；在待合成圖像上疊加已修復(fù)區(qū)域，得到對目標(biāo)視頻幀進(jìn)行目標(biāo)人像消除后的修復(fù)幀。

技術(shù)研發(fā)人員：王淼軍,李陽,謝東
受保護(hù)的技術(shù)使用者：湖北星紀(jì)魅族集團有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15