本技術(shù)涉及人工智能,具體而言,本技術(shù)涉及一種圖像真?zhèn)蔚臋z測(cè)方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù):
1、深度偽造人臉技術(shù)的迅猛發(fā)展,在帶來(lái)娛樂(lè)化和便利化的同時(shí)也產(chǎn)生了巨大的安全風(fēng)險(xiǎn)。
2、現(xiàn)有的檢測(cè)方法使用數(shù)字標(biāo)簽作為監(jiān)督信息,數(shù)字標(biāo)簽即標(biāo)識(shí)相應(yīng)的樣本圖像中的人臉是真實(shí)還是偽造。訓(xùn)練模型基于標(biāo)簽對(duì)于圖像進(jìn)行分類,但基于現(xiàn)有方式訓(xùn)練的模型泛化能力較弱,進(jìn)而導(dǎo)致檢測(cè)準(zhǔn)確率較低,更重要的是,由于模型的訓(xùn)練需要耗費(fèi)大量的時(shí)間成本,使得當(dāng)一個(gè)應(yīng)用程序需要緊急上線深度偽造檢測(cè)功能時(shí),相關(guān)技術(shù)無(wú)法滿足該需求。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供了一種圖像真?zhèn)蔚臋z測(cè)方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品,可以解決現(xiàn)有技術(shù)的上述問(wèn)題。所述技術(shù)方案如下:
2、根據(jù)本技術(shù)實(shí)施例的第一個(gè)方面,提供了一種圖像真?zhèn)蔚臋z測(cè)方法,該方法包括:
3、將待檢測(cè)圖像輸入至真?zhèn)巫R(shí)別模型,獲得所述真?zhèn)巫R(shí)別模型輸出的所述待檢測(cè)圖像的真?zhèn)螜z測(cè)結(jié)果;
4、其中,所述真?zhèn)巫R(shí)別模型預(yù)先存儲(chǔ)真實(shí)文本特征和偽造文本特征,所述真實(shí)文本特征是根據(jù)預(yù)先確定的描述信息集中的各個(gè)真實(shí)描述信息確定的,所述偽造文本特征是根據(jù)所述描述信息集中的各個(gè)偽造描述信息確定的;
5、所述真實(shí)描述信息和偽造描述信息中的任意一個(gè)描述信息,用于描述一個(gè)圖像,且是通過(guò)與該圖像的對(duì)齊處理得到的,所述描述信息包括狀態(tài)字段、對(duì)象字段和模板字段,所述狀態(tài)字段用于指示圖像展示的對(duì)象的真?zhèn)吻闆r,所述對(duì)象字段用于描述圖像展示的對(duì)象的類別,所述模板字段用于按照目標(biāo)描述方式描述相應(yīng)圖像展示的場(chǎng)景類型,所述對(duì)象字段嵌在所述狀態(tài)字段中,所述狀態(tài)字段嵌在所述模板字段中;
6、所述真實(shí)描述信息狀態(tài)字段用于指示相應(yīng)圖像展示的對(duì)象為真實(shí)的,所述偽造描述信息的狀態(tài)字段用于指示相應(yīng)圖像展示的對(duì)象為偽造的。
7、根據(jù)本技術(shù)實(shí)施例的第二個(gè)方面,提供了一種圖像真?zhèn)蔚臋z測(cè)裝置,包括:
8、模型處理模塊,用于將待檢測(cè)圖像輸入至真?zhèn)巫R(shí)別模型,獲得真?zhèn)巫R(shí)別模型輸出的所述待檢測(cè)圖像的真?zhèn)螜z測(cè)結(jié)果;
9、其中,所述真?zhèn)巫R(shí)別模型預(yù)先存儲(chǔ)真實(shí)文本特征和偽造文本特征,所述真實(shí)文本特征是根據(jù)預(yù)先確定的描述信息集中的各個(gè)真實(shí)描述信息確定的,所述偽造文本特征是根據(jù)所述描述信息集中的各個(gè)偽造描述信息確定的;
10、真實(shí)描述信息和偽造描述信息中的任意一個(gè)描述信息,用于描述一個(gè)圖像,且是通過(guò)與該圖像的對(duì)齊處理得到的,所述描述信息包括狀態(tài)字段、對(duì)象字段和模板字段,所述狀態(tài)字段用于指示圖像展示的對(duì)象的真?zhèn)吻闆r,所述對(duì)象字段用于描述圖像展示的對(duì)象的類別,所述模板字段用于按照目標(biāo)描述方式描述相應(yīng)圖像展示的場(chǎng)景類型,所述對(duì)象字段嵌在所述狀態(tài)字段中,所述狀態(tài)字段嵌在所述模板字段中;
11、所述真實(shí)描述信息狀態(tài)字段用于指示相應(yīng)圖像展示的對(duì)象為真實(shí)的,所述偽造描述信息的狀態(tài)字段用于指示相應(yīng)圖像展示的對(duì)象為偽造的。
12、在一些可選的實(shí)施方式中,模型處理模塊具體用于:
13、將所述待檢測(cè)圖像輸入所述真?zhèn)巫R(shí)別模型,獲得所述待檢測(cè)圖像的圖像特征;
14、確定所述圖像特征分別與預(yù)先確定的真實(shí)文本特征和偽造文本特征間的相似度,根據(jù)兩種相似度的大小關(guān)系確定所述真?zhèn)螜z測(cè)結(jié)果。
15、在一些可選的實(shí)施方式中,真?zhèn)巫R(shí)別模型為對(duì)比語(yǔ)言圖像預(yù)訓(xùn)練clip模型。
16、在一些可選的實(shí)施方式中,圖像真?zhèn)蔚臋z測(cè)裝置還包括描述信息集獲取模塊:
17、字段集獲取單元,用于獲得字段集,字段集包括多種狀態(tài)字段、多種對(duì)象字段以及多種模板字段,根據(jù)所述字段集隨機(jī)生成多個(gè)描述信息;
18、分類單元,用于根據(jù)各個(gè)描述信息中的模板字段,對(duì)所述多個(gè)描述信息進(jìn)行分類,獲得多個(gè)描述信息簇,每個(gè)描述信息簇中包括具有相同場(chǎng)景類型的描述信息;
19、指標(biāo)計(jì)算單元,用于對(duì)于每個(gè)描述信息簇,確定所述描述信息簇中的各個(gè)描述信息文本特征,并對(duì)每個(gè)描述信息,確定所述描述信息與其他具有相同狀態(tài)字段的描述信息的文本特征的相似度的均值,以及該描述信息與其他具有不相同狀態(tài)字段的描述信息的文本特征的相似度的均值,將兩個(gè)均值間的差值作為所述描述信息的指標(biāo)值;
20、排序篩選單元,用于對(duì)于每個(gè)描述信息簇,根據(jù)所述描述信息簇中的各個(gè)描述信息的指標(biāo)值從大到小進(jìn)行排序,保留排序結(jié)果靠前的預(yù)設(shè)數(shù)量的描述信息,構(gòu)成描述信息集。
21、在一些可選的實(shí)施方式中,所述真?zhèn)巫R(shí)別模型用于識(shí)別人臉圖像的真?zhèn)危龃龣z測(cè)圖像為人臉圖像,真實(shí)描述信息的還包括五官字段,所述五官字段用于描述相應(yīng)圖像中的五官。
22、在一些可選的實(shí)施方式中,所述真?zhèn)巫R(shí)別模型用于識(shí)別人臉圖像的真?zhèn)?,所述待檢測(cè)圖像為人臉圖像,對(duì)象字段描述相應(yīng)圖像展示的對(duì)象的類別包括非人臉。
23、根據(jù)本技術(shù)實(shí)施例的第三個(gè)方面,提供了一種電子設(shè)備,該電子設(shè)備包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序,處理器執(zhí)行計(jì)算機(jī)程序以實(shí)現(xiàn)上述第一方面提供的方法的步驟。
24、根據(jù)本技術(shù)實(shí)施例的第四個(gè)方面,提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面提供的方法的步驟。
25、根據(jù)本技術(shù)實(shí)施例的第五個(gè)方面,提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面提供的方法的步驟。
26、本技術(shù)實(shí)施例提供的技術(shù)方案帶來(lái)的有益效果是:
27、通過(guò)將待檢測(cè)圖像輸入至真?zhèn)巫R(shí)別模型,獲得真?zhèn)巫R(shí)別模型輸出的待檢測(cè)圖像的真?zhèn)螜z測(cè)結(jié)果,本技術(shù)實(shí)施例的真?zhèn)巫R(shí)別模型型預(yù)先存儲(chǔ)真實(shí)文本特征和偽造文本特征,所述真實(shí)文本特征是根據(jù)預(yù)先確定的描述信息集中的各個(gè)真實(shí)描述信息確定的,所述偽造文本特征是根據(jù)所述描述信息集中的各個(gè)偽造描述信息確定的,由此可見(jiàn)真實(shí)文本特征和偽造文本特征能夠準(zhǔn)確地從語(yǔ)義角度準(zhǔn)確描述一個(gè)描述信息(也即文本)對(duì)應(yīng)的圖像展示的對(duì)象的真?zhèn)危⑶冶炯夹g(shù)所有描述信息均包括狀態(tài)字段、對(duì)象字段和模板字段,對(duì)象字段用于描述相應(yīng)圖像展示的對(duì)象的類別,所述模板字段用于按照目標(biāo)描述方式描述相應(yīng)圖像展示的場(chǎng)景類型;所述真實(shí)描述信息狀態(tài)字段用于描述相應(yīng)圖像展示的對(duì)象為真實(shí)的,偽造描述信息的狀態(tài)字段用于描述相應(yīng)圖像展示的對(duì)象為偽造的,使得真?zhèn)巫R(shí)別模型學(xué)習(xí)到細(xì)粒度的語(yǔ)義信息,提升模型的泛化能力,進(jìn)而提升圖像真?zhèn)螜z測(cè)的準(zhǔn)確度,并且,針對(duì)因?yàn)樯顐螜z測(cè)任務(wù)中真實(shí)和偽造兩種類別不能明確的使用文本進(jìn)行定義,而導(dǎo)致clip模型的零樣本分類能力較差的問(wèn)題,本技術(shù)實(shí)施例設(shè)計(jì)了大量與真?zhèn)螜z測(cè)任務(wù)相關(guān)的描述文本,來(lái)彌補(bǔ)clip模型的上述問(wèn)題,并且由于clip模型的預(yù)訓(xùn)練數(shù)據(jù)中存在多種類型的目標(biāo)物體,在特征空間中圖像與文本已有很好的對(duì)齊,因此本技術(shù)實(shí)施例在使用clip模型作為真?zhèn)巫R(shí)別模型時(shí),可以在無(wú)需訓(xùn)練的情況下即可進(jìn)行零樣本的真?zhèn)螜z測(cè),不需要針對(duì)圖像真?zhèn)巫R(shí)別場(chǎng)景進(jìn)行額外的訓(xùn)練,基于此,本技術(shù)實(shí)施例可以滿足緊急上線深度偽造檢測(cè)功能的需求。