本發(fā)明涉及人工智能對抗攻擊，尤其是涉及一種基于模型注意力分散的三維對抗樣本生成方法。

背景技術(shù)：

1、傳統(tǒng)的對抗樣本生成方法的研究集中在二維領(lǐng)域與對抗性能上，如在圖像上添加擾動。然而，二維對抗樣本在魯棒性上有所欠缺，當它們被旋轉(zhuǎn)、偏移、縮放等操作后，會被神經(jīng)網(wǎng)絡(luò)模型重新正確識別，難以保持較高的對抗性能，這限制了二維對抗樣本與現(xiàn)實世界的相關(guān)性。

2、近年來，從對抗樣本的現(xiàn)實應(yīng)用意義出發(fā)，三維對抗樣本生成工作逐漸成為熱點。三維對抗樣本生成方法在樣式上可分為補丁法與全覆蓋法。補丁法是將對抗性補丁附著在三維物體的表面上，使物體具備對抗性。補丁的覆蓋區(qū)域較小，不會很大程度地改變原有物體的外觀，但是在一些特定的角度，對抗補丁會被完全或部分遮擋，導致三維對抗樣本的對抗性能大大降低。為了使對抗性能能夠不受視角因素的影響，研究人員提出了全覆蓋法的方案，通過改變?nèi)S模型的外觀紋理，生成三維對抗樣本。目前，全覆蓋法過于關(guān)注樣本的對抗性能與魯棒性，而較大程度上改變了物體原有的外觀，使得對抗樣本出現(xiàn)較差的視覺特征，如大面積的可疑色彩與扭曲，這有違對抗樣本的設(shè)計初衷。

技術(shù)實現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種基于模型注意力分散的三維對抗樣本生成方法。

2、本發(fā)明提供了一種基于模型注意力分散的三維對抗樣本生成方法，包括：

3、s1、采集三維目標模型在不同虛擬場景下的數(shù)據(jù)集，并對數(shù)據(jù)集中同組數(shù)據(jù)進行神經(jīng)渲染，生成含有目標的場景圖像；

4、s2、利用白盒模型分析場景圖像，計算模型注意力分散損失，并通過生成不同樣本的目標前景圖像，計算對抗樣本的紋理約束損失及平滑損失；

5、s3、綜合模型注意力分散損失、紋理約束損失及平滑損失，計算模型總損失，并設(shè)定優(yōu)化對象與優(yōu)化目標，采用優(yōu)化算法進行優(yōu)化更新；

6、s4、利用數(shù)據(jù)集進行迭代訓練，得到優(yōu)化生成的三維對抗樣本。

7、進一步的，采集三維目標模型在不同虛擬場景下的數(shù)據(jù)集，并對數(shù)據(jù)集中同組數(shù)據(jù)進行神經(jīng)渲染，生成含有目標的場景圖像包括：

8、s11、在模擬器環(huán)境中置入車輛的三維目標模型，設(shè)定不同虛擬場景，利用相機傳感器采集多視角下三維目標模型的場景圖像，并讀取三維目標模型與相機傳感器的位姿信息，作為渲染參數(shù)；

9、s12、合并每組相應(yīng)的場景圖像與渲染參數(shù)，形成數(shù)據(jù)集；

10、s13、讀取三維目標模型的頂點、面及紋理數(shù)據(jù)，利用可優(yōu)化紋理數(shù)據(jù)替換原始紋理數(shù)據(jù)，并讀取數(shù)據(jù)集中同組的場景圖像與渲染參數(shù)，利用神經(jīng)渲染器進行渲染，生成目標的前景圖像與掩膜圖像；

11、s14、加載數(shù)據(jù)集中同組數(shù)據(jù)的場景圖像，結(jié)合目標的前景圖像與掩膜圖像，生成含有目標的場景圖像。

12、進一步的，利用白盒模型分析場景圖像，計算模型注意力分散損失，并通過生成不同樣本的目標前景圖像，計算對抗樣本的紋理約束損失及平滑損失包括：

13、s21、選取resnet-50網(wǎng)絡(luò)作為白盒模型，利用白盒模型分析場景圖像的注意力分布，得到模型注意力熱圖；

14、s22、基于模型注意力熱圖，計算模型注意力分散損失；

15、s23、從數(shù)據(jù)集中抽取一組渲染參數(shù)，通過神經(jīng)渲染，輸入三維目標模型與紋理，生成干凈樣本與對抗樣本在相同渲染參數(shù)下的目標前景圖像；

16、s24、基于干凈樣本與對抗樣本的目標前景圖像，衡量對抗樣本與干凈樣本之間的視覺差距，計算對抗樣本的紋理約束損失及平滑損失。

17、進一步的，選取resnet-50網(wǎng)絡(luò)作為白盒模型，利用白盒模型分析場景圖像的注意力分布，得到模型注意力熱圖包括：

18、s211、提取白盒模型的卷積塊在前向傳播過程中輸出的特征映射；

19、s212、利用白盒模型的反向傳播，獲取特征映射中關(guān)于目標類別的所有通道權(quán)重；

20、s213、將各個通道的特征映射與相應(yīng)權(quán)重結(jié)合，獲取白盒模型對輸入場景圖像的注意力分布圖，作為模型注意力熱圖。

21、進一步的，計算模型注意力分散損失的公式為：

22、

23、式中，la為模型的注意力分散損失；k為模型注意力熱圖中的關(guān)注區(qū)域數(shù)量；vk為模型注意力熱圖中第k塊關(guān)注區(qū)域的像素值之和；w為模型注意力熱圖的寬度；h為模型注意力熱圖的高度；sk為模型注意力熱圖中第k塊關(guān)注區(qū)域的面積大小。

24、進一步的，計算對抗樣本的紋理約束損失及平滑損失的公式包括：

25、

26、式中，ls為紋理約束損失；iobj為對抗樣本的目標前景圖像；iobj0為干凈樣本的目標前景圖像；lm為平滑損失；xi，j為在對抗樣本的目標前景圖像中坐標(i，j)處的像素值；xi+1，j為在對抗樣本的目標前景圖像中坐標(i+1，j)處的像素值；xi，j+1為在對抗樣本的目標前景圖像中坐標(i，j+1)處的像素值。

27、進一步的，綜合模型注意力分散損失、紋理約束損失及平滑損失，計算模型總損失，并設(shè)定優(yōu)化對象與優(yōu)化目標，采用優(yōu)化算法進行優(yōu)化更新包括：

28、s31、分別向模型注意力分散損失、紋理約束損失與平滑損失賦予各自的權(quán)重值，采用加權(quán)融合的方式，計算模型總損失；

29、s32、將對抗樣本紋理設(shè)定為優(yōu)化對象，對抗樣本紋理的最小化模型總損失設(shè)定優(yōu)化目標，采用多策略融合白鯨優(yōu)化算法進行優(yōu)化更新，得到最優(yōu)的對抗樣本紋理。

30、進一步的，采用多策略融合白鯨優(yōu)化算法進行優(yōu)化更新，得到最優(yōu)的對抗樣本紋理包括：

31、s321、利用混沌映射生成初始化種群位置，每個白鯨個體代表對抗樣本紋理的不同候選擾動，并利用模型總損失計算每個種群個體的適應(yīng)度值；

32、s322、采用修正遞減調(diào)控機制，計算勘探階段和開發(fā)階段之間的平衡因子，并利用余弦函數(shù)優(yōu)化鯨落概率的變化趨勢；

33、s323、在勘探階段，采用融合柯西變異算子進行全局位置增強，計算種群個體在勘探階段的位置信息；

34、s324、在開發(fā)階段，根據(jù)適應(yīng)度引入自適應(yīng)慣性權(quán)重因子，計算種群個體在開發(fā)階段的位置信息，并選擇當前種群中最優(yōu)的個體；

35、s325、當達到最大迭代次數(shù)，停止優(yōu)化，輸出優(yōu)化后的對抗樣本紋理。

36、進一步的，計算種群個體在勘探階段的位置信息的公式為：

37、

38、式中，為勘探階段種群個體i在t+1迭代時的位置信息；為最優(yōu)個體位置；cauchy(0，1)為融合柯西變異算子；

39、計算種群個體在勘探階段的位置信息的公式為：

40、

41、式中，為開發(fā)階段種群個體i在t+1迭代時的位置信息；為種群個體i在t迭代時的位置信息；為其它鯨魚個體r在t迭代時的位置信息；c為隨機跳躍強度；r1與r2均為(0，1)之間的隨機數(shù)；lf為levy飛行函數(shù)；ωz為自適應(yīng)慣性權(quán)重因子。

42、進一步的，利用數(shù)據(jù)集進行迭代訓練，得到優(yōu)化生成的三維對抗樣本包括：

43、s41、依次抽取數(shù)據(jù)集中其他組的渲染參數(shù)與場景圖像輸入值神經(jīng)渲染器，結(jié)合三維目標模型，生成目標的前景圖像與場景圖像；

44、s42、基于不同的前景圖像及場景圖像，利用多策略融合白鯨優(yōu)化算法進行對抗樣本紋理的優(yōu)化更新，得到每組數(shù)據(jù)的最優(yōu)對抗樣本紋理；

45、s43、當對抗樣本紋理優(yōu)化次數(shù)達到預(yù)設(shè)迭代次數(shù)后，將最終優(yōu)化后的對抗樣本紋理應(yīng)用在三維目標模型中，得到三維對抗樣本。

46、本發(fā)明的有益效果為：

47、1、本發(fā)明生成的三維對抗樣本具備良好的攻擊性能以及攻擊遷移能力，即可對用不同網(wǎng)絡(luò)模型構(gòu)建的圖像分類器、目標檢測器產(chǎn)生對抗效果，兼顧了對抗樣本的魯棒性、對抗性以及外觀約束：通過引入三維模型與神經(jīng)渲染技術(shù)，將對抗攻擊技術(shù)擴展到了三維領(lǐng)域，相比于傳統(tǒng)的二維對抗樣本，三維對抗樣本具備優(yōu)良的魯棒性，也擁有與現(xiàn)實世界的關(guān)聯(lián)性；基于神經(jīng)網(wǎng)絡(luò)的可視化解釋技術(shù)，獲取網(wǎng)絡(luò)模型的注意力熱圖，通過優(yōu)化對抗樣本紋理，分散模型的注意力分布，從而影響模型的特征提取能力，降低模型的識別正確率，使三維對抗樣本具備優(yōu)良的對抗性能；通過紋理約束，控制對抗樣本與干凈樣本的相似程度，使三維對抗樣本擁有較好的視覺特征。

48、2、本發(fā)明基于模型注意力分散方法是一種白盒對抗攻擊方法，相對于黑盒對抗攻擊方法，該方法生成的對抗樣本在性能上更有優(yōu)勢；在若干次實驗分析后，選用resnet-50作為白盒網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型在結(jié)構(gòu)的復雜度與深度上較為適中，生成的對抗樣本具備優(yōu)良的對抗性與對抗可轉(zhuǎn)移性，可以實現(xiàn)跨模型的對抗，包括圖像分類器與目標檢測器的對抗，有效避免了白盒攻擊設(shè)置下的對抗過擬合問題。

49、3、本發(fā)明以原始三維模型為基礎(chǔ)，沿著優(yōu)化紋理降低損失的思路，設(shè)計了三維對抗樣本的生成方法，該方法沒有限制三維模型、損失權(quán)重，可通過改變模型、損失權(quán)重的方式，平衡不同樣本的對抗性能與視覺特征，支持用戶自定義三維目標模型的初始紋理圖案，且生成的對抗樣本會很大程度上保留初始紋理視覺特征，擁有豐富的應(yīng)用場景，可滿足不同環(huán)境下的對抗需求，從而在人工智能對抗攻擊領(lǐng)域具有較高的競爭力與應(yīng)用價值。