本發(fā)明涉及屬于模型壓縮安全領(lǐng)域，更具體的說是涉及一種基于神經(jīng)元角色貢獻(xiàn)的模型量化公平性提升方法。

背景技術(shù)：

1、隨著深度神經(jīng)網(wǎng)絡(luò)（dnn）在圖像識(shí)別、自然語言處理、推薦系統(tǒng)等領(lǐng)域的廣泛應(yīng)用，模型復(fù)雜度急劇上升，對(duì)邊緣設(shè)備的存儲(chǔ)和計(jì)算能力提出了巨大挑戰(zhàn)。針對(duì)該問題，模型剪枝、知識(shí)蒸餾、張量分解、模型量化等模型壓縮技術(shù)得到了廣泛的研究和應(yīng)用，其中模型量化以其高效性和實(shí)用性在業(yè)界尤為突出。

2、由于現(xiàn)有的壓縮工作大多追求模型壓縮和加速，壓縮模型引入的dnn魯棒性脆弱性是經(jīng)常被忽視的問題。例如，帶有偏差的深度神經(jīng)網(wǎng)絡(luò)（dnn）模型在經(jīng)過壓縮后，其內(nèi)在的不公平性問題可能進(jìn)一步放大。已有研究表明，機(jī)器學(xué)習(xí)模型，尤其是dnn，在訓(xùn)練和使用過程中，可能由于數(shù)據(jù)偏差或算法設(shè)計(jì)不當(dāng)而對(duì)弱勢(shì)群體做出不公平的預(yù)測(cè)。例如，當(dāng)銀行、信托公司等貸款機(jī)構(gòu)努力提高其貸款系統(tǒng)的效率時(shí)，他們往往傾向于直接從huggingface等公共模型庫中獲取預(yù)訓(xùn)練模型。這種便捷的部署方式，通常伴隨著風(fēng)險(xiǎn)，即由于缺乏深入的專業(yè)分析和全面的安全評(píng)估，下載的模型可能存在內(nèi)在的細(xì)微偏差。

3、此外，為了進(jìn)一步提高系統(tǒng)的響應(yīng)速度和適應(yīng)處理能力，貸款機(jī)構(gòu)還會(huì)采用量化等模型壓縮技術(shù)，對(duì)下載的模型進(jìn)行定制化二次開發(fā)和優(yōu)化，然后將其部署到貸款審批系統(tǒng)中。不幸的是，在供應(yīng)鏈開發(fā)過程中，如果預(yù)訓(xùn)練模型中的偏見不能被有效識(shí)別和消除，它將很容易被保留并嵌入到下游系統(tǒng)中。

4、當(dāng)這樣的系統(tǒng)基于有偏見的模型評(píng)估貸款申請(qǐng)時(shí)，可能會(huì)導(dǎo)致有偏見的審批結(jié)果。具體而言，一些原本應(yīng)該具備穩(wěn)定還款能力、符合貸款條件的申請(qǐng)人，比如暫時(shí)沒有住房的申請(qǐng)人，可能會(huì)因?yàn)橄到y(tǒng)固有的偏見而被錯(cuò)誤地歸類為高風(fēng)險(xiǎn)借款人，從而面臨貸款申請(qǐng)被拒絕或不得不承擔(dān)更高利率的困境。這損害了申請(qǐng)人的利益，嚴(yán)重違反了貸款審批應(yīng)遵循的公平正義原則。有偏見的模型在應(yīng)用于現(xiàn)實(shí)場(chǎng)景時(shí)會(huì)出現(xiàn)問題，而那些無偏見的模型也可能因?yàn)闆]有考慮隱含變量而無意中引入偏見。因此，傳統(tǒng)的大型模型和部署在邊緣的輕量級(jí)模型的公平性保證應(yīng)該在實(shí)際應(yīng)用中得到廣泛的研究探索。

5、目前對(duì)dnn去偏方法進(jìn)行了大量的研究，例如重新加權(quán)、對(duì)抗訓(xùn)練等。這些方法可以減輕偏差，但對(duì)于模型量化的特殊要求，其去偏效果尚未得到證實(shí)，也就是說，這些去偏方法并不是專門為在去偏的同時(shí)保證模型精度而設(shè)計(jì)的。直觀地講，去偏同時(shí)量化模型可以通過三種方式實(shí)現(xiàn)，即在量化之前對(duì)模型進(jìn)行去偏：保證了量化后模型的預(yù)測(cè)或分類精度，但在對(duì)量化模型進(jìn)行微調(diào)的過程中可能會(huì)引入新的偏差問題，難以保證量化后的模型仍然無偏；對(duì)量化模型進(jìn)行去偏：保證壓縮模型的公平性，但修復(fù)去偏帶來的精度損失的努力通常成本較高；量化過程中去偏：確保量化后的模型在保證模型精度的同時(shí)有效去偏，是一種很有前途的解決方式，但目前尚無相關(guān)情況研究。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種基于神經(jīng)元角色貢獻(xiàn)的模型量化公平性提升方法，方法在量化的同時(shí)對(duì)模型進(jìn)行去偏，在保證模型精度的同時(shí)，減小了模型大小和偏差影響。通過分析模型激活值發(fā)現(xiàn)異常高的神經(jīng)元會(huì)導(dǎo)致輸出偏差，利用貝葉斯優(yōu)化選擇最優(yōu)閾值，以平衡主任務(wù)性能和去偏效果，且不引入新數(shù)據(jù)，降低復(fù)雜性。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：一種基于神經(jīng)元角色貢獻(xiàn)的模型量化公平性提升方法，包括如下步驟：

3、步驟一，獲取需要量化的模型和構(gòu)建樣本對(duì)；

4、步驟二，對(duì)步驟一中獲取的模型中的每一層神經(jīng)元進(jìn)行偏見分析，進(jìn)行神經(jīng)元角色識(shí)別；

5、步驟三，基于差異化量化策略對(duì)模型進(jìn)行優(yōu)化；

6、步驟四，構(gòu)建公平性提升的輕量化模型，利用步驟三生成的多通道優(yōu)化向量表示，搭建輕量化模型，之后通過評(píng)估偏向神經(jīng)元的二值量化效果與正常神經(jīng)元的靈活量化效果，綜合考量量化模型的公平性和性能，最終完成量化模型在貸款審批系統(tǒng)上的部署。

7、作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟一中獲取需要量化的模型和構(gòu)建樣本對(duì)的具體步驟如下：

8、步驟一一，獲取待量化的貸款審批系統(tǒng)模型,以及需要的量化比特位寬；

9、步驟一二，獲取申請(qǐng)人的相關(guān)數(shù)據(jù)樣本，包括但不限于：申請(qǐng)人的收入水平、職業(yè)類別、信用評(píng)分、財(cái)務(wù)歷史以及申請(qǐng)人的敏感屬性，之后將數(shù)據(jù)樣本對(duì)記作?，?，其中總的樣本對(duì)個(gè)數(shù)為?，第?個(gè)申請(qǐng)人的正常屬性數(shù)據(jù)記作?，將第?個(gè)申請(qǐng)人改變了住房狀況屬性的數(shù)據(jù)記作?。

10、作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟二中進(jìn)行神經(jīng)元角色識(shí)別的具體步驟如下：

11、步驟二一，根據(jù)步驟一二中獲取的樣本對(duì)輸入至步驟一一獲取的模型中，計(jì)算這些樣本對(duì)在各層神經(jīng)元上產(chǎn)生的激活值差異，利用tanh函數(shù)對(duì)激活值差異進(jìn)行歸一化，得到激活差值?，進(jìn)行激活值差異計(jì)算；

12、步驟二二，引入偏見神經(jīng)元率作為縱坐標(biāo)，繪制bni曲線，通過高斯過程的貝葉斯優(yōu)化方法，評(píng)估不同閾值對(duì)分類準(zhǔn)確性與偏差緩解效果的影響，迭代搜索最優(yōu)閾值?，最終區(qū)分偏向神經(jīng)元與正常神經(jīng)元，完成神經(jīng)元角色的劃分，完成偏見神經(jīng)元識(shí)別。

13、作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟二一中進(jìn)行激活值差異計(jì)算的具體步驟如下：

14、步驟二一一，將不同敏感屬性狀態(tài)的樣本對(duì)輸入模型；

15、步驟二一二，計(jì)算這些樣本對(duì)在各層神經(jīng)元上產(chǎn)生的激活值差異。具體計(jì)算公式如下：

16、

17、其中，?是第?層第?個(gè)神經(jīng)元的激活差值?，?為樣本對(duì)總數(shù)，?為目標(biāo)模型；

18、步驟二一三，使用tanh函數(shù)歸一化激活值差異，得到激活差值。

19、作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟二二中偏見神經(jīng)元識(shí)別的具體步驟如下：

20、步驟二二一，以tanh函數(shù)處理后的激活差值作為bni曲線的橫坐標(biāo)，偏見神經(jīng)元率為縱坐標(biāo)，繪制bni曲線；

21、步驟二二二，通過bni曲線與的交點(diǎn)初始化閾值；

22、步驟二二三，采用貝葉斯優(yōu)化算法對(duì)bni曲線確定的初始閾值進(jìn)行優(yōu)化，以分類準(zhǔn)確率為目標(biāo)，迭代優(yōu)化；

23、步驟二二四，定義目標(biāo)函數(shù)為模型訓(xùn)練的損失函數(shù)，如下所示：

24、

25、其中，為樣本數(shù)量，為神經(jīng)元判別閾值，為樣本的真實(shí)標(biāo)簽，為第個(gè)樣本的輸入特征，包含敏感屬性，為模型對(duì)第個(gè)樣本的預(yù)測(cè)概率；

26、步驟二二五，在模型層加入神經(jīng)元判斷，即，則，模擬貝葉斯優(yōu)化過程中偏見神經(jīng)元的去除，優(yōu)化閾值；

27、步驟二二六，在貝葉斯優(yōu)化中，采用從bni曲線中得到的閾值作為初始閾值，優(yōu)化閾值范圍限制在，其中，為超參數(shù)；

28、步驟二二七，在貝葉斯優(yōu)化中的替代模型基于高斯過程擬合目標(biāo)函數(shù)，表示為：

29、

30、其中，為目標(biāo)函數(shù)，即優(yōu)化模型的分類準(zhǔn)確率，為均值函數(shù)，為協(xié)方差函數(shù)；

31、步驟二二八，使用預(yù)期改進(jìn)作為使用的獲取函數(shù)，定義如下：

32、

33、其中，是已知的最優(yōu)點(diǎn)，目標(biāo)函數(shù)在點(diǎn)處的分布是高斯分布，記為，和是后驗(yàn)的均值和標(biāo)準(zhǔn)差；

34、

35、其中，表示改進(jìn)程度的標(biāo)準(zhǔn)化值，均值表示點(diǎn)處的不確定性，較大的不確定性鼓勵(lì)算法探索更多閾值的可能性，和分別是標(biāo)準(zhǔn)正態(tài)分布累積分布函數(shù)和標(biāo)準(zhǔn)正態(tài)分布概率密度函數(shù)，用于衡量改進(jìn)的概率，用于衡量改進(jìn)的規(guī)模；

36、步驟二二九，基于貝葉斯優(yōu)化確定最佳閾值以區(qū)分正常神經(jīng)元和偏見神經(jīng)元；其中，正常神經(jīng)元被定義為對(duì)模型主任務(wù)性能強(qiáng)相關(guān)的神經(jīng)元，偏見神經(jīng)元被定義為可能對(duì)某些敏感特征過度敏感的神經(jīng)元。

37、作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟三中基于差異化量化策略對(duì)模型進(jìn)行優(yōu)化的具體步驟如下：

38、步驟三一，對(duì)偏見神經(jīng)元進(jìn)行二值量化處理；

39、步驟三二，對(duì)未被識(shí)別為偏見神經(jīng)元的正常神經(jīng)元采用常規(guī)量化策略，采用靈活的多比特量化，量化公式如下：

40、

41、其中，為全精度模型的權(quán)重，為偏移量，是模型的量化比例因子，計(jì)算公式為：

42、

43、其中，為量化比特?cái)?shù)，為待量化的權(quán)重集合，；

44、步驟三三，根據(jù)量化策略，對(duì)模型的每一層進(jìn)行權(quán)重調(diào)整，生成多通道的優(yōu)化向量表示。

45、本發(fā)明的有益效果，1）通過分析神經(jīng)元的角色貢獻(xiàn)，區(qū)分偏見神經(jīng)元和正常神經(jīng)元，采用混合精度量化有效減輕了模型偏差，同時(shí)最大限度地保持了模型的主任務(wù)性能；2）本發(fā)明無需引入額外的訓(xùn)練數(shù)據(jù)或標(biāo)簽進(jìn)行去偏操作；3）本發(fā)明在結(jié)構(gòu)化數(shù)據(jù)模型與非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景中均具有較強(qiáng)的適配性，并對(duì)多種量化位寬提供了靈活支持，從而幫助下游系統(tǒng)在不同應(yīng)用場(chǎng)景中實(shí)現(xiàn)高效、公平的模型部署與性能優(yōu)化。