本發(fā)明涉及計算機視覺及人工智能領(lǐng)域，具體涉及一種通過挖掘干凈的困難樣本來抑制噪聲標簽干擾的魯棒圖像分類方法。

背景技術(shù)：

1、深度神經(jīng)網(wǎng)絡(luò)(deep?neural?networks，dnns)在應(yīng)對各種任務(wù)時取得了巨大的成功。但是dnns的成功很大程度上依賴于具有高質(zhì)量標注的大規(guī)模數(shù)據(jù)集。在很多實際應(yīng)用場景中，想要獲得大規(guī)模且精確標注的數(shù)據(jù)集是十分困難的。采用眾包、自動標注、網(wǎng)絡(luò)爬蟲等技術(shù)收集的數(shù)據(jù)中不可避免地會包含噪聲標簽。由于深度神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，先前的研究表明，在帶噪聲標簽的數(shù)據(jù)集上dnns很容易過度擬合這些錯誤標簽，導(dǎo)致網(wǎng)絡(luò)的泛化性能下降。由于標簽噪聲在很多高端、精準的實際應(yīng)用場景中廣泛存在，如交通、遙感、醫(yī)療和農(nóng)業(yè)等領(lǐng)域。因此，針對標簽噪聲問題提出對帶噪聲標簽魯棒的學(xué)習(xí)方法對實際場景應(yīng)用意義深遠。本發(fā)明屬于計算機視覺和高效可靠人工智能領(lǐng)域，應(yīng)用于一般圖像、醫(yī)學(xué)圖像、交通圖像和遙感圖像等視覺任務(wù)場景中的圖像智能處理任務(wù)。

2、在帶噪聲標簽學(xué)習(xí)中，為了抑制噪聲標簽干擾以提高網(wǎng)絡(luò)的魯棒性能，主要采用的策略有設(shè)計魯棒損失函數(shù)、計算噪聲轉(zhuǎn)移矩陣、標簽校正、提前停止和樣本選擇等。特別地，與其他方法相比，樣本選擇方法在處理噪聲標簽問題中展現(xiàn)出了非常有前景的結(jié)果。樣本選擇方法的核心思路是根據(jù)訓(xùn)練過程中樣本的預(yù)測概率或損失值來篩選可能具有干凈標簽的樣本，并基于這些干凈標簽樣本進行網(wǎng)絡(luò)訓(xùn)練。malach?et?al.根據(jù)兩個分類器之間的預(yù)測差異進行樣本選擇。jiang?et?al.利用干凈樣本構(gòu)建了一個預(yù)訓(xùn)練導(dǎo)師網(wǎng)絡(luò)來指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練。han?et?al.同時對兩個網(wǎng)絡(luò)進行訓(xùn)練，選擇損失值低于閾值的樣本來訓(xùn)練另一個網(wǎng)絡(luò)。yu?et?al.使用相同的閾值，根據(jù)預(yù)測不一致的小損失樣本來選擇另一模型的數(shù)據(jù)。bai?et?al.采用動量思想交替地對分類器進行精化來提取樣本。han?et?al.利用模型的遺忘現(xiàn)象識別并過濾掉可能帶有噪聲標簽的樣本。wei?et?al.通過計算聯(lián)合損失選擇損失較小的樣例，并同時更新兩個網(wǎng)絡(luò)的參數(shù)。li?et?al.結(jié)合半監(jiān)督學(xué)習(xí)技術(shù)使用兩個網(wǎng)絡(luò)相互進行樣本選擇。這些算法普遍采用小損失樣本作為干凈樣本，確保篩選的樣本具有較高的可信度。然而為了保證選擇到的樣本足夠的干凈，它們往往容易忽略一些損失較大的干凈困難樣本。這些chss雖然損失較大，但通常包含更具代表性的特征信息，可能接近分類邊界或?qū)儆趶?fù)雜類別。因此，將其排除在訓(xùn)練之外容易導(dǎo)致有價值的信息丟失，并可能加劇類不平衡問題。這種局限性限制了網(wǎng)絡(luò)的泛化性能和對挑戰(zhàn)性任務(wù)的適應(yīng)能力。

3、顯然，在lnl任務(wù)中有效挖掘干凈困難樣本對提高學(xué)習(xí)的魯棒性具有重要意義。探索如何充分利用這類樣本的潛在價值，將為提升模型性能提供新的解決方案。為了能夠在訓(xùn)練過程中學(xué)習(xí)到更多的干凈困難樣本，zhu?et?al.提出了一種hsa-nrl困難樣本感知算法，但模型在早期過于關(guān)注對困難樣本的處理，容易忽視對簡單的干凈樣本的學(xué)習(xí)，從而導(dǎo)致過擬合或?qū)W習(xí)不穩(wěn)定。yuan?et?al.提出了一種late?stopping算法，該算法通過觀察模型置信度隨時間的變化來監(jiān)控模型的行為。盡管late?stopping已經(jīng)注意到困難樣品的重要性，但其直接將所有困難樣本合并到干凈樣本集中，容易導(dǎo)致過多的噪聲困難樣本被保留下來，從而影響模型的學(xué)習(xí)性能。cordeiro?et?al.提出了一種propmix算法，通過基于置信度的篩選機制來過濾困難樣本。盡管該方法能夠分離出可能含噪聲的樣本，但其將這些樣本視為未標記數(shù)據(jù)并進行標簽更新，而未能直接從困難標簽樣本區(qū)域中選擇實際有價值的樣本，可能無法充分利用chss的潛在信息?，F(xiàn)有方法在解決chss問題上都存在一定局限性，尤其是在準確識別并有效利用干凈困難樣本方面。因此，進一步探索針對chss的有效挖掘與利用策略，是提升lnl模型魯棒性的重要方向。

4、在帶噪聲標簽學(xué)習(xí)(lnl)領(lǐng)域，現(xiàn)有的許多啟發(fā)式方法都是基于深度神經(jīng)網(wǎng)絡(luò)的記憶效應(yīng)。zhang?et?al.研究表明深度神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，能夠逐漸記住整個數(shù)據(jù)集的樣本。arpit?et?al.進一步研究發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)首先學(xué)習(xí)帶有干凈標簽的訓(xùn)練樣本，然后學(xué)習(xí)帶有噪聲標簽的訓(xùn)練樣本。這些研究揭示了在帶噪聲標簽學(xué)習(xí)中深度神經(jīng)網(wǎng)絡(luò)泛化性能下降的原因，即隨著訓(xùn)練過程的深入，網(wǎng)絡(luò)逐漸過度擬合噪聲標簽樣本，削弱了對早期學(xué)習(xí)到的正確記憶的保持。由于帶噪聲標簽的樣本通常在訓(xùn)練后期被學(xué)習(xí)，因此如果在這一階段采取記憶補償策略，可以有效減少正確記憶的遺忘，進而提升模型的魯棒性。記憶補償?shù)暮诵乃枷胧?，通過在訓(xùn)練后期利用高可信的干凈樣本重新強化網(wǎng)絡(luò)的記憶，使其從噪聲樣本的干擾中恢復(fù)。這種策略為進一步提高網(wǎng)絡(luò)對帶噪聲標簽數(shù)據(jù)的處理能力提供了新的思路，也進一步證明了記憶效應(yīng)在lnl中的重要應(yīng)用價值。

5、樣本選擇方法在帶噪聲標簽訓(xùn)練中取得了較好的性能。為了降低噪聲標簽樣本的干擾，樣本選擇算法往往會限制網(wǎng)絡(luò)對干凈標簽樣本中損失較大樣本的學(xué)習(xí)。如圖1(a)所示，藍色虛線框中損失較大的干凈樣本，我們將這部分樣本稱為干凈的困難樣本(chss)，這些干凈的困難樣本往往接近分類器的決策邊界。chss和部分噪聲標簽樣本常常具有同樣大小的損失，導(dǎo)致他們重疊在一起無法進行區(qū)分。在帶噪聲標簽的學(xué)習(xí)任務(wù)中，chss的識別是相當具有挑戰(zhàn)性的。由于這些樣本在整體分類時表現(xiàn)模糊，很容易被誤分類?，F(xiàn)有的帶噪聲標簽學(xué)習(xí)方法，為了保持訓(xùn)練樣本的干凈度，大多都試圖盡可能的消除損失較大的帶噪聲標簽樣本，不可避免的導(dǎo)致包含了很多干凈的困難樣本。然而，這部分chss在特征信息上更具類別代表性，有必要考慮它們對學(xué)習(xí)的積極影響，因為這對于實現(xiàn)最優(yōu)的泛化性能至關(guān)重要。因此，在設(shè)計lnl算法時，如何有效識別并合理利用這些chss，成為提升網(wǎng)絡(luò)魯棒性和性能的關(guān)鍵問題之一。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提出一種抑制噪聲標簽干擾的魯棒圖像分類方法以解決背景技術(shù)中所提到的問題。

2、為實現(xiàn)上述問題，本發(fā)明具體采用如下技術(shù)方案：

3、一種抑制噪聲標簽干擾的魯棒圖像分類方法，包括以下步驟：

4、s1、將帶噪聲標簽的數(shù)據(jù)集輸入到主干網(wǎng)絡(luò)中進行若干epoch的預(yù)熱訓(xùn)練，并記錄預(yù)熱訓(xùn)練中所有樣本的損失；

5、s2、根據(jù)s1中所記錄的損失計算每個樣本的平均損失；

6、s3、計算動態(tài)閾值，結(jié)合s2中所得的平均損失的分布，將樣本劃分為帶干凈標簽、帶噪聲標簽和困難標簽3個區(qū)域；

7、s4、為s3中劃分所得的帶干凈標簽、帶噪聲標簽和困難標簽3個區(qū)域賦予不同權(quán)重，計算復(fù)合加權(quán)損失；

8、s5、設(shè)計一種記憶補償機制，在訓(xùn)練后期，強化網(wǎng)絡(luò)對高可信干凈樣本的學(xué)習(xí)，補償因噪聲導(dǎo)致的知識遺忘，抑制噪聲標簽樣本的干擾，最終輸出訓(xùn)練完成的網(wǎng)絡(luò)模型；

9、s6、動態(tài)更新樣本的損失記錄和平均損失。

10、優(yōu)選地，所述s2具體包括如下內(nèi)容：

11、定義每個樣本i的歷史損失記錄為ri＝{li,1,li,2,…,li,t}，則平均損失定義為：

12、

13、在每個epoch結(jié)束時，將最新的損失記錄到歷史損失中：

14、ri←ri∪{li,t+1}

15、其中，t表示當前訓(xùn)練的epoch數(shù)。

16、優(yōu)選地，s3中所述動態(tài)閾值包括清潔閾值tclean和噪聲閾值tnoise，其設(shè)定規(guī)則如下：

17、

18、

19、其中，表示將樣本的平均損失排序；η是超參數(shù)；γ表示噪聲率；n表示樣本總數(shù)；t表示總的訓(xùn)練周期；

20、隨著訓(xùn)練的進行，增大，噪聲閾值tnoise逐漸減小，以減少噪聲樣本的影響。

21、優(yōu)選地，s3中所述結(jié)合動態(tài)閾值與平均損失的分布，將樣本劃分為帶干凈標簽、帶噪聲標簽和困難標簽3個區(qū)域的劃分規(guī)則在于：

22、帶干凈標簽區(qū)域：

23、帶噪聲標簽區(qū)域：

24、困難標簽區(qū)域：

25、優(yōu)選地，s4中所述復(fù)合加權(quán)損失的計算公式如下：

26、

27、其中，lbase(pi,yi)表示第i個樣本的交叉熵損失；wi表示樣本的權(quán)重，基于其損失大小動態(tài)調(diào)整；

28、不同區(qū)域樣本的權(quán)重計算規(guī)則如下：

29、清潔區(qū)域樣本權(quán)重：wi＝wclean，當樣本損失小于清潔閾值tclean時，賦予其最大權(quán)重wclean＝1；

30、噪聲區(qū)域樣本權(quán)重：wi＝wnoise，當樣本損失大于噪聲閾值tnoise時，賦予其最小權(quán)重wclean＝0；

31、重疊區(qū)域樣本權(quán)重：wi∈[wnoise,wclean]，對于位于清潔閾值與噪聲閾值之間的樣本，其權(quán)重根據(jù)樣本與tclean間的距離，按照以下公式線性遞減：

32、

33、其中，li為第i個樣本的損失。

34、優(yōu)選地，s5中所述記憶補償機制具體包括如下內(nèi)容：

35、當tclean＝tnoise時，進入記憶補償階段；在記憶補償階段，僅選擇高可信干凈樣本進行訓(xùn)練：

36、

37、優(yōu)選地，在每個epoch結(jié)束時，將最新的損失記錄到歷史損失中：

38、ri←ri∪{li,t+1}

39、重新計算平均損失

40、

41、與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種抑制噪聲標簽干擾的魯棒圖像分類方法，具備以下有益效果：

42、(1)本發(fā)明提出一種抑制噪聲標簽干擾的魯棒圖像分類方法，進一步提出一種基于動態(tài)閾值的加權(quán)記憶補償算法(wmcdh)，通過動態(tài)調(diào)整閾值，根據(jù)不同的噪聲率和訓(xùn)練歷元更新樣本的權(quán)值，并實施記憶補償策略，從而優(yōu)化模型性能。

43、(2)本發(fā)明根據(jù)困難樣本與干凈樣本集邊界的距離，動態(tài)地為困難樣本賦予不同的權(quán)值，從而更有效地利用困難樣本集中的干凈標簽樣本。這一策略比單純選擇干凈樣本的做法更具優(yōu)勢。

44、(3)基于深度神經(jīng)網(wǎng)絡(luò)的記憶效應(yīng)，本發(fā)明提出了記憶補償機制，進一步抑制了困難樣本中噪聲標簽的影響，提高了模型的泛化能力。根據(jù)目前的了解，這是首次在帶噪聲標簽學(xué)習(xí)領(lǐng)域引入記憶補償?shù)母拍?，填補了這一研究空白。