本發(fā)明屬于標簽噪聲圖像處理，具體涉及一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法、電子設備及存儲介質(zhì)。

背景技術：

1、深度神經(jīng)網(wǎng)絡近年來在圖像分類、目標檢測等任務上取得了顯著進展。這一成就主要歸功于其在大規(guī)模標注數(shù)據(jù)集上的有監(jiān)督訓練。然而，構(gòu)建這些高質(zhì)量的大規(guī)模數(shù)據(jù)集成本高昂且耗時。因此，研究人員探索了更多成本效益高的標注方法。這些替代方法雖然減少了成本，但不可避免地引入了標簽噪聲，即數(shù)據(jù)被錯誤標注的現(xiàn)象。標簽噪聲問題的存在嚴重損害了深度神經(jīng)網(wǎng)絡的泛化能力，因為深度神經(jīng)網(wǎng)絡具有強大的記憶能力，容易過擬合噪聲標簽，導致模型在測試集上的表現(xiàn)大幅下降。因此，如何有效地在噪聲標簽數(shù)據(jù)上訓練深度神經(jīng)網(wǎng)絡，成為當前機器學習領域的重要挑戰(zhàn)之一。

2、目前，研究人員提出了多種針對圖像標簽噪聲數(shù)據(jù)集的學習方法，以應對標簽噪聲帶來的挑戰(zhàn)?，F(xiàn)有的噪聲學習方法大致可以分為兩類：數(shù)據(jù)選擇和標簽校正。

3、第一類是數(shù)據(jù)選擇方法。該類方法的核心思想是從噪聲數(shù)據(jù)集中挑選出較為干凈的數(shù)據(jù)集，并利用這些干凈數(shù)據(jù)來進行模型訓練，從而提升模型的魯棒性。具體來說，由于卷積神經(jīng)網(wǎng)絡在訓練初期會優(yōu)先學習數(shù)據(jù)中的簡單模式，這意味著它們會先記住帶有干凈標簽的數(shù)據(jù)。因此，許多研究(如co-teaching等)提出了通過選擇小損失數(shù)據(jù)來識別干凈數(shù)據(jù)的方法。

4、第二類方法屬于標簽校正方法，該類方法的核心思想是提高可靠訓練數(shù)據(jù)的規(guī)模，從而增強模型在噪聲環(huán)境下的魯棒性。具體來說，通過修正噪聲數(shù)據(jù)集中存在的錯誤標簽，使數(shù)據(jù)能夠更準確地反映其真實類別。例如，一些研究通過估計噪聲轉(zhuǎn)換矩陣來實現(xiàn)標簽校正；另外，也有方法利用卷積神經(jīng)網(wǎng)絡自身的預測結(jié)果對標簽進行修正。

5、然而，在先前的標簽校正方法中進行干凈樣本的篩選時，忽略了噪聲過濾的選擇偏差問題，即干凈數(shù)據(jù)集中存在高置信的標簽噪聲樣本和標簽噪聲數(shù)據(jù)集中存在的硬樣本(即難以學習但仍然是干凈的樣本)。此類數(shù)據(jù)選擇偏差問題會導致在深度神經(jīng)網(wǎng)絡訓練過程中的誤差累積。此外，利用深度神經(jīng)網(wǎng)絡自身的預測結(jié)果進行標簽校正時，模型通常會對某些容易分類的類別賦予較高的置信度。這種校正偏差可能會導致標簽噪聲修正部分誤將一些難分類的樣本錯誤校正，從而影響標簽噪聲學習性能，特別是在類別不平衡的數(shù)據(jù)集中。

技術實現(xiàn)思路

1、本發(fā)明要解決的問題是提升標簽噪聲過濾性能和標簽噪聲修正的穩(wěn)定性，提出一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法、電子設備及存儲介質(zhì)。

2、為實現(xiàn)上述目的，本發(fā)明通過以下技術方案實現(xiàn)：

3、一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法，包括如下步驟：

4、s1.獲取標簽噪聲圖像數(shù)據(jù)集，在訓練前，初始化卷積神經(jīng)網(wǎng)絡參數(shù)，使用卷積神經(jīng)網(wǎng)絡的初始參數(shù)初始化時間平均神經(jīng)網(wǎng)絡的參數(shù)，同時采用均勻分布初始化標簽噪聲圖像數(shù)據(jù)集的修正標簽；

5、s2.將步驟s1得到的標簽噪聲圖像數(shù)據(jù)集輸入到卷積神經(jīng)網(wǎng)絡，根據(jù)卷積神經(jīng)網(wǎng)絡的輸出，計算標簽噪聲圖像數(shù)據(jù)集的置信度，并結(jié)合標簽噪聲圖像數(shù)據(jù)集的噪聲標簽將數(shù)據(jù)集劃分為干凈數(shù)據(jù)集和噪聲數(shù)據(jù)集；

6、s3.利用時間平均神經(jīng)網(wǎng)絡對步驟s1得到的修正標簽進行更新，同時基于時間平均神經(jīng)網(wǎng)絡計算標簽噪聲圖像數(shù)據(jù)集的樣本權(quán)重；

7、s4.計算干凈數(shù)據(jù)集與原標簽的交叉熵損失，以及計算噪聲數(shù)據(jù)集與修正標簽的交叉熵損失，結(jié)合樣本權(quán)重分別對兩類交叉熵損失進行加權(quán)，并利用加權(quán)損失更新卷積神經(jīng)網(wǎng)絡；

8、s5.利用步驟s4更新的卷積神經(jīng)網(wǎng)絡參數(shù)，采用動量更新策略對時間平均神經(jīng)網(wǎng)絡參數(shù)進行更新；

9、s6.重復步驟s2至步驟s5，直至達到預設的最大迭代次數(shù)，完成標簽噪聲圖像下的卷積神經(jīng)網(wǎng)絡訓練。

10、進一步的，步驟s1的具體實現(xiàn)方法包括如下步驟：

11、s1.1.設置卷積化卷積神經(jīng)網(wǎng)絡f(·,θ)的初始參數(shù)為θ0，設置卷積神經(jīng)網(wǎng)絡的參數(shù)包括多層權(quán)重矩陣和偏置項，其中，w(l)表示第l層的權(quán)重矩陣，b(l)表示第l層的偏置項；

12、使用正態(tài)分布初始化權(quán)重矩陣，表達式為：

13、

14、其中，σ為輸入單元數(shù)的倒數(shù)平方根，即nin是第l層的輸入單元數(shù)，偏置項初始化為0；

15、s1.2.設置時間平均神經(jīng)網(wǎng)絡采用卷積神經(jīng)網(wǎng)絡相同的架構(gòu)，時間平均神經(jīng)網(wǎng)絡的參數(shù)包括時間平均神經(jīng)網(wǎng)絡的權(quán)重矩陣和時間平均神經(jīng)網(wǎng)絡的偏置項初始化方法是將其設置為與卷積神經(jīng)網(wǎng)絡的初始參數(shù)相同；

16、s1.3.采用均勻分布初始化標簽噪聲圖像數(shù)據(jù)集的修正標簽所述標簽噪聲圖像數(shù)據(jù)集記為：

17、

18、其中，xi表示第i個訓練數(shù)據(jù)，為帶有噪聲的標簽，n表示數(shù)據(jù)集中數(shù)據(jù)總數(shù)，c為類別總數(shù)。

19、進一步的，步驟s2的具體實現(xiàn)方法包括如下步驟：

20、s2.1.將步驟s1得到的標簽噪聲圖像數(shù)據(jù)集輸入到卷積神經(jīng)網(wǎng)絡，利用卷積神經(jīng)網(wǎng)絡f(·,θ)得到標簽噪聲圖像數(shù)據(jù)集的預測輸出yi＝f(xi,θ)，對yi＝f(xi,θ)進行歸一化得到置信度向量pi，表達式為：

21、

22、置信度向量pi表征了卷積神經(jīng)網(wǎng)絡對訓練數(shù)據(jù)xi屬于各個類別的概率分布估計；

23、s2.2.對于第c類數(shù)據(jù)子集，統(tǒng)計該類別數(shù)據(jù)子集的平均置信度υc，表達式為：

24、

25、其中，nc是第c類子集的總數(shù)，為訓練數(shù)據(jù)xk屬于第c類的置信度；

26、s2.3.結(jié)合標簽噪聲圖像數(shù)據(jù)集的標簽將訓練數(shù)據(jù)劃分為干凈數(shù)據(jù)集和噪聲數(shù)據(jù)集，如果類別c中數(shù)據(jù)xk的置信度大于類別c中數(shù)據(jù)的平均置信度υc，則將訓練數(shù)據(jù)xi劃分到干凈數(shù)據(jù)集，反之則劃分到噪聲數(shù)據(jù)集。

27、進一步的，步驟s3的具體實現(xiàn)方法包括如下步驟：

28、s3.1.利用時間平均神經(jīng)網(wǎng)絡得到標簽噪聲圖像數(shù)據(jù)集的輸出f(xi,θ*)，采用動量更新策略更新標簽噪聲圖像數(shù)據(jù)集的修正標簽，表達式為：

29、

30、其中，表示噪聲數(shù)據(jù)集在訓練時刻t的修正標簽，t表示訓練時刻，φ表示動量更新的權(quán)重系數(shù)，φ∈(0,1)，mc表示第c類的獨熱編碼；

31、s3.2.將卷積神經(jīng)網(wǎng)絡f(·,θ)對標簽噪聲圖像數(shù)據(jù)集的預測輸出矩陣yi,j,i∈n,j∈c轉(zhuǎn)化為對應的獨熱矩陣mi,j,i∈n,j∈c，其中

32、將時間平均神經(jīng)網(wǎng)絡對標簽噪聲圖像數(shù)據(jù)集的穩(wěn)定預測y*＝f(xi,θ*)進行歸一化處理，表達式為：

33、

34、其中，p(yi*∣xi,θ*)表示時間平均神經(jīng)網(wǎng)絡對訓練數(shù)據(jù)xi屬于各個類別的更穩(wěn)定的概率分布估計；

35、結(jié)合mi,j,i∈n,j∈c，計算標簽噪聲圖像數(shù)據(jù)集的樣本權(quán)重wi，表達式為：

36、

37、其中，pi,j表示時間平均神經(jīng)網(wǎng)絡對訓練數(shù)據(jù)xi屬于類別j的概率估計。

38、進一步的，步驟s4的具體實現(xiàn)方法包括如下步驟：

39、s4.1.計算干凈數(shù)據(jù)集與原標簽的交叉熵損失，由干凈樣本權(quán)重加權(quán)的干凈數(shù)據(jù)集與原標簽的交叉熵損失如下：

40、

41、其中，為干凈數(shù)據(jù)集總數(shù)，表示干凈數(shù)據(jù)的樣本權(quán)重；

42、s4.2.計算噪聲數(shù)據(jù)集與修正標簽的交叉熵損失，由噪聲樣本權(quán)重加權(quán)的噪聲數(shù)據(jù)集與修正標簽的交叉熵損失如下：

43、

44、其中，為噪聲數(shù)據(jù)集總數(shù)，表示噪聲數(shù)據(jù)的樣本權(quán)重；

45、s4.3.計算總損失值如下：

46、loss＝lossclean+λlossnoise

47、其中，λ為總損失的權(quán)重系數(shù)，λ∈(0,1)；

48、s4.4.利用總損失更新卷積神經(jīng)網(wǎng)絡參數(shù)θ。

49、進一步的，步驟s5的具體實現(xiàn)方法包括如下步驟：

50、采用動量更新策略對時間平均神經(jīng)網(wǎng)絡參數(shù)進行更新，表達式為：

51、

52、其中，α表示動量更新的權(quán)重系數(shù)，α∈(0,1)。

53、一種電子設備，包括存儲器和處理器，存儲器存儲有計算機程序，所述的處理器執(zhí)行所述計算機程序時實現(xiàn)所述的一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法的步驟。

54、一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述的一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法。

55、本發(fā)明的有益效果：

56、本發(fā)明所述的一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法，考慮標簽噪聲過濾過程中的選擇偏差問題，利用時間平均神經(jīng)網(wǎng)絡生成的樣本權(quán)重加權(quán)訓練損失，增強了卷積神經(jīng)網(wǎng)絡對圖像標簽噪聲的魯棒性，尤其在高噪聲率環(huán)境下展現(xiàn)出更為穩(wěn)定的性能表現(xiàn)。

57、本發(fā)明所述的一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法，設計了一種基于動量更新的時間平均神經(jīng)網(wǎng)絡，能夠動態(tài)校正噪聲樣本的標簽，并在訓練過程中持續(xù)優(yōu)化標簽置信度。這種方法不僅減少了對額外資源和復雜算法的依賴，還避免了計算成本高、參數(shù)調(diào)優(yōu)復雜等問題，使得模型在保持精度的同時大幅提升了訓練效率。

58、本發(fā)明所述的一種用于標簽噪聲圖像處理的卷積神經(jīng)網(wǎng)絡訓練方法，無需復雜的超參數(shù)調(diào)優(yōu)，也不依賴于易出錯的樣本選擇過程，適用于各種實際場景。無論是在小規(guī)模圖像標簽噪聲數(shù)據(jù)集還是大規(guī)模圖像標簽噪聲數(shù)據(jù)集上，本發(fā)明都能夠輕松實現(xiàn)高效、魯棒的訓練效果，具有較強的實用性和可操作性。