本發(fā)明涉及圖像分類，具體涉及基于多樣化上下文數(shù)據(jù)生成與分類器校正的模型訓(xùn)練方法。

背景技術(shù)：

1、lt(long?tail?distribution，長(zhǎng)尾分布)指的是在一個(gè)數(shù)據(jù)集中，存在著少數(shù)類別(尾部類別)樣本數(shù)量遠(yuǎn)遠(yuǎn)多于多數(shù)類別(頭部類別)樣本數(shù)量的情況。這種數(shù)據(jù)分布呈現(xiàn)出長(zhǎng)尾形狀，即多數(shù)類(majority)為數(shù)據(jù)集中出現(xiàn)頻率較高的少數(shù)幾個(gè)類別，而少數(shù)類(minority)為出現(xiàn)頻率較低的大量類別。

2、cmo(context-rich?minority?oversampling，豐富上下文少數(shù)群體過(guò)采樣)指的是在過(guò)采樣的過(guò)程中結(jié)合利用樣本的上下文信息，以更好地生成新的少數(shù)類樣本。通過(guò)引入上下文信息，新生成的樣本能夠更好地保持原有樣本的特性和分布，避免簡(jiǎn)單的復(fù)制粘貼導(dǎo)致樣本過(guò)擬合的問(wèn)題。這種方法的優(yōu)勢(shì)在于能夠更有效地利用數(shù)據(jù)集中的信息，提高模型對(duì)少數(shù)類樣本的學(xué)習(xí)能力，從而改善模型在類別不平衡情況下的性能表現(xiàn)。

3、解耦學(xué)習(xí)在深度學(xué)習(xí)等領(lǐng)域得到廣泛應(yīng)用，有助于優(yōu)化復(fù)雜模型的訓(xùn)練過(guò)程和性能表現(xiàn)，其通常將表示學(xué)習(xí)和分類器訓(xùn)練兩個(gè)過(guò)程進(jìn)行解耦，可以有效解決長(zhǎng)尾數(shù)據(jù)分布下的識(shí)別問(wèn)題。

4、然而，cmo算法存在以下缺點(diǎn)：(1)過(guò)擬合風(fēng)險(xiǎn)：當(dāng)上下文信息過(guò)于豐富或者生成的新樣本過(guò)于依賴原始數(shù)據(jù)時(shí)，存在過(guò)擬合的風(fēng)險(xiǎn)。這可能導(dǎo)致模型在訓(xùn)練集上表現(xiàn)良好，但在未知數(shù)據(jù)上的泛化能力下降；(2)信息失真：在提取和表示上下文信息時(shí)，可能會(huì)出現(xiàn)信息失真的情況，導(dǎo)致生成的新樣本并不真實(shí)或者不具有代表性；這可能影響模型對(duì)于少數(shù)類樣本的學(xué)習(xí)效果。

5、解耦學(xué)習(xí)在重新訓(xùn)練分類器時(shí)，當(dāng)訓(xùn)練樣本數(shù)量較少或者數(shù)據(jù)仍然存在不平衡的情況時(shí)，可能會(huì)導(dǎo)致分類器的訓(xùn)練效果不佳。這種情況下，由于訓(xùn)練樣本的稀缺性或類別分布不均勻，分類器可能無(wú)法充分學(xué)習(xí)到各個(gè)類別之間的特征差異，從而影響最終的分類性能。

6、鑒于此，本發(fā)明提出基于多樣化上下文數(shù)據(jù)生成與分類器校正的模型訓(xùn)練方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提出基于多樣化上下文數(shù)據(jù)生成與分類器校正的模型訓(xùn)練方法，所獲得的最終優(yōu)化模型在尾部類樣本上的特征表達(dá)能力有所提升，能夠更好地對(duì)長(zhǎng)尾分布數(shù)據(jù)進(jìn)行分類。

2、為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于多樣化上下文數(shù)據(jù)生成與分類器校正的模型訓(xùn)練方法，具體包括以下步驟：

3、s1、基于原始的長(zhǎng)尾分布數(shù)據(jù)集通過(guò)上下文信息精細(xì)控制與多樣性生成策略生成多樣化上下文數(shù)據(jù)集；

4、s2、基于原始的長(zhǎng)尾分布數(shù)據(jù)集通過(guò)隨機(jī)挑選策略生成類別平衡數(shù)據(jù)集；

5、s3、將多樣化上下文數(shù)據(jù)集輸入初始模型進(jìn)行模型訓(xùn)練，獲得訓(xùn)練好的特征提取器和分類器；

6、s4、將類別平衡數(shù)據(jù)集輸入優(yōu)化模型進(jìn)行分類器的校正訓(xùn)練，獲得最終優(yōu)化模型，用于進(jìn)行數(shù)據(jù)類別預(yù)測(cè)；所述優(yōu)化模型共享初始模型的特征提取器，并以初始模型訓(xùn)練好的分類器作為優(yōu)化模型的初始分類器進(jìn)行校正訓(xùn)練。

7、優(yōu)選的，所述s1具體包括以下步驟：

8、s11、獲取原始的長(zhǎng)尾分布數(shù)據(jù)集yi∈{1,2,...,c}，其中，xi為第i個(gè)圖像樣本，yi為第i個(gè)圖像樣本對(duì)應(yīng)的標(biāo)簽信息，n、c分別表示數(shù)據(jù)集樣本總數(shù)和類別總數(shù)；

9、s12、利用視覺(jué)語(yǔ)言模型將每個(gè)圖像樣本xi轉(zhuǎn)換成文本特征x'i；

10、s13、利用自注意力機(jī)制計(jì)算每個(gè)文本特征與數(shù)據(jù)集的其他文本特征之間的相關(guān)性，獲得注意力權(quán)重；

11、s14、每個(gè)文本特征將計(jì)算的注意力權(quán)重作為加權(quán)系數(shù)與數(shù)據(jù)集的其他文本特征進(jìn)行加權(quán)求和，獲得具有上下文信息的特征樣本；

12、s15、對(duì)所有圖像樣本的具有上下文信息的特征樣本和對(duì)應(yīng)的標(biāo)簽信息進(jìn)行整合，獲得多樣化上下文數(shù)據(jù)集ddcdg。

13、優(yōu)選的，所述視覺(jué)語(yǔ)言模型采用clip模型。

14、優(yōu)選的，所述s2具體為：通過(guò)隨機(jī)挑選策略從原始的長(zhǎng)尾分布數(shù)據(jù)集的每一類別中挑選m個(gè)樣本，作為類別平衡數(shù)據(jù)集dbal，vc,i表達(dá)第c類別的第i個(gè)樣本，包括圖像樣本和對(duì)應(yīng)的標(biāo)簽信息。

15、優(yōu)選的，所述通過(guò)隨機(jī)挑選策略從原始的長(zhǎng)尾分布數(shù)據(jù)集的每一類別中挑選m個(gè)樣本，具體為，根據(jù)第c類別所具有的樣本數(shù)量nc進(jìn)行如下操作：

16、若m≥nc，直接從第c類別樣本中隨機(jī)挑選m個(gè)樣本；

17、若m<nc，拷貝第c類別所有樣本并循環(huán)隨機(jī)挑選直至拷貝和隨機(jī)挑選的樣本總數(shù)量達(dá)到m，獲得第c類別的m個(gè)樣本，對(duì)于隨機(jī)挑選所獲得的重復(fù)樣本采用數(shù)據(jù)增強(qiáng)的方式進(jìn)行重復(fù)樣本替換。

18、優(yōu)選的，所述對(duì)于隨機(jī)挑選所獲得的重復(fù)樣本采用數(shù)據(jù)增強(qiáng)的方式進(jìn)行重復(fù)樣本替換具體為：對(duì)重復(fù)樣本中的圖像樣本進(jìn)行包括圖像剪裁、顏色抖動(dòng)或添加噪聲的數(shù)據(jù)增強(qiáng)操作，使得重復(fù)的圖像樣本區(qū)別于原圖像樣本。

19、優(yōu)選的，所述s3具體為：

20、將多樣化上下文數(shù)據(jù)集ddcdg的具有上下文信息的特征樣本輸入初始模型，特征樣本經(jīng)過(guò)初始模型的特征提取器獲得投影頭，輸入分類器后得到預(yù)測(cè)的分類頭gdcdg；

21、分類頭gdcdg與多樣化上下文數(shù)據(jù)集的標(biāo)簽信息構(gòu)成交叉熵?fù)p失lce對(duì)初始模型進(jìn)行約束；

22、訓(xùn)練結(jié)束得到表征學(xué)習(xí)訓(xùn)練充分的特征提取器和分類器，訓(xùn)練后的初始模型參數(shù)表示記作w＝{θ,φ}，θ和φ分別表示特征提取器和分類器。

23、優(yōu)選的，所述初始模型的網(wǎng)絡(luò)結(jié)構(gòu)具體為：采用resnet-32作為主干網(wǎng)絡(luò)，引入批歸一化層和全連接分類作為初始模型的網(wǎng)絡(luò)結(jié)構(gòu)。

24、優(yōu)選的，所述初始模型的網(wǎng)絡(luò)結(jié)構(gòu)具體為：采用resnet-10作為主干網(wǎng)絡(luò)，引入批歸一化層和全連接分類作為初始模型的網(wǎng)絡(luò)結(jié)構(gòu)。

25、優(yōu)選的，所述s4具體為：

26、將類別平衡數(shù)據(jù)集dbal的圖像樣本輸入優(yōu)化模型，經(jīng)過(guò)優(yōu)化模型的特征提取器得到對(duì)應(yīng)的投影頭，投影頭輸入優(yōu)化模型的分類器得到預(yù)測(cè)的分類頭gbal；

27、分類頭gbal與類別平衡數(shù)據(jù)集的標(biāo)簽信息構(gòu)成交叉熵?fù)p失lce對(duì)優(yōu)化模型進(jìn)行約束；

28、固定特征提取器并通過(guò)多輪分類器校正訓(xùn)練，得到最終優(yōu)化模型，最終優(yōu)化模型參數(shù)表示記作w′＝{θ,φ′}，其中φ'表示校正訓(xùn)練后的分類器。

29、相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

30、本發(fā)明提出了上下文信息精細(xì)控制與多樣性生成策略，通過(guò)增加注意力機(jī)制權(quán)重來(lái)加強(qiáng)對(duì)長(zhǎng)尾類別的關(guān)注，既確保模型合理關(guān)注訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率較低的類別，又保障信息豐富性不至于導(dǎo)致過(guò)擬合，從而增加生成樣本的多樣性，降低模型對(duì)原始數(shù)據(jù)的依賴性。通過(guò)這種策略構(gòu)建得到的多樣化上下文數(shù)據(jù)集作為后續(xù)訓(xùn)練集，可以在一定程度上緩解原有長(zhǎng)尾分布數(shù)據(jù)的不平衡問(wèn)題，有助于提升模型在長(zhǎng)尾分布數(shù)據(jù)上的性能表現(xiàn)，并改善對(duì)少數(shù)類別的分類準(zhǔn)確性。

31、本發(fā)明通過(guò)使用平衡的數(shù)據(jù)集進(jìn)行分類器校正，可以幫助優(yōu)化分類器的決策邊界，從而有效緩解分類器偏置問(wèn)題，提升分類效果。