本發(fā)明涉及高光譜圖像類增量學(xué)習(xí)領(lǐng)域，尤其涉及一種基于特征空間擴(kuò)展壓縮和空譜聯(lián)合增廣的高光譜圖像類增量學(xué)習(xí)方法。

背景技術(shù)：

1、高光譜圖像分類(hsic)是模式識(shí)別中的一個(gè)重要課題。高光譜圖像分類的最終目標(biāo)是根據(jù)每個(gè)像素的空間和光譜特征，將其分配到特定的類別中，因此hsic是一個(gè)像素級(jí)的圖像分類任務(wù)。傳統(tǒng)的機(jī)器學(xué)習(xí)方法，如支持向量機(jī)和多項(xiàng)式邏輯回歸最初被用于hsic。這些方法主要關(guān)注于利用高光譜數(shù)據(jù)的光譜特征。為了從光譜通道中提取更具代表性的特征，研究人員還提出了降維方法，包括主成分分析(pca)和獨(dú)立成分分析?？臻g-光譜分類方法被引入以實(shí)現(xiàn)空間和光譜特征的同步利用。msmil引入了空間-光譜決策融合策略來(lái)權(quán)衡多尺度超像素圖。功能數(shù)據(jù)分析也被整合到hsic中，以提取更好的空間和光譜知識(shí)。

2、受深度學(xué)習(xí)在其他光學(xué)計(jì)算機(jī)視覺(jué)任務(wù)中占主導(dǎo)地位的啟發(fā)，許多基于深度神經(jīng)網(wǎng)絡(luò)的hsic方法被開(kāi)發(fā)出來(lái)，以提高高光譜數(shù)據(jù)任務(wù)中的分類性能。然而，這些方法都建立在訓(xùn)練數(shù)據(jù)集能夠覆蓋測(cè)試場(chǎng)景中所有類型目標(biāo)的前提之上。但是，地貌通常會(huì)受到人類活動(dòng)和季節(jié)變化的影響，并隨時(shí)間逐漸改變。此外，不同的地貌類型可能在訓(xùn)練過(guò)程中依次獲得。因此，模型必須不斷增加其容量以適應(yīng)動(dòng)態(tài)地貌變化。然而，如果用新的輸入數(shù)據(jù)更新模型，災(zāi)難性遺忘現(xiàn)象是不可避免的。如果模型推廣到新的圖像類型，先前的決策邊界將發(fā)生改變。隨著傳感器技術(shù)和圖像處理技術(shù)的進(jìn)步，高光譜圖像分類在多個(gè)遙感領(lǐng)域得到廣泛研究，包括農(nóng)業(yè)研究、海洋探索、軍事監(jiān)視和礦物探測(cè)等。但是推動(dòng)高光譜圖像分類在這些領(lǐng)域的應(yīng)用仍面臨諸多挑戰(zhàn)。首先，高光譜圖像成像機(jī)理更為復(fù)雜，其不僅包含豐富的空間信息，還蘊(yùn)含了大量的光譜信息。傳統(tǒng)的圖像增廣方法主要針對(duì)空間信息進(jìn)行處理，無(wú)法充分利用高光譜圖像的光譜維度。因此，為了實(shí)現(xiàn)高效的高光譜圖像處理，需要開(kāi)發(fā)能夠同時(shí)增強(qiáng)空間和光譜信息的聯(lián)合增廣方法，促進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)更有效地提取和學(xué)習(xí)空間域與光譜域的特征。其次，隨著人類活動(dòng)、季節(jié)變遷等，同一地域的高光譜信息變化極大，會(huì)出現(xiàn)新的地物類別以及不同狀態(tài)的原有目標(biāo)類別。利用先前采集的高光譜圖像數(shù)據(jù)訓(xùn)練的分類網(wǎng)絡(luò)無(wú)法對(duì)同一場(chǎng)景的圖像維持一致的分類能力。因此，高光譜圖像分類網(wǎng)絡(luò)需要根據(jù)場(chǎng)景變化擴(kuò)充自己的分類能力。最后，用于部署高光譜圖像分類方法的邊緣平臺(tái)，計(jì)算資源和存儲(chǔ)資源都無(wú)法滿足較大規(guī)模網(wǎng)絡(luò)的推理需求。然而小網(wǎng)絡(luò)受限于參數(shù)量，推理結(jié)果的精度難以滿足要求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)傳統(tǒng)的圖像增廣方法主要針對(duì)空間信息進(jìn)行處理，無(wú)法充分利用高光譜圖像的光譜維度，同時(shí)類增量學(xué)習(xí)中的存在災(zāi)難性遺忘，利用先前采集的高光譜圖像數(shù)據(jù)訓(xùn)練的分類網(wǎng)絡(luò)無(wú)法對(duì)同一場(chǎng)景的圖像維持一致的分類能力問(wèn)題，提出一種基于特征空間擴(kuò)展壓縮和空譜聯(lián)合增廣的高光譜圖像類增量學(xué)習(xí)方法，所述方法包括：

2、根據(jù)空間-光譜聯(lián)合增強(qiáng)方法構(gòu)建輕量化分類模型；

3、在初始階段，將全精度網(wǎng)絡(luò)作為教師模型為輕量級(jí)網(wǎng)絡(luò)的訓(xùn)練提供在線監(jiān)督；

4、在增量階段，引入新的全精度網(wǎng)絡(luò)縮小舊特征空間和目標(biāo)特征空間之間的差距，獲取優(yōu)化的量化網(wǎng)絡(luò)；

5、根據(jù)優(yōu)化的量化網(wǎng)絡(luò)實(shí)現(xiàn)高光譜分類網(wǎng)絡(luò)的學(xué)習(xí)能力的在線更新。

6、進(jìn)一步的，還提出一種優(yōu)選方式，所述空間-光譜聯(lián)合增強(qiáng)方法為：在光譜維度上選取若干目標(biāo)波段，在目標(biāo)波段對(duì)應(yīng)的空間區(qū)域內(nèi)執(zhí)行像素級(jí)的隨機(jī)調(diào)整；并結(jié)合基于隨機(jī)尺寸的中心裁剪與縮放，以及隨機(jī)水平翻轉(zhuǎn)對(duì)空間域數(shù)據(jù)進(jìn)行增強(qiáng)。

7、進(jìn)一步的，還提出一種優(yōu)選方式，所述根據(jù)全精度網(wǎng)絡(luò)作為教師模型為輕量級(jí)網(wǎng)絡(luò)的訓(xùn)練提供在線監(jiān)督，包括：

8、構(gòu)建單階段框架，所述單階段框架中教師和學(xué)生模型同時(shí)進(jìn)行更新；

9、使用樣本之間的相關(guān)關(guān)系捕獲模型的特征空間，學(xué)生模型的輸出為：

10、

11、其中，θs表示學(xué)生模型的特征提取主干，表示數(shù)據(jù)集，x1至xn表示數(shù)據(jù)集中的樣本；

12、學(xué)生模型生成的相關(guān)關(guān)系為：

13、

14、其中，τ表示余弦相似度運(yùn)算符。θs1表示θs(x1)；

15、教師模型生成的相關(guān)關(guān)系為：

16、

17、其中，θt表示教師模型的特征提取主干；

18、計(jì)算學(xué)生模型和教師模型的差異，并根據(jù)所述差異的前三分之一的值作為教師模型超特征聚合損失函數(shù)的系數(shù)；

19、根據(jù)損失函數(shù)的系數(shù)構(gòu)建損失函數(shù)作為對(duì)抗蒸餾損失；

20、構(gòu)建蒸餾損失函數(shù)，利用蒸餾損失函數(shù)促進(jìn)知識(shí)從教師向?qū)W生模型的轉(zhuǎn)移。

21、進(jìn)一步的，還提出一種優(yōu)選方式，所述對(duì)抗蒸餾損失為：

22、

23、其中，k為通過(guò)累加每個(gè)類別的數(shù)量的平方計(jì)算得到的變量，為指示函數(shù)，yi為樣本標(biāo)簽，pst為學(xué)生模型和教師模型的差異，θt(xi)和均為教師網(wǎng)絡(luò)特征提取主干的輸出，為損失函數(shù)。

24、進(jìn)一步的，還提出一種優(yōu)選方式，所述構(gòu)建蒸餾損失函數(shù)為：

25、

26、

27、其中，θ表示網(wǎng)絡(luò)的主干，θ表示包含特征提升層的網(wǎng)絡(luò)的特征提取主干，mse表示采用均方誤差損失函數(shù)，表示更高維度上聚合學(xué)生和教師模型。

28、進(jìn)一步的，還提出一種優(yōu)選方式，所述獲取優(yōu)化的量化網(wǎng)絡(luò)，包括：

29、訓(xùn)練模型：

30、

31、其中，θen(x)表示主干網(wǎng)絡(luò)的組合，θo表示舊模型的主干網(wǎng)絡(luò)，θn表示新模型的主干網(wǎng)絡(luò)，φ(·)表示模型集成的歸一化，l(·)表示損失函數(shù)，(x,y)表示輸入及對(duì)應(yīng)的標(biāo)簽；

32、根據(jù)知識(shí)蒸餾的壓縮策略，在先前訓(xùn)練的模型集成的監(jiān)督下，訓(xùn)練一個(gè)新的量化模型：

33、

34、

35、其中，θ表示新模型的特征提取主干，由特征提升主干和主干網(wǎng)絡(luò)θq組成，<·>表示余弦相似度函數(shù)，表示各階段的基礎(chǔ)損失函數(shù)，φ表示包括θen在內(nèi)的整體特征提取主干，表示特征相似性約束函數(shù)，∑表示累加函數(shù)，表示新網(wǎng)絡(luò)的主干網(wǎng)絡(luò)的輸出，表示訓(xùn)練的兩個(gè)模型的主干網(wǎng)絡(luò)的合體的輸出。

36、進(jìn)一步的，還提出一種優(yōu)選方式，所述獲取優(yōu)化的量化網(wǎng)絡(luò)中還包括引入可訓(xùn)練因子μ調(diào)節(jié)新模型的主干網(wǎng)絡(luò)θn。

37、基于同一發(fā)明構(gòu)思，本發(fā)明還提出一種基于特征空間擴(kuò)展壓縮和空譜聯(lián)合增廣的高光譜圖像類增量學(xué)習(xí)系統(tǒng)，所述系統(tǒng)包括：

38、輕量化分類模型構(gòu)建單元，用于根據(jù)空間-光譜聯(lián)合增強(qiáng)方法構(gòu)建輕量化分類模型；

39、在線監(jiān)督單元，用于在初始階段，將全精度網(wǎng)絡(luò)作為教師模型為輕量級(jí)網(wǎng)絡(luò)的訓(xùn)練提供在線監(jiān)督；

40、優(yōu)化單元，用于在增量階段，引入新的全精度網(wǎng)絡(luò)縮小舊特征空間和目標(biāo)特征空間之間的差距，獲取優(yōu)化的量化網(wǎng)絡(luò)；

41、學(xué)習(xí)單元，用于根據(jù)優(yōu)化的量化網(wǎng)絡(luò)實(shí)現(xiàn)高光譜分類網(wǎng)絡(luò)的學(xué)習(xí)能力的在線更新。

42、基于同一發(fā)明構(gòu)思，本發(fā)明還提出一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述處理器運(yùn)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序時(shí)，所述處理器執(zhí)行根據(jù)上述中任一項(xiàng)中所述的一種基于特征空間擴(kuò)展壓縮和空譜聯(lián)合增廣的高光譜圖像類增量學(xué)習(xí)方法。

43、基于同一發(fā)明構(gòu)思，本發(fā)明還提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如上述中任一項(xiàng)所述的一種基于特征空間擴(kuò)展壓縮和空譜聯(lián)合增廣的高光譜圖像類增量學(xué)習(xí)方法的步驟。

44、本發(fā)明的有益之處在于：

45、本發(fā)明提出了一種基于特征空間擴(kuò)展壓縮和空譜聯(lián)合增廣的高光譜圖像類增量學(xué)習(xí)方法，設(shè)計(jì)了特征空間擴(kuò)展、集成和壓縮與空間-光譜增強(qiáng)(feica-cil)框架，該框架中引入了一種空間-光譜混合增強(qiáng)技術(shù)，通過(guò)從空間和光譜維度提取全面的表征來(lái)增強(qiáng)模型的魯棒性，通過(guò)改進(jìn)跨類性能直接緩解災(zāi)難性遺忘。學(xué)習(xí)過(guò)程分為初始和增量?jī)蓚€(gè)不同階段，每個(gè)階段都通過(guò)網(wǎng)絡(luò)量化進(jìn)行優(yōu)化以減少計(jì)算開(kāi)銷。在初始階段，設(shè)計(jì)了一種在線對(duì)抗蒸餾機(jī)制，其中學(xué)生網(wǎng)絡(luò)同時(shí)從真實(shí)標(biāo)簽和教師網(wǎng)絡(luò)中學(xué)習(xí)，而教師則探索學(xué)生范圍之外的知識(shí)。這種蒸餾策略能夠?qū)崿F(xiàn)更抽象的表征，使模型能夠?qū)W習(xí)穩(wěn)健的知識(shí)并在第一個(gè)任務(wù)上保持強(qiáng)大的性能，從而緩解災(zāi)難性遺忘。在增量階段，通過(guò)引入一個(gè)新的全精度模型來(lái)解決特征空間限制，該模型擴(kuò)展了特征空間。這種擴(kuò)展通過(guò)模型集成允許為新類建立清晰的決策邊界，同時(shí)保留舊類的表征。該框架通過(guò)補(bǔ)充而不是修改先前學(xué)習(xí)數(shù)據(jù)的特征提取器來(lái)緩解災(zāi)難性遺忘。最后，通過(guò)知識(shí)蒸餾將雙模型集成壓縮成一個(gè)高效的單分支網(wǎng)絡(luò)，優(yōu)化性能和計(jì)算效率。增量階段可以重復(fù)進(jìn)行，以進(jìn)一步擴(kuò)大模型的容量。

46、本發(fā)明應(yīng)用于圖像處理領(lǐng)域。