本發(fā)明涉及圖像識別、持續(xù)學(xué)習(xí)、人工智能等，具體涉及一種基于互學(xué)習(xí)與數(shù)據(jù)增強的在線持續(xù)進(jìn)化方法。

背景技術(shù)：

1、近年來，以無人機(jī)為代表的自主無人系統(tǒng)在諸多領(lǐng)域表現(xiàn)出了巨大的應(yīng)用價值。但是，目前自主無人系統(tǒng)的感知、決策算法在出廠后就是固定的，難以動態(tài)更新。然而，在實際應(yīng)用環(huán)境中，新物體類別不斷出現(xiàn)，加之任務(wù)的變化，使自主無人系統(tǒng)的模型需要進(jìn)行動態(tài)更新，在增加識別新物體能力的同時不遺忘舊任務(wù)的知識。然而，受限于存儲資源和海量數(shù)據(jù)的矛盾，難以保存新任務(wù)的數(shù)據(jù)進(jìn)行多個訓(xùn)練周期的模型優(yōu)化，需要在僅訪問一次數(shù)據(jù)的情況下實現(xiàn)模型快速更新。

2、面向圖像識別的在線持續(xù)進(jìn)化正是解決這一問題的重要方向，它旨在序列學(xué)習(xí)新任務(wù)的同時保留已學(xué)舊知識，而且僅需訪問一次新數(shù)據(jù)。與離線持續(xù)學(xué)習(xí)相比，在線圖像持續(xù)識別中每個數(shù)據(jù)僅能被訪問一次，具有更大的挑戰(zhàn)性。而且，面向圖像識別的在線持續(xù)進(jìn)化對于自主無人設(shè)備快速適應(yīng)復(fù)雜多變的環(huán)境具有重要意義，因此在無人機(jī)、無人車、機(jī)器人等方面具有重要的應(yīng)用意義。

3、在此領(lǐng)域，基于樣本子集回放及其變體的方法表現(xiàn)出色，并占據(jù)主導(dǎo)地位。這些方法通過一個小的內(nèi)存緩沖區(qū)為當(dāng)前任務(wù)保存舊類的部分樣本，并在學(xué)習(xí)新任務(wù)時回放緩存數(shù)據(jù)來緩解災(zāi)難性遺忘。經(jīng)驗回放方法(experience?replay，er)是圖像在線持續(xù)識別中最先將流數(shù)據(jù)和緩存樣本相結(jié)合的方法，其通過從緩存中隨機(jī)檢索樣本實現(xiàn)回放。后續(xù)研究大多是基于經(jīng)驗回放的變體，主要集中在內(nèi)存更新策略的設(shè)計、樣本檢索策略的設(shè)計以及流數(shù)據(jù)和緩存數(shù)據(jù)的有效利用(例如，設(shè)計特定的分類器、損失函數(shù)和模型架構(gòu))。然而，這些方法大多聚焦于緩解災(zāi)難性遺忘和提升模型可塑性，普遍忽視了單周期訓(xùn)練所導(dǎo)致的潛在問題。具體而言，由于單周期訓(xùn)練的限制，模型傾向于學(xué)習(xí)有偏執(zhí)的非核心特征，這些特征可能足以區(qū)分目前所見的類別。然而，當(dāng)出現(xiàn)具有相似特征的新類別時，這些有偏置的非核心特征不足以確保模型輸出準(zhǔn)確的結(jié)果，從而限制了其性能和實際應(yīng)用。

4、需要說明的是，在上述背景技術(shù)部分公開的信息僅用于加強對本發(fā)明的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種基于互學(xué)習(xí)與數(shù)據(jù)增強的在線持續(xù)進(jìn)化方法，以解決在單周期訓(xùn)練的限制下，現(xiàn)有方法表現(xiàn)不佳、易學(xué)習(xí)到有偏置的非核心的特征，應(yīng)用受限制的問題。

2、本發(fā)明的其他特性和優(yōu)點將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實踐而習(xí)得。

3、根據(jù)本發(fā)明的第一方面，提供一種基于互學(xué)習(xí)與數(shù)據(jù)增強的在線持續(xù)進(jìn)化方法，所述方法包括：

4、創(chuàng)建兩個結(jié)構(gòu)相同但采用不同參數(shù)初始化的第一模型和第二模型；

5、依次從第t個任務(wù)的訓(xùn)練數(shù)據(jù)流中抽取一個批次樣本，并從樣本緩沖區(qū)中隨機(jī)檢索出一個內(nèi)存批次樣本，將所獲取的兩類樣本數(shù)據(jù)合并，得到合并批次樣本數(shù)據(jù)；

6、對合并批次樣本數(shù)據(jù)進(jìn)行三種不同增強處理得到三種增強數(shù)據(jù)；將三種增強數(shù)據(jù)分別與合并批次樣本結(jié)合，得到三組結(jié)合數(shù)據(jù)；

7、將三組結(jié)合數(shù)據(jù)分別輸入第一模型和第二模型，提取第一模型的第一特征和第一概率分布，第二模型的第二特征和第二概率分布；

8、基于第一概率分布和第二概率分布計算第一蒸餾損失和第二蒸餾損失；

9、基于第一特征計算第一代理對比損失，基于第二特征計算第二代理對比損失；

10、基于第一特征和第二特征計算第一互對比損失和第二互對比損失；

11、基于第一蒸餾損失、第一代理對比損失和第一互對比損失得到第一最終損失；基于第二蒸餾損失、第二代理對比損失和第二互對比損失得到第二最終損失；

12、基于第一最終損失對第一模型進(jìn)行更新，基于第二最終損失對第二模型進(jìn)行更新；

13、使用蓄水池更新算法，將抽取的批次樣本隨機(jī)更新至樣本緩沖區(qū)中；

14、在推理階段，將測試樣本輸入到第一模型和第二模型，分別計算各自的概率分布，最終預(yù)測概率為兩者概率的平均值。

15、在一些示例性實施方式中，所述第一模型和第二模型為圖像分類模型。

16、在一些示例性實施方式中，所述三種不同增強處理包括：

17、第一種增強處理：隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)、顏色抖動和隨機(jī)灰度；

18、第二種增強處理：大角度旋轉(zhuǎn)增強；

19、第三種增強處理：兩次隨機(jī)增強。

20、在一些示例性實施方式中，所述大角度旋轉(zhuǎn)增強包括：旋轉(zhuǎn)90度和-90度。

21、在一些示例性實施方式中，所述第一蒸餾損失和第二蒸餾損失的計算方式為：

22、

23、其中，為集合中的第m個元素，d(·∥·)是kullback-leibler散度，

24、在一些示例性實施方式中，所述第一代理對比損失和第二代理對比損失的計算方式為：

25、

26、其中，和分別表示通過第一模型和第二模型得到的特征，和為各自分類器中與標(biāo)簽y對應(yīng)的權(quán)重，是中的類索引；βm表示集合{βw,βrot,βra}中的第m個元素，用于平衡各數(shù)據(jù)增強的效果。

27、在一些示例性實施方式中，所述第一互對比損失的計算方式為：

28、設(shè)表示第l層的特征圖，ind為所選層的索引集，定義多層特征集為其中，則第一互對比損失表示如下：

29、

30、其中，表示樣本在第l層的特征映射，表示與具有相同類別的其他樣本的特征集合，為平衡不同層特征影響的系數(shù)。

31、在一些示例性實施方式中，所述基于第一蒸餾損失、第一代理對比損失和第一互對比損失得到第一最終損失，包括：

32、將第一蒸餾損失、第一代理對比損失和第一互對比損失相加得到第一最終損失。

33、在一些示例性實施方式中，所述基于第二蒸餾損失、第二代理對比損失和第二互對比損失得到第二最終損失，包括：

34、將第二蒸餾損失、第二代理對比損失和第二互對比損失相加得到第二最終損失。

35、根據(jù)本發(fā)明的第二方面，提供一種基于互學(xué)習(xí)與數(shù)據(jù)增強的在線持續(xù)進(jìn)化方法的應(yīng)用，所述方法用于無人機(jī)在線圖像持續(xù)識別，所述的訓(xùn)練數(shù)據(jù)流為無人機(jī)對地探測圖像。

36、本發(fā)明所提供的基于互學(xué)習(xí)與數(shù)據(jù)增強的在線持續(xù)進(jìn)化方法，通過互學(xué)習(xí)機(jī)制和數(shù)據(jù)增強策略，針對在線持續(xù)進(jìn)化中的關(guān)鍵問題提供了有效的解決方案。首先，設(shè)計了一種互學(xué)習(xí)機(jī)制，在訓(xùn)練過程中構(gòu)建兩個子模型，通過引導(dǎo)不同子模型間特征和分布的對齊，有效地捕獲模型之間的相互作用，促進(jìn)模型協(xié)同進(jìn)化，顯著降低單模型學(xué)習(xí)的局限性。此外，通過默認(rèn)數(shù)據(jù)增強、大角度旋轉(zhuǎn)增強和兩次隨機(jī)增強三種數(shù)據(jù)增強策略擴(kuò)展數(shù)據(jù)特征分布，顯著提高模型在單周期訓(xùn)練下的泛化能力和特征學(xué)習(xí)能力。通過互學(xué)習(xí)機(jī)制和數(shù)據(jù)增強策略的結(jié)合，本發(fā)明使得模型能夠在僅訪問一次數(shù)據(jù)的條件下，快速適應(yīng)新任務(wù)并避免單周期訓(xùn)練中產(chǎn)生的有偏特征學(xué)習(xí)問題，顯著地增強了模型在在線持續(xù)識別場景中的學(xué)習(xí)能力和性能?？傊?，本發(fā)明提出的基于互學(xué)習(xí)與數(shù)據(jù)增強的在線持續(xù)進(jìn)化方法，對比傳統(tǒng)持續(xù)進(jìn)化方法，在提升模型泛化性、緩解災(zāi)難性遺忘和適應(yīng)單周期訓(xùn)練多個方面展現(xiàn)出了顯著優(yōu)勢，為無人機(jī)對地探測等需要實時持續(xù)更新的任務(wù)場景提供了技術(shù)支持和可靠保障。

37、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。