本發(fā)明屬于無人機影像處理，涉及一種多層特征自適應(yīng)對齊的跨域無人機目標檢測方法和系統(tǒng)。

背景技術(shù)：

1、無人機作為新興的遙感平臺，已廣泛應(yīng)用于智慧農(nóng)業(yè)、環(huán)境監(jiān)測、交通管理等領(lǐng)域，其中無人機影像的目標檢測是關(guān)鍵技術(shù)。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在多個無人機影像數(shù)據(jù)集上取得了顯著成績。然而，這些方法依賴大量帶有邊界框的標注數(shù)據(jù)，并假設(shè)訓(xùn)練集和測試集具有相同的分布特性，這在面對新環(huán)境時嚴重影響了檢測器的泛化能力，導(dǎo)致域偏移時性能下降。一個直觀的解決方法是收集新環(huán)境圖像并進行標注，但這種方法成本高且耗時。因此，無監(jiān)督域自適應(yīng)(da)方法應(yīng)運而生，旨在將源域的知識遷移到未標注的目標域。

2、域自適應(yīng)目標檢測(daod)的核心思想是通過對齊源域和目標域特征，學(xué)習(xí)域不變的特征表示?，F(xiàn)有的對齊策略可分為三類：特征級自適應(yīng)、像素級自適應(yīng)和自訓(xùn)練方法。特征級自適應(yīng)通過對抗學(xué)習(xí)或顯式度量學(xué)習(xí)來減小源域與目標域之間的特征差異，但現(xiàn)有方法往往忽視了不同特征層的遷移性差異。像素級自適應(yīng)通過將源域圖像轉(zhuǎn)化為具有目標風(fēng)格的中間圖像，再用監(jiān)督學(xué)習(xí)訓(xùn)練檢測器，但生成理想的圖像轉(zhuǎn)換器十分困難，且在某些極端情況下可能加劇域偏移。自訓(xùn)練方法通過生成偽標簽來實現(xiàn)類別對齊，但在目標域生成高質(zhì)量偽標簽依然具有挑戰(zhàn)。

3、當前大多數(shù)域自適應(yīng)目標檢測方法主要基于地面圖像數(shù)據(jù)集，如cityscapes和bdd100k。然而，無人機影像中的實例級(如外觀、大小等)域偏移相較于地面圖像更為嚴重，因為無人機影像的拍攝角度、視距和高度變化大，且天氣、光照等因素對圖像質(zhì)量有顯著影響。因此，域自適應(yīng)在無人機影像中的應(yīng)用面臨更大的挑戰(zhàn)，主要體現(xiàn)在：1)明顯的圖像級風(fēng)格差異使得將源域知識遷移到目標域更加困難；2)高質(zhì)量偽標簽的生成依然是一個亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于，提供一種多層特征自適應(yīng)對齊的跨域無人機目標檢測方法和系統(tǒng)，以解決現(xiàn)有技術(shù)中，不同數(shù)據(jù)域中無人機影像特征差異顯著導(dǎo)致傳統(tǒng)目標檢測算法難以應(yīng)對域偏移的問題。

2、為達到上述目的，本發(fā)明采用以下技術(shù)方案予以實現(xiàn)：

3、第一方面，本技術(shù)公開了一種多層特征自適應(yīng)對齊的跨域無人機目標檢測方法，包括：

4、獲取跨時間、跨傳感器、跨視角和跨天氣四個跨域無人機目標檢測數(shù)據(jù)，并預(yù)處理得到源域數(shù)據(jù)和目標域數(shù)據(jù)；

5、將源域數(shù)據(jù)和目標域數(shù)據(jù)輸入到預(yù)設(shè)的自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型中進行處理，輸出檢測結(jié)果，具體包括：

6、源域數(shù)據(jù)輸入到學(xué)生模型中，對學(xué)生模型的權(quán)重進行初始化；權(quán)重初始化后的學(xué)生模型，通過指數(shù)移動平均更新教師模型的權(quán)重；

7、目標域數(shù)據(jù)輸入到更新后的教師模型中進行處理，得到目標域中偽標簽；

8、權(quán)重初始化后的學(xué)生模型基于源域數(shù)據(jù)和目標域中偽標簽進行自適應(yīng)學(xué)習(xí)，迭代更新學(xué)生模型的權(quán)重，并通過指數(shù)移動平均迭代更新教師模型的權(quán)重；得到自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型；

9、目標域數(shù)據(jù)輸入自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型的學(xué)生模型中進行檢測，輸出檢測結(jié)果。

10、優(yōu)選地，所述跨時間、跨傳感器、跨視角和跨天氣四個跨域無人機目標檢測數(shù)據(jù)，基于兩個光學(xué)衛(wèi)星遙感影像數(shù)據(jù)集：dior數(shù)據(jù)集和dota數(shù)據(jù)集，以及兩個無人機遙感影像數(shù)據(jù)集：visdrone數(shù)據(jù)集和uavdt數(shù)據(jù)集，制作而成。

11、優(yōu)選地，所述源域數(shù)據(jù)輸入到學(xué)生模型中，目標域數(shù)據(jù)分別輸入到教師模型和學(xué)生模型中，具體為：源域數(shù)據(jù)和目標域數(shù)據(jù)的強增強圖像輸入到學(xué)生模型；目標域數(shù)據(jù)的弱增強圖像輸入到教師模型。

12、優(yōu)選地，所述學(xué)生模型通過梯度反轉(zhuǎn)層和判別器進行自適應(yīng)學(xué)習(xí)更新，得到權(quán)重更新的學(xué)生模型。

13、優(yōu)選地，所述權(quán)重初始化后的學(xué)生模型基于源域數(shù)據(jù)和目標域中偽標簽進行自適應(yīng)學(xué)習(xí)，迭代更新學(xué)生模型的權(quán)重，并通過指數(shù)移動平均迭代更新教師模型的權(quán)重；得到自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型具體為：

14、s2031：權(quán)重初始化后的學(xué)生模型基于源域數(shù)據(jù)和目標域中偽標簽進行自適應(yīng)學(xué)習(xí)，得到權(quán)重更新的學(xué)生模型；

15、s2032：權(quán)重更新的學(xué)生模型通過指數(shù)移動平均更新教師模型的權(quán)重；

16、s2033：重復(fù)s2031～s2032迭代更新學(xué)生模型和教師模型，得到自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型。

17、優(yōu)選地，所述自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型的構(gòu)建方法包括：

18、源域數(shù)據(jù)初始化學(xué)生模型，得到有監(jiān)督損失；

19、目標域數(shù)據(jù)進入教師模型生成目標域圖像的偽標簽；

20、目標域圖像的偽標簽進入學(xué)生模型，得到無監(jiān)督損失；

21、源域數(shù)據(jù)和偽標簽進入學(xué)生模型，通過梯度反轉(zhuǎn)層和判別器進行自適應(yīng)學(xué)習(xí)，得到多層加權(quán)特征對齊損失；

22、基于有監(jiān)督損失、無監(jiān)督損失和多層加權(quán)特征對齊損失采用總損失函數(shù)計算學(xué)生模型的總損失，根據(jù)有監(jiān)督損失和無監(jiān)督損失迭代更新學(xué)生模型中的特征編碼器和檢測器，根據(jù)多層加權(quán)特征對齊損失迭代更新學(xué)生模型中的特征編碼器和判別器；教師模型通過學(xué)生模型的指數(shù)移動平均，跟隨學(xué)生模型實現(xiàn)迭代更新；至學(xué)生模型的總損失收斂，得到自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型。

23、優(yōu)選地，所述總損失函數(shù)為：

24、

25、有監(jiān)督損失為：

26、

27、無監(jiān)督損失為：

28、

29、多層加權(quán)特征對齊損失為：

30、

31、其中，為總損失；為有監(jiān)督損失；為無監(jiān)督損失；為多層加權(quán)特征對齊損失；λunsup和λdis是用于控制相應(yīng)損失權(quán)重的超參數(shù)，λunsup＝1.0；λdis＝0.05；表示源域圖像；表示源域圖像的邊界框標注；表示對應(yīng)的類別標簽；示目標域圖像；為區(qū)域建議網(wǎng)絡(luò)rpn的分類損失；為區(qū)域建議網(wǎng)絡(luò)rpn的回歸損失；為感興趣區(qū)域roi的分類損失；為感興趣區(qū)域roi的回歸損失；為教師模型在目標域上生成的偽標簽；wi為第i個特征層的可遷移性的量化值；為第i個特征層輸出特征的判別損失，采用的是二元交叉熵損失，這里d＝0；為第i個特征層輸出特征的對抗優(yōu)化目標函數(shù)；ei為特征編碼器第i層的輸出值；di為判別器第i層的輸出值。

32、第二方面，本技術(shù)公開了一種多層特征自適應(yīng)對齊的跨域無人機目標檢測系統(tǒng)，包括：

33、數(shù)據(jù)獲取預(yù)處理單元，用于獲取跨時間、跨傳感器、傳視角和跨天氣四個跨域無人機目標檢測數(shù)據(jù)，并預(yù)處理得到源域數(shù)據(jù)和目標域數(shù)據(jù)；

34、數(shù)據(jù)檢測單元，用于將源域數(shù)據(jù)和目標域數(shù)據(jù)輸入到預(yù)設(shè)的自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型中進行處理，輸出檢測結(jié)果，具體包括：

35、源域數(shù)據(jù)輸入到學(xué)生模型中，對學(xué)生模型的權(quán)重進行初始化；權(quán)重初始化后的學(xué)生模型，通過指數(shù)移動平均更新教師模型的權(quán)重；

36、目標域數(shù)據(jù)輸入到更新后的教師模型中進行處理，得到目標域中偽標簽；

37、權(quán)重初始化后的學(xué)生模型基于源域數(shù)據(jù)和目標域中偽標簽進行自適應(yīng)學(xué)習(xí)，迭代更新學(xué)生模型的權(quán)重，并通過指數(shù)移動平均迭代更新教師模型的權(quán)重；得到自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型；

38、目標域數(shù)據(jù)輸入自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型的學(xué)生模型中進行檢測，輸出檢測結(jié)果。

39、第三方面，本技術(shù)公開了一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述任一項所述的多層特征自適應(yīng)對齊的跨域無人機目標檢測方法的步驟。

40、第四方面，本技術(shù)公開了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述任一項所述的多層特征自適應(yīng)對齊的跨域無人機目標檢測方法的步驟

41、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

42、1)無需邊框標注即可進行準確檢測：本發(fā)明無需對新數(shù)據(jù)域進行邊框標注，即可實現(xiàn)精確的目標檢測，從而顯著降低數(shù)據(jù)標注的成本。

43、2)多層加權(quán)特征自適應(yīng)對齊策略：本發(fā)明設(shè)計了一種多層加權(quán)特征自適應(yīng)對齊策略，針對不同特征層的可遷移性進行差異化處理。通過自適應(yīng)選擇具有較高可轉(zhuǎn)移性的特征層進行知識遷移，有效提升了偽標簽的質(zhì)量，從而大幅提高了無人機影像跨域目標檢測的準確性。

44、3)提高跨域檢測精度：本發(fā)明能夠顯著提升跨時間、跨傳感器、跨視角及跨天氣條件下的目標檢測精度，進一步增強了算法的泛化能力和應(yīng)用范圍。

45、綜上所述，本技術(shù)采用自適應(yīng)教師-學(xué)生互學(xué)習(xí)檢測模型，通過多層加權(quán)特征對齊的域?qū)箤W(xué)習(xí)與強弱數(shù)據(jù)增強相結(jié)合，減小源域與目標域之間的差異。在學(xué)生模型中，自適應(yīng)選擇高可轉(zhuǎn)移的特征層進行知識遷移，從而促進源域和目標域特征分布的一致性。教師模型則通過互學(xué)習(xí)策略從學(xué)生模型中獲取知識，同時避免過度依賴源域數(shù)據(jù)。同時，使用判別器和梯度反轉(zhuǎn)層進行自適應(yīng)學(xué)習(xí)，減少學(xué)生模型的域偏移，提升教師模型的偽標簽準確性。有效解決了不同數(shù)據(jù)域中無人機影像特征差異所引發(fā)的域偏移問題，無需邊框標注即可進行高精度檢測，顯著提升了跨域目標檢測的精度。