本發(fā)明涉及遙感圖像處理，特別是涉及一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的不斷普及和應(yīng)用，目標(biāo)檢測(cè)技術(shù)在各個(gè)領(lǐng)域發(fā)揮作用。yolov8作為一種高效、準(zhǔn)確的目標(biāo)檢測(cè)模型，廣泛應(yīng)用于各個(gè)領(lǐng)域。yolov8模型包括主干網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)、檢測(cè)頭以及損失函數(shù)；主干網(wǎng)絡(luò)用于提取圖像特征，減少計(jì)算復(fù)雜度；特征金字塔網(wǎng)絡(luò)將不同層次的特征進(jìn)行融合，提高模型對(duì)不同尺度目標(biāo)的檢測(cè)能力；檢測(cè)頭進(jìn)行多尺度預(yù)測(cè)，提高檢測(cè)的靈活性。

2、然而現(xiàn)有的yolov8模型，在對(duì)于一類別的對(duì)象通常表現(xiàn)出較大的尺度變化且背景復(fù)雜和多樣化的光學(xué)遙感圖像(orsi)領(lǐng)域，存在以下缺陷：通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，對(duì)內(nèi)存和計(jì)算要求很高，在實(shí)際應(yīng)用場(chǎng)景下，對(duì)于硬件資源有限的嵌入式系統(tǒng)來說是不切實(shí)際的；通過特征金字塔結(jié)構(gòu)進(jìn)行特征融合，依賴于求和或串聯(lián)等簡(jiǎn)單操作來合并金字塔特征，無法利用所有特征圖之間的相關(guān)性。例如，當(dāng)檢測(cè)水面上的船只時(shí)，提取的冗余信息通常與水面背景有關(guān)，這對(duì)檢測(cè)任務(wù)的貢獻(xiàn)可能很小。

3、因此，需要一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，采用yolov8模型框架，改進(jìn)模型的主干網(wǎng)絡(luò)、特征融合、檢測(cè)頭以及損失函數(shù)；從而提高模型的收斂速度和泛化能力。

2、為此，本發(fā)明提供了以下技術(shù)方案：

3、一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，包括：

4、接收遙感圖像；

5、通過主干網(wǎng)絡(luò)進(jìn)行遙感圖像特征提取，生成初始多層次特征；

6、通過頸部網(wǎng)絡(luò)融合初始多層次特征，獲得多尺度特征圖；

7、基于多尺度特征圖進(jìn)行不同尺寸目標(biāo)檢測(cè)；

8、所述主干網(wǎng)絡(luò)包括c2f模塊和fec模塊。

9、進(jìn)一步地，所述頸部網(wǎng)絡(luò)，包括：

10、第一尺度序列特征融合模塊、第二尺度序列特征融合模塊以及三重特征編碼器模塊；

11、所述三重特征編碼器模塊和所述尺度序列特征融合模塊間通過panet框架進(jìn)行特征數(shù)據(jù)傳遞獲得多尺度特征圖。

12、進(jìn)一步地，所述第一尺度序列特征融合模塊基于初始多層次特征提取多尺度特征數(shù)據(jù)。

13、進(jìn)一步地，所述多尺度特征圖，包括：

14、所述三重特征編碼器模塊基于初始多層次特征生成綜合特征數(shù)據(jù)作為p4特征圖和p5特征圖；

15、融合所述多尺度特征數(shù)據(jù)和p4特征圖以及p5特征圖獲得p3特征圖；

16、所述第二尺度序列特征融合模塊融合p3特征圖和所述綜合特征數(shù)據(jù)獲得p2特征圖。

17、進(jìn)一步地，通過所述c2f模塊提取遙感圖像淺層次特征；通過所述fec模塊提取遙感圖像深層次特征。

18、進(jìn)一步地，所述fec模塊包括faster-ema單元；

19、所述faster-ema包括：部分卷積和高效多尺度注意力機(jī)制。

20、進(jìn)一步地，利用輔助邊界框計(jì)算所述目標(biāo)檢測(cè)損失：

21、linner-siou＝lsiou+iou-iouinner

22、其中，iou用于衡量預(yù)測(cè)框與真實(shí)框之間的重疊程度，其定義為兩個(gè)框交集的面積與并集的面積之比；

23、iouinner通過輔助邊界框計(jì)算得到的iou；引入了比例因子來控制輔助邊界框的大小，用于生成不同尺度的輔助邊界框以計(jì)算損失，從而加速邊界框回歸過程；

24、lsiou考慮錨框與真實(shí)框之間角度的影響，并將角度損失引入到邊界框回歸損失函數(shù)中；

25、linner-siou將iouinner應(yīng)用于lsiou得到的損失函數(shù)。

26、本發(fā)明的優(yōu)點(diǎn)和積極效果：

27、本發(fā)明采用yolov8模型框架具有精度高和速度快的優(yōu)點(diǎn)；且對(duì)yolov8模型的特征提取、特征融合進(jìn)行改進(jìn)，提高對(duì)于光學(xué)遙感圖像的檢測(cè)精度和泛化能力。

28、主干網(wǎng)絡(luò)中利用fec模塊替換c2f模塊進(jìn)行深層特征提取，利用部分卷積僅對(duì)輸入流的一個(gè)子集執(zhí)行正常卷積以獲取空間提取的特征；構(gòu)建速度、準(zhǔn)確度、可部署性平衡的深度神經(jīng)網(wǎng)絡(luò)；解決現(xiàn)有技術(shù)中對(duì)內(nèi)存和計(jì)算要求很高無法應(yīng)用于硬件資源有限的嵌入式系統(tǒng)的問題；并引入了高效多尺度注意力機(jī)制(efficient?multi-scale?attention，ema)，一方面，兩個(gè)編碼特征沿著圖片的高度方向連接起來，通過類似于ca的過程共享相同的1×1卷積，另一方面，3×3分支通過使用3×3卷積捕獲局部跨通道連接來擴(kuò)展特征場(chǎng)；排除多余的圖像信息，提高特征提取對(duì)檢測(cè)任務(wù)的貢獻(xiàn)。

29、頸部網(wǎng)絡(luò)中引入小目標(biāo)檢測(cè)頭和尺度序列特征融合模塊與三重特征編碼器模塊；并利用panet框架的結(jié)構(gòu)和信息傳遞機(jī)制將三重特征編碼器模塊生成的綜合特征數(shù)據(jù)與尺度序列特征融合模塊所提取的多尺度特征數(shù)據(jù)進(jìn)行了深度融合。尺度序列特征融合模塊所提取的多尺度特征數(shù)據(jù)與三重特征編碼器模塊的綜合特征數(shù)據(jù)相互補(bǔ)充，形成了一個(gè)更為強(qiáng)大的特征表示。將融合后的特征數(shù)據(jù)輸入小目標(biāo)檢測(cè)頭，進(jìn)行檢測(cè)整合了不同模塊在尺度處理和特征提取方面的優(yōu)勢(shì)，還進(jìn)一步增強(qiáng)了對(duì)目標(biāo)特征的表達(dá)能力，從多個(gè)角度、多個(gè)尺度全面地理解和識(shí)別目標(biāo)；解決現(xiàn)有技術(shù)中的特征融合無法利用所有特征圖之間的相關(guān)性的問題。

30、通過主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)的改進(jìn)在優(yōu)化了深層次特征的提取并降低了特征提取的計(jì)算要求，同時(shí)進(jìn)行更加全面的特征融合，提高小目標(biāo)檢測(cè)準(zhǔn)確性。

技術(shù)特征：

1.一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，其特征在于，所述頸部網(wǎng)絡(luò)，包括：

3.根據(jù)權(quán)利要求1所述一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，其特征在于，所述第一尺度序列特征融合模塊基于初始多層次特征提取多尺度特征數(shù)據(jù)。

4.根據(jù)權(quán)利要2所述一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，其特征在于，所述多尺度特征圖，包括：

5.根據(jù)權(quán)利要1所述一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，其特征在于，通過所述c2f模塊提取遙感圖像淺層次特征；通過所述fec模塊提取遙感圖像深層次特征。

6.根據(jù)權(quán)利要5所述一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，其特征在于，所述fec模塊包括faster-ema單元；

7.根據(jù)權(quán)利要求1所述一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，其特征在于，利用輔助邊界框計(jì)算所述目標(biāo)檢測(cè)損失：

技術(shù)總結(jié)
本發(fā)明提供一種基于部分卷積和多尺度特征融合的遙感目標(biāo)檢測(cè)方法，屬于遙感圖像處理技術(shù)領(lǐng)域。本發(fā)明通過步驟：接收遙感圖像；通過主干網(wǎng)絡(luò)進(jìn)行遙感圖像特征提取，生成初始多層次特征；通過頸部網(wǎng)絡(luò)融合初始多層次特征，獲得多尺度特征圖；基于多尺度特征圖進(jìn)行不同尺寸目標(biāo)檢測(cè)；所述主干網(wǎng)絡(luò)包括c2f模塊和FEC模塊。本發(fā)明通過尺度序列特征融合模塊將特征分為大、中、小，結(jié)合大尺度特征圖，利用特征放大來增強(qiáng)特定特征數(shù)據(jù)。解決現(xiàn)有技術(shù)中的特征融合無法利用所有特征圖之間的相關(guān)性的問題。

技術(shù)研發(fā)人員：史金余,趙晨陽(yáng)
受保護(hù)的技術(shù)使用者：大連海事大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15