本技術(shù)涉及計(jì)算機(jī)目標(biāo)識(shí)別，特別是涉及一種基于圖結(jié)構(gòu)一致性對(duì)齊的sar目標(biāo)識(shí)別方法及裝置。

背景技術(shù)：

1、合成孔徑雷達(dá)（sar）系統(tǒng)作為一個(gè)主動(dòng)傳感器，能夠通過(guò)發(fā)射雷達(dá)波來(lái)測(cè)量目標(biāo)的后向散射特性。sar因其全天候、全天時(shí)和高分辨率的能力，在民用應(yīng)用中得到了廣泛應(yīng)用。sar自動(dòng)目標(biāo)識(shí)別（atr）過(guò)程是指根據(jù)sar圖像后向散射特征識(shí)別感興趣對(duì)象的類別。在不同目標(biāo)中，飛機(jī)目標(biāo)識(shí)別在民用機(jī)場(chǎng)管理中起著重要作用，眾多研究人員試圖在模型空間中為sar飛機(jī)識(shí)別構(gòu)建一種穩(wěn)定而魯棒的特征表示。

2、在傳統(tǒng)的sar飛機(jī)識(shí)別方法中，算法質(zhì)量的關(guān)鍵在于特征提取。通常，sar圖像反映了幾何和介電特性。飛機(jī)子部件的點(diǎn)響應(yīng)構(gòu)建線和區(qū)域，作為sar圖像的基元。傳統(tǒng)方法試圖利用結(jié)構(gòu)和散射特性將sar圖像映射到特征或模板空間。一些技術(shù)中使用霍夫變換結(jié)合高斯核平滑來(lái)提取飛機(jī)骨架，然后，使用飛機(jī)結(jié)構(gòu)先驗(yàn)分割來(lái)估計(jì)子部分參數(shù)。還有的現(xiàn)有技術(shù)研究了民用飛機(jī)的后向散射特性，以提取在小范圍內(nèi)具有旋轉(zhuǎn)不變性的顯著點(diǎn)向量。一些方法中還引入高斯混合模型（gmm）來(lái)分析散射強(qiáng)度分布，并設(shè)計(jì)了一種采樣選擇方案來(lái)實(shí)現(xiàn)目標(biāo)分類。一般來(lái)說(shuō)，傳統(tǒng)方法主要側(cè)重于使用散射特性（包括點(diǎn)、線和統(tǒng)計(jì)分布）建立穩(wěn)定的結(jié)構(gòu)表示。然而，它們?cè)诤艽蟪潭壬弦蕾囉谑止ぴO(shè)計(jì)的參數(shù)和規(guī)則，這些參數(shù)和規(guī)則限制其應(yīng)用在實(shí)際場(chǎng)景中。

3、而深度神經(jīng)網(wǎng)絡(luò)憑借其端到端的特點(diǎn)，在sar?atr中得到了爆炸性的發(fā)展。對(duì)于sar飛機(jī)目標(biāo)檢測(cè)識(shí)別，主要挑戰(zhàn)在于復(fù)雜的電磁散射機(jī)制導(dǎo)致的離散的外觀和對(duì)方位角變化的敏感性。大量學(xué)者結(jié)合sar圖像中飛機(jī)的特點(diǎn)，提出了性能優(yōu)異的sar飛機(jī)檢測(cè)智能算法。對(duì)于sar飛機(jī)分類，目前，將結(jié)構(gòu)拓?fù)鋸纳⑸潼c(diǎn)引入神經(jīng)網(wǎng)絡(luò)框架的方法已經(jīng)得到了廣泛的研究和應(yīng)用。有一些方法利用散射特性，將拓?fù)浔硎炯傻椒诸惙种е?。然而，它們通常需要一個(gè)額外的基于傳統(tǒng)算法的散射特征提取分支，增加了算法復(fù)雜度高的特點(diǎn)。若利用額外高級(jí)信息的方法又僅用了粗略信息，未充分挖掘幾何結(jié)構(gòu)啟發(fā)。

4、在現(xiàn)有的技術(shù)中，還通過(guò)建立魯棒拓?fù)浔硎镜囊环N有效替代方法是利用有關(guān)結(jié)構(gòu)和組件屬性的額外高級(jí)信息。這一思想可以起源于光學(xué)遙感圖像中飛機(jī)目標(biāo)識(shí)別的研究。遙感圖像判讀專家的經(jīng)驗(yàn)知識(shí)有效地促進(jìn)飛機(jī)目標(biāo)的識(shí)別。一些方法中將飛機(jī)分類轉(zhuǎn)化為點(diǎn)回歸任務(wù)，用八個(gè)飛機(jī)輪廓點(diǎn)描述飛機(jī)形狀。還有一種基于飛機(jī)輪廓八邊形的分割方案，該方案為目標(biāo)識(shí)別提供了和飛機(jī)有關(guān)的基本形狀信息。另外，還有方法提出飛機(jī)重要組件檢測(cè)模塊，其中飛機(jī)機(jī)翼和尾部發(fā)動(dòng)機(jī)被提取為主要組件線索以增強(qiáng)分類。還有一些方法通過(guò)在輪廓級(jí)和像素級(jí)對(duì)飛機(jī)零件進(jìn)行注釋，構(gòu)建了細(xì)粒度部件解析數(shù)據(jù)庫(kù)。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠通過(guò)充分挖掘幾何結(jié)構(gòu)從而達(dá)到精準(zhǔn)識(shí)別的基于圖結(jié)構(gòu)一致性對(duì)齊的sar目標(biāo)識(shí)別方法及裝置。

2、一種基于圖結(jié)構(gòu)一致性對(duì)齊的sar目標(biāo)識(shí)別方法，所述方法包括：

3、獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集中包括多張sar樣本圖像以及對(duì)應(yīng)的目標(biāo)類別標(biāo)簽；

4、針對(duì)所述樣本數(shù)據(jù)集中的各張sar樣本圖像，根據(jù)其中目標(biāo)類型的參考圖構(gòu)建對(duì)應(yīng)的結(jié)構(gòu)模版圖，根據(jù)相關(guān)聯(lián)的所述結(jié)構(gòu)模版圖、sar樣本圖像以及參考圖生成一組訓(xùn)練樣本，構(gòu)建得到訓(xùn)練數(shù)據(jù)集；

5、將所述訓(xùn)練數(shù)據(jù)集中的一組訓(xùn)練樣本輸入至sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，在所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，分別將一組訓(xùn)練樣本中的sar樣本圖像以及結(jié)構(gòu)模版圖分割成不重疊的多個(gè)尺寸相同的圖像塊，并按照預(yù)設(shè)的多個(gè)特征單元尺寸，對(duì)圖像塊進(jìn)行重新分組，得到包括多個(gè)相同尺寸特征單元的多尺度特征圖，分別為多尺度樣本特征圖以及多尺度模版特征圖；

6、根據(jù)多尺度樣本特征圖進(jìn)行目標(biāo)分類得到預(yù)測(cè)目標(biāo)類別，根據(jù)所述預(yù)測(cè)目標(biāo)類別與對(duì)應(yīng)的目標(biāo)類別標(biāo)簽進(jìn)行計(jì)算，得到分類損失；

7、分別根據(jù)多尺度樣本特征圖以及多尺度模版特征圖構(gòu)建對(duì)應(yīng)的圖結(jié)構(gòu)，分別得到多尺度樣本圖結(jié)構(gòu)以及多尺度模版圖結(jié)構(gòu)，根據(jù)相同尺度的樣本圖結(jié)構(gòu)以及模版圖結(jié)構(gòu)分別計(jì)算對(duì)應(yīng)尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失以及圖譜距離損失；

8、根據(jù)不同尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失、圖譜距離損失以及分類損失對(duì)所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至得到訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)；

9、獲取待進(jìn)行目標(biāo)識(shí)別的sar圖像，利用所述訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)所述sar圖像進(jìn)行目標(biāo)識(shí)別。

10、在其中一實(shí)施例中，所述根據(jù)相關(guān)聯(lián)的所述結(jié)構(gòu)模版圖、sar樣本圖像以及參考圖生成一組訓(xùn)練樣本，包括：所述參考圖為目標(biāo)光學(xué)圖像，所述結(jié)構(gòu)模版圖為基于所述目標(biāo)光學(xué)圖像得到的二值圖；

11、根據(jù)所述sar樣本圖像對(duì)所述結(jié)構(gòu)模版圖進(jìn)行對(duì)齊，得到旋轉(zhuǎn)平移后的結(jié)構(gòu)模版圖；

12、再將旋轉(zhuǎn)平移后的結(jié)構(gòu)模版圖與原始的結(jié)構(gòu)模版圖進(jìn)行圖像匹配得到目標(biāo)的幾何變換矩陣，并基于所述參考圖提取得到目標(biāo)的相關(guān)信息；

13、將所述sar樣本圖像、對(duì)應(yīng)的目標(biāo)類別標(biāo)簽、結(jié)構(gòu)模版圖、幾何變換矩陣以及相關(guān)信息作為一組訓(xùn)練樣本。

14、在其中一實(shí)施例中，在對(duì)所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)包括第一子特征提取網(wǎng)絡(luò)、第二子特征提取網(wǎng)絡(luò)以及分類器；

15、所述第一子特征提取網(wǎng)絡(luò)用于對(duì)所述sar樣本圖像進(jìn)行多尺度特征提取，得到所述多尺度樣本特征圖；

16、所述第二子特征提取網(wǎng)絡(luò)用于對(duì)所述結(jié)構(gòu)模版圖進(jìn)行多尺度特征提取，得到所述多尺度模版特征圖；

17、所述分類器包括依次連接的全局平均池層、全連接層以及softmax函數(shù)層，用于根據(jù)所述多尺度樣本特征圖進(jìn)行目標(biāo)類別預(yù)測(cè)，得到所述預(yù)測(cè)目標(biāo)類別。

18、在其中一實(shí)施例中，所述第一子特征提取網(wǎng)絡(luò)采用swin?transformer網(wǎng)絡(luò)結(jié)構(gòu)，所述第二子特征提取網(wǎng)絡(luò)采用tokenizer網(wǎng)絡(luò)結(jié)構(gòu)。

19、在其中一實(shí)施例中，在分別根據(jù)多尺度樣本特征圖以及多尺度模版特征圖構(gòu)建對(duì)應(yīng)的圖結(jié)構(gòu)時(shí)，其中，在根據(jù)多尺度樣本特征圖構(gòu)建對(duì)應(yīng)的圖結(jié)構(gòu)時(shí)：

20、針對(duì)各不同尺度的樣本特征圖，將所述樣本特征圖中的各特征單元作為所述圖結(jié)構(gòu)中的節(jié)點(diǎn)；

21、將所述特征單元與其他特征單元之間的關(guān)系，作為對(duì)應(yīng)節(jié)點(diǎn)與節(jié)點(diǎn)之間的邊，并根據(jù)特征單元所在區(qū)域的前景先驗(yàn)、局部約束以及余弦相似性，計(jì)算所述邊的權(quán)重。

22、在其中一實(shí)施例中，某一尺度的樣本圖結(jié)構(gòu)為：，其中：

23、；

24、在上式中，和表示位置和位置的特征單元，表示所有空間坐標(biāo)的域，表示權(quán)重函數(shù)，表示sar樣本圖像的前景先驗(yàn)，表示局部約束，表示余弦相似性，上標(biāo)s表示與樣本圖結(jié)構(gòu)相關(guān)的參數(shù)。

25、在其中一實(shí)施例中，所述根據(jù)相同尺度的樣本圖結(jié)構(gòu)以及模版圖結(jié)構(gòu)分別計(jì)算對(duì)應(yīng)尺度下的頂點(diǎn)相關(guān)性損失，包括：

26、對(duì)相同尺度下的樣本圖結(jié)構(gòu)以及模版圖結(jié)構(gòu)中相應(yīng)的特征單元，采用歸一化相關(guān)性層得到相關(guān)性圖；

27、利用幾何變換矩陣得到一致性掩碼，根據(jù)所述相關(guān)性圖以及一致性掩碼得到所述頂點(diǎn)相關(guān)性損失。

28、在其中一實(shí)施例中，所述訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)包括所述第一子特征提取網(wǎng)絡(luò)和分類器。

29、本技術(shù)還提供了一種基于圖結(jié)構(gòu)一致性對(duì)齊的sar目標(biāo)識(shí)別裝置，所述裝置包括：

30、數(shù)據(jù)集獲取模塊，用于獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集中包括多張sar樣本圖像以及對(duì)應(yīng)的目標(biāo)類別標(biāo)簽；

31、訓(xùn)練數(shù)據(jù)集構(gòu)建模塊，用于針對(duì)所述樣本數(shù)據(jù)集中的各張sar樣本圖像，根據(jù)其中目標(biāo)類型的參考圖構(gòu)建對(duì)應(yīng)的結(jié)構(gòu)模版圖，根據(jù)相關(guān)聯(lián)的所述結(jié)構(gòu)模版圖、sar樣本圖像以及參考圖生成一組訓(xùn)練樣本，構(gòu)建得到訓(xùn)練數(shù)據(jù)集；

32、多尺度特征提取模塊，用于將所述訓(xùn)練數(shù)據(jù)集中的一組訓(xùn)練樣本輸入至sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，在所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，分別將一組訓(xùn)練樣本中的sar樣本圖像以及結(jié)構(gòu)模版圖分割成不重疊的多個(gè)尺寸相同的圖像塊，并按照預(yù)設(shè)的多個(gè)特征單元尺寸，對(duì)圖像塊進(jìn)行重新分組，得到包括多個(gè)相同尺寸特征單元的多尺度特征圖，分別為多尺度樣本特征圖以及多尺度模版特征圖；

33、分類損失計(jì)算模塊，用于根據(jù)多尺度樣本特征圖進(jìn)行目標(biāo)分類得到預(yù)測(cè)目標(biāo)類別，根據(jù)所述預(yù)測(cè)目標(biāo)類別與對(duì)應(yīng)的目標(biāo)類別標(biāo)簽進(jìn)行計(jì)算，得到分類損失；

34、圖結(jié)構(gòu)一致性損失計(jì)算模塊，用于分別根據(jù)多尺度樣本特征圖以及多尺度模版特征圖構(gòu)建對(duì)應(yīng)的圖結(jié)構(gòu)，分別得到多尺度樣本圖結(jié)構(gòu)以及多尺度模版圖結(jié)構(gòu)，根據(jù)相同尺度的樣本圖結(jié)構(gòu)以及模版圖結(jié)構(gòu)分別計(jì)算對(duì)應(yīng)尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失以及圖譜距離損失；

35、sar目標(biāo)識(shí)別網(wǎng)絡(luò)訓(xùn)練模塊，用于根據(jù)不同尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失、圖譜距離損失以及分類損失對(duì)所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至得到訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)；

36、sar圖像目標(biāo)識(shí)別模塊，用于獲取待進(jìn)行目標(biāo)識(shí)別的sar圖像，利用所述訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)所述sar圖像進(jìn)行目標(biāo)識(shí)別。

37、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

38、獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集中包括多張sar樣本圖像以及對(duì)應(yīng)的目標(biāo)類別標(biāo)簽；

39、針對(duì)所述樣本數(shù)據(jù)集中的各張sar樣本圖像，根據(jù)其中目標(biāo)類型的參考圖構(gòu)建對(duì)應(yīng)的結(jié)構(gòu)模版圖，根據(jù)相關(guān)聯(lián)的所述結(jié)構(gòu)模版圖、sar樣本圖像以及參考圖生成一組訓(xùn)練樣本，構(gòu)建得到訓(xùn)練數(shù)據(jù)集；

40、將所述訓(xùn)練數(shù)據(jù)集中的一組訓(xùn)練樣本輸入至sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，在所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，分別將一組訓(xùn)練樣本中的sar樣本圖像以及結(jié)構(gòu)模版圖分割成不重疊的多個(gè)尺寸相同的圖像塊，并按照預(yù)設(shè)的多個(gè)特征單元尺寸，對(duì)圖像塊進(jìn)行重新分組，得到包括多個(gè)相同尺寸特征單元的多尺度特征圖，分別為多尺度樣本特征圖以及多尺度模版特征圖；

41、根據(jù)多尺度樣本特征圖進(jìn)行目標(biāo)分類得到預(yù)測(cè)目標(biāo)類別，根據(jù)所述預(yù)測(cè)目標(biāo)類別與對(duì)應(yīng)的目標(biāo)類別標(biāo)簽進(jìn)行計(jì)算，得到分類損失；

42、分別根據(jù)多尺度樣本特征圖以及多尺度模版特征圖構(gòu)建對(duì)應(yīng)的圖結(jié)構(gòu)，分別得到多尺度樣本圖結(jié)構(gòu)以及多尺度模版圖結(jié)構(gòu)，根據(jù)相同尺度的樣本圖結(jié)構(gòu)以及模版圖結(jié)構(gòu)分別計(jì)算對(duì)應(yīng)尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失以及圖譜距離損失；

43、根據(jù)不同尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失、圖譜距離損失以及分類損失對(duì)所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至得到訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)；

44、獲取待進(jìn)行目標(biāo)識(shí)別的sar圖像，利用所述訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)所述sar圖像進(jìn)行目標(biāo)識(shí)別。

45、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

46、獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集中包括多張sar樣本圖像以及對(duì)應(yīng)的目標(biāo)類別標(biāo)簽；

47、針對(duì)所述樣本數(shù)據(jù)集中的各張sar樣本圖像，根據(jù)其中目標(biāo)類型的參考圖構(gòu)建對(duì)應(yīng)的結(jié)構(gòu)模版圖，根據(jù)相關(guān)聯(lián)的所述結(jié)構(gòu)模版圖、sar樣本圖像以及參考圖生成一組訓(xùn)練樣本，構(gòu)建得到訓(xùn)練數(shù)據(jù)集；

48、將所述訓(xùn)練數(shù)據(jù)集中的一組訓(xùn)練樣本輸入至sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，在所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)中，分別將一組訓(xùn)練樣本中的sar樣本圖像以及結(jié)構(gòu)模版圖分割成不重疊的多個(gè)尺寸相同的圖像塊，并按照預(yù)設(shè)的多個(gè)特征單元尺寸，對(duì)圖像塊進(jìn)行重新分組，得到包括多個(gè)相同尺寸特征單元的多尺度特征圖，分別為多尺度樣本特征圖以及多尺度模版特征圖；

49、根據(jù)多尺度樣本特征圖進(jìn)行目標(biāo)分類得到預(yù)測(cè)目標(biāo)類別，根據(jù)所述預(yù)測(cè)目標(biāo)類別與對(duì)應(yīng)的目標(biāo)類別標(biāo)簽進(jìn)行計(jì)算，得到分類損失；

50、分別根據(jù)多尺度樣本特征圖以及多尺度模版特征圖構(gòu)建對(duì)應(yīng)的圖結(jié)構(gòu)，分別得到多尺度樣本圖結(jié)構(gòu)以及多尺度模版圖結(jié)構(gòu)，根據(jù)相同尺度的樣本圖結(jié)構(gòu)以及模版圖結(jié)構(gòu)分別計(jì)算對(duì)應(yīng)尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失以及圖譜距離損失；

51、根據(jù)不同尺度下的頂點(diǎn)相關(guān)性損失、邊相似性差異損失、圖譜距離損失以及分類損失對(duì)所述sar目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至得到訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)；

52、獲取待進(jìn)行目標(biāo)識(shí)別的sar圖像，利用所述訓(xùn)練后的sar目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)所述sar圖像進(jìn)行目標(biāo)識(shí)別。

53、有益效果：上述基于圖結(jié)構(gòu)一致性對(duì)齊的sar目標(biāo)識(shí)別方法及裝置，通過(guò)對(duì)樣本數(shù)據(jù)集中的各?sar?樣本圖像依目標(biāo)參考圖構(gòu)建結(jié)構(gòu)模版圖，生成訓(xùn)練樣本并構(gòu)建訓(xùn)練集，將其輸入?sar?目標(biāo)識(shí)別網(wǎng)絡(luò)，把樣本圖像與模版圖分割成塊，按預(yù)設(shè)尺寸重組得多尺度特征圖，再基于多尺度樣本特征圖做目標(biāo)分類，算分類損失，接著構(gòu)建圖結(jié)構(gòu)算頂點(diǎn)相關(guān)性、邊相似性差異、圖譜距離損失。用這些損失訓(xùn)練網(wǎng)絡(luò)直至收斂，利用訓(xùn)練好的網(wǎng)絡(luò)對(duì)待處理的sar?圖像進(jìn)行識(shí)別。采用本方法可有效提高目標(biāo)識(shí)別精度。