本發(fā)明屬于側(cè)掃聲吶圖像海底目標(biāo)檢測(cè)研究領(lǐng)域，尤其涉及目標(biāo)形狀自適應(yīng)的海底沉船檢測(cè)方法。

背景技術(shù)：

1、海底目標(biāo)的探測(cè)與識(shí)別對(duì)水下搜救、海洋工程建設(shè)、海洋地形地貌測(cè)量、海洋資源調(diào)查等領(lǐng)域有著極其重要的作用，但受復(fù)雜海洋環(huán)境、成像條件和測(cè)量手段等影響，其檢測(cè)比自然圖像目標(biāo)檢測(cè)更加困難，檢測(cè)精度難以滿足需求，已成為當(dāng)前研究的一個(gè)熱點(diǎn)和難點(diǎn)。聲學(xué)探測(cè)是利用來自目標(biāo)的回波信息形成的聲學(xué)圖像，通過對(duì)圖像人工判讀來對(duì)海底目標(biāo)進(jìn)行檢測(cè)，聲學(xué)探測(cè)因其技術(shù)成熟、直觀、高效且使用方便等特點(diǎn)在目前的水下目標(biāo)檢測(cè)中被廣泛應(yīng)用。側(cè)掃聲吶作為海底地形地貌探測(cè)的主要設(shè)備，因其具有較高的成像分辨率，已經(jīng)成為目前水下目標(biāo)檢測(cè)的主流設(shè)備。

2、當(dāng)前，隨著深度卷積神經(jīng)網(wǎng)絡(luò)(dcnns)的發(fā)展，許多針對(duì)聲吶圖像特點(diǎn)而被精心設(shè)計(jì)的結(jié)構(gòu)已經(jīng)取得了顯著的結(jié)果。大多數(shù)目標(biāo)檢測(cè)方法主要通過水平邊界框(hbbs)來檢測(cè)目標(biāo)，水平邊界框最主要的特點(diǎn)是它的邊與圖像的水平軸和垂直軸平行。其中，基于水平框的兩階段檢測(cè)模型r-cnn，首先生成候選目標(biāo)框的區(qū)域建議網(wǎng)絡(luò)，初步篩選出可能包含目標(biāo)的候選區(qū)域；然后對(duì)這些候選框進(jìn)行分類和邊界框回歸的網(wǎng)絡(luò)，進(jìn)一步確定候選框中目標(biāo)的類別和精確位置。單階段檢測(cè)模型如ssd、yolo系列，它將目標(biāo)檢測(cè)任務(wù)簡(jiǎn)化為一個(gè)階段，不使用中間的候選區(qū)域生成步驟，直接在輸入圖像或特征圖上進(jìn)行目標(biāo)類別和邊界框位置的預(yù)測(cè)。上述方法均在水平框的基礎(chǔ)上進(jìn)行目標(biāo)檢測(cè)，然而側(cè)掃聲吶圖像中的目標(biāo)實(shí)體(如最常見的沉船目標(biāo))通常按任意方向放置，并且具有高長(zhǎng)寬比的特點(diǎn)，使用水平框檢測(cè)無法準(zhǔn)確地表示任意方向的目標(biāo)，且會(huì)引入大量背景信息，這給檢測(cè)算法準(zhǔn)確定位定向?qū)ο髱砹藰O大的挑戰(zhàn)。

3、旋轉(zhuǎn)目標(biāo)檢測(cè)是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，與傳統(tǒng)目標(biāo)檢測(cè)相比更加困難與復(fù)雜，主要體現(xiàn)在以下三方面：

4、(1)目標(biāo)與錨框之間的不一致

5、當(dāng)前網(wǎng)絡(luò)的卷積特征通常是軸對(duì)齊的，具有固定的感受野，而面對(duì)聲吶圖像中任意方向的物體分布，導(dǎo)致錨框與卷積特征之間存在錯(cuò)位的現(xiàn)象，難以準(zhǔn)確表征物體的特點(diǎn)。也就是說，現(xiàn)有的方法所獲得的錨框質(zhì)量低，不能覆蓋物體，導(dǎo)致物體與錨框之間的不一致，錨框內(nèi)部區(qū)域特征難以代表整個(gè)物體。且對(duì)于高長(zhǎng)寬比物體而言，這種現(xiàn)象更為顯著，如水下沉船目標(biāo)的長(zhǎng)寬比通常在1/3～1/10之間，這種錯(cuò)位現(xiàn)象會(huì)加劇目標(biāo)與背景信息之間的不平衡，阻礙性能。

6、(2)分類特征與回歸特征不一致

7、在海底目標(biāo)檢測(cè)模型中，分類與回歸任務(wù)都是依靠從主干網(wǎng)絡(luò)中提取出的特征來進(jìn)行的，且這些特征通常具有旋轉(zhuǎn)不變性。然而在聲納海底目標(biāo)檢測(cè)任務(wù)中目標(biāo)是具有任意方向分布的特點(diǎn)，在分類任務(wù)中，我們需要利用固定的特征來判斷目標(biāo)的類別，也就是旋轉(zhuǎn)不變特征。由于側(cè)掃聲納圖像中目標(biāo)具有旋轉(zhuǎn)多方向的特點(diǎn)，導(dǎo)致我們很難得到準(zhǔn)確目標(biāo)位置信息，因此隨著角度的變化，我們需要提取不同角度的特征，來感知目標(biāo)的位置變化，從而進(jìn)行精確的定位，也就是旋轉(zhuǎn)變化特征。

8、(3)旋轉(zhuǎn)框質(zhì)量與標(biāo)簽分配策略之間不一致

9、對(duì)于高長(zhǎng)寬比的定向目標(biāo)而言，iou對(duì)角度上的變化感知非常敏銳，角度上微小的變化會(huì)導(dǎo)致iou急劇變化，而且iou高不一定代表分類效果好，由于高長(zhǎng)寬比的物體，在預(yù)設(shè)錨框時(shí)很難準(zhǔn)確的框住目標(biāo)的各類特征，一些高iou的框雖然概括了目標(biāo)的主要位置信息在回歸上效果可能更好但缺少分類的關(guān)鍵特征導(dǎo)致效果差，屬于低質(zhì)量樣本但卻被保留。而一些低iou的框可能會(huì)框住關(guān)鍵特征，以及關(guān)鍵位置節(jié)點(diǎn)使得其效果好，這種高質(zhì)量樣本卻被當(dāng)作負(fù)樣本，因此現(xiàn)有標(biāo)簽分配方法中僅僅根據(jù)iou得分來區(qū)分正負(fù)樣本，會(huì)導(dǎo)致正負(fù)樣本之間的不平衡，進(jìn)而影響模型性能。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了s3dr-det模型，從三個(gè)層面解決了旋轉(zhuǎn)目標(biāo)檢測(cè)中存在的不一致問題。首先，在特征提取階段我們?cè)O(shè)計(jì)了動(dòng)態(tài)旋轉(zhuǎn)卷積，可以根據(jù)目標(biāo)的方向信息，提取出高質(zhì)量的旋轉(zhuǎn)特征。接下來，由于分類和回歸任務(wù)所需特征不一致的問題，我們?cè)O(shè)計(jì)了特征解耦頭，將旋轉(zhuǎn)變化特征以及旋轉(zhuǎn)不變特征分別輸入到不同任務(wù)分支，使得分類與回歸更加精確。最后我們?cè)谟?xùn)練策略上提出了s-a標(biāo)簽分配策略，引入對(duì)齊度概念，綜合iou，中心點(diǎn)間距離以及角度差異等信息，更全面評(píng)估樣本質(zhì)量進(jìn)行標(biāo)簽分配。三模塊高效的耦合在一起，最終實(shí)現(xiàn)高效且精準(zhǔn)的檢測(cè)。

2、為了達(dá)到上述目的，本發(fā)明的技術(shù)方案為：

3、一種基于側(cè)掃聲吶圖像的目標(biāo)形狀自適應(yīng)海底沉船檢測(cè)方法，具體包括以下步驟：

4、第一步，數(shù)據(jù)集預(yù)處理

5、將數(shù)據(jù)集中的圖像進(jìn)行灰度化處理，將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

6、第二步，網(wǎng)絡(luò)模型的構(gòu)建及訓(xùn)練

7、網(wǎng)絡(luò)模型包括backbone、neck和head；利用訓(xùn)練集、驗(yàn)證集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗(yàn)證，獲得訓(xùn)練好的網(wǎng)絡(luò)模型；

8、(1)backbone

9、backbone是通過一系列的卷積層和激活函數(shù)提取圖像特征，逐漸降低圖像的空間維度，同時(shí)增加通道數(shù)。將resnet主干中的標(biāo)準(zhǔn)卷積替換為drc模塊。drc模塊具體處理過程為：首先將特征圖輸入到深度卷積中，然后進(jìn)行層歸一化和relu激活，然后將激活的特征通過平均池化與最大池化再合并，以此得到豐富的特征，合并后的特征向量通過線性層以及不同激活函數(shù)獲得預(yù)測(cè)旋轉(zhuǎn)角度α＝[α1,...,αn]以及權(quán)重ω＝[ω1,...,ωn]。根據(jù)旋轉(zhuǎn)角度以及權(quán)重大小對(duì)每一個(gè)卷積核進(jìn)行旋轉(zhuǎn)，將旋轉(zhuǎn)后的卷積核與特征圖進(jìn)行卷積，并以逐像素的方式將輸出特征相加，得到旋轉(zhuǎn)特征。

10、(2)neck

11、neck部分使用特征金字塔網(wǎng)絡(luò)fpn(feature?pyramid?networks)，位于backbone和head之間，fpn將backbone提取到的旋轉(zhuǎn)特征進(jìn)行相應(yīng)的融合。

12、進(jìn)一步地，fpn通過構(gòu)建自底向上和自頂向下的特征融合路徑，將不同尺度的特征圖進(jìn)行融合，從而生成具有豐富多尺度信息的特征金字塔。特征金字塔的每一層都對(duì)應(yīng)一個(gè)特定的尺度范圍，使得模型能夠同時(shí)處理不同大小的目標(biāo)。

13、(3)head

14、head從neck提供的特征圖中生成最終的檢測(cè)結(jié)果，即目標(biāo)的類別、邊界框信息和置信度。head采用自適應(yīng)特征解耦頭結(jié)構(gòu)fdm，自適應(yīng)特征解耦頭結(jié)構(gòu)fdm將融合后的特征通過自適應(yīng)特征解耦頭結(jié)構(gòu)fdm產(chǎn)生旋轉(zhuǎn)變化特征和旋轉(zhuǎn)不變特征再分別輸入回歸子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò)產(chǎn)生最后的預(yù)測(cè)，提高模型預(yù)測(cè)精度。

15、進(jìn)一步地，所述的自適應(yīng)特征解耦頭結(jié)構(gòu)包括錨框優(yōu)化模塊和動(dòng)態(tài)細(xì)化模塊。

16、錨框優(yōu)化模塊中包含錨框回歸以及旋轉(zhuǎn)卷積特征對(duì)齊操作；錨框回歸是將水平錨框優(yōu)化為貼近目標(biāo)形狀、具有一定旋轉(zhuǎn)角度的錨框；旋轉(zhuǎn)卷積特征對(duì)齊操作是根據(jù)對(duì)應(yīng)錨框的形狀、大小和方向動(dòng)態(tài)地、自適應(yīng)地對(duì)齊目標(biāo)的特征。

17、動(dòng)態(tài)細(xì)化模塊是在分類與回歸子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò)之前增加動(dòng)態(tài)旋轉(zhuǎn)編碼器dre，動(dòng)態(tài)旋轉(zhuǎn)編碼器對(duì)方向信息進(jìn)行編碼，以生成具有多方向通道的特征映射圖。動(dòng)態(tài)旋轉(zhuǎn)編碼器是一個(gè)k×k×n的過濾器，能夠在卷積過程中主動(dòng)旋轉(zhuǎn)n-1次，產(chǎn)生有n個(gè)方向通道的特征圖，對(duì)于一個(gè)特征圖a和一個(gè)dre，第i個(gè)方向的輸出s表示為：

18、

19、式中，αi代表過濾器旋轉(zhuǎn)的角度，n代表第n個(gè)方向通道，代表第n個(gè)動(dòng)態(tài)旋轉(zhuǎn)編碼器，a代表第n個(gè)特征圖。

20、進(jìn)一步地，在網(wǎng)絡(luò)模型訓(xùn)練過程中，采用基于空間匹配先驗(yàn)信息的對(duì)齊度動(dòng)態(tài)標(biāo)簽分配策略，對(duì)齊度動(dòng)態(tài)標(biāo)簽分配策略利用對(duì)齊度作為指標(biāo)來衡量錨框的質(zhì)量，定義如下：

21、

22、其中，ioupre為回歸前的旋轉(zhuǎn)iou值，ioupost為回歸后的旋轉(zhuǎn)iou值，ad為對(duì)齊度，d為旋轉(zhuǎn)預(yù)測(cè)框中心點(diǎn)與旋轉(zhuǎn)真實(shí)框中心點(diǎn)之間的距離，θ為旋轉(zhuǎn)預(yù)測(cè)框與旋轉(zhuǎn)真實(shí)框之間的角度差異，maxd與maxθ分別代表最大可能距離與最大角度差異，式中的α、β、γ為加權(quán)的超參數(shù)，用于衡量不同項(xiàng)之間的影響程度。

23、在訓(xùn)練階段，首先計(jì)算真實(shí)框gt與預(yù)測(cè)框的ad，然后選擇那些ad值大于等于一定閾值的錨框?yàn)檎龢颖?，低于該閾值的為?fù)樣本。對(duì)于不匹配任何錨框的gt框，將ad得分最高的錨框作為正候選框進(jìn)行補(bǔ)償，進(jìn)而實(shí)現(xiàn)標(biāo)簽分配的動(dòng)態(tài)選擇。

24、第三步，模型評(píng)價(jià)

25、通過將測(cè)試集放入訓(xùn)練好的模型中，進(jìn)行檢測(cè)，獲得側(cè)掃聲吶圖像中的目標(biāo)信息，同時(shí)通過精確率p(precision)、召回率r(recall)、平均精度均值(mean?averageprecision)指標(biāo)進(jìn)行評(píng)估模型性能。

26、本發(fā)明的有益效果為：本發(fā)明提出了一種針對(duì)側(cè)掃聲納圖像中沉船目標(biāo)的s3dr-det用于檢測(cè)側(cè)掃聲納圖像中多方向、高長(zhǎng)寬比目標(biāo)，通過我們提出的drc、fdm以及s-a標(biāo)簽分配策略，在模型的特征提取階段、檢測(cè)階段以及訓(xùn)練階段，分別解決了目標(biāo)與錨框之間的不一致、分類特征與回歸特征不一致和旋轉(zhuǎn)框質(zhì)量與現(xiàn)有標(biāo)簽分配策略之間不一致的問題。本文模型中的各模塊在功能和結(jié)構(gòu)上都能高度耦合，解決了任意方向高長(zhǎng)寬比目標(biāo)在模型的不同階段帶來的問題。