本發(fā)明涉及一種利用基于transformer多尺度融合網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)圖像分割的方法，屬于模式識(shí)別領(lǐng)域。

背景技術(shù)：

1、腦腫瘤是一類(lèi)原發(fā)于腦組織或由身體其他部位轉(zhuǎn)移至腦部的惡性腫瘤，其早期診斷對(duì)提升患者的生存幾率具有至關(guān)重要的作用。為幫助臨床醫(yī)生做出準(zhǔn)確診斷，有必要對(duì)醫(yī)學(xué)圖像中的一些關(guān)鍵對(duì)象進(jìn)行分割，并從分割區(qū)域中提取特征。隨著人工智能的發(fā)展，深度學(xué)習(xí)已被廣泛應(yīng)用于腦腫瘤圖像分割領(lǐng)域，這主要是由于用于特征學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像噪聲、模糊、對(duì)比度等不敏感，因此能為醫(yī)學(xué)圖像提供出色的分割效果。u-net通過(guò)采用對(duì)稱(chēng)的編碼器-解碼器結(jié)構(gòu)和跳躍連接，能夠有效地融合低級(jí)和高級(jí)圖像特征，這使其成為了大多數(shù)醫(yī)學(xué)圖像分割任務(wù)的基準(zhǔn)架構(gòu)，并激發(fā)了諸多有意義的改進(jìn)。例如，3d網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及跳躍連接等。盡管實(shí)驗(yàn)結(jié)果表明上述改進(jìn)策略對(duì)于醫(yī)學(xué)圖像分割任務(wù)來(lái)說(shuō)是一個(gè)完美的解決方案，但對(duì)于3d網(wǎng)絡(luò)而言，由于參數(shù)量巨大，網(wǎng)絡(luò)模型都面臨著計(jì)算成本過(guò)高以及gpu內(nèi)存占用過(guò)大等問(wèn)題；對(duì)于利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)提升醫(yī)學(xué)圖像分割性能的設(shè)計(jì)卻并不常見(jiàn)，這主要是因?yàn)橐氆@取完整且有效的時(shí)間信息需要良好的醫(yī)學(xué)圖像質(zhì)量，然而現(xiàn)實(shí)中的醫(yī)學(xué)圖像數(shù)據(jù)卻不盡人意；盡管跳躍連接能夠融合低分辨率和高分辨率信息，進(jìn)而改善特征表示，但它存在著低分辨率特征與高分辨率特征之間語(yǔ)義差距較大的問(wèn)題，這會(huì)導(dǎo)致特征圖模糊不清。基于此，為獲得更好的性能，研究人員成功運(yùn)用了多種技術(shù)如：網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、損失函數(shù)設(shè)計(jì)、遷移學(xué)習(xí)、交互式分割、圖卷積神經(jīng)網(wǎng)絡(luò)等來(lái)提高醫(yī)學(xué)圖像分割的準(zhǔn)確性。然而，盡管作為主干網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)在提取底層特征方面具有相對(duì)優(yōu)勢(shì)，但是由于卷積操作存在局限性，它無(wú)法很好地學(xué)習(xí)全局和長(zhǎng)距離語(yǔ)義信息交互。此外，卷積運(yùn)算通常會(huì)產(chǎn)生較低的分辨率特征，這些細(xì)節(jié)信息難以通過(guò)簡(jiǎn)單的上采樣方法恢復(fù)，從而影響分割結(jié)果的精細(xì)度。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：為了提高醫(yī)學(xué)圖像分割的精細(xì)度，本發(fā)明提出一種基于transformer多尺度融合網(wǎng)絡(luò)的腦腫瘤圖像分割方法，能夠利用長(zhǎng)程依賴(lài)關(guān)系進(jìn)行編碼以捕捉局部信息和全局信息，從而為解決腦腫瘤圖像分割提供客觀、高效的輔助。

2、技術(shù)方案：一種基于transformer多尺度融合網(wǎng)絡(luò)的腦腫瘤圖像分割方法，包括如下步驟：

3、步驟1，構(gòu)建多尺度融合網(wǎng)絡(luò)，用于對(duì)待處理圖像中的目標(biāo)進(jìn)行分割；

4、所述多尺度融合網(wǎng)絡(luò)為u-net結(jié)構(gòu)，包括編碼器和解碼器；

5、在解碼器的最后一層附加有分割頭，用于輸出對(duì)目標(biāo)的分割結(jié)果；

6、步驟2，對(duì)所述多尺度融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的多尺度融合網(wǎng)絡(luò)；

7、步驟3，對(duì)待處理圖像進(jìn)行預(yù)處理，將預(yù)處理后的圖像輸入到所述訓(xùn)練好的多尺度融合網(wǎng)絡(luò)，對(duì)所述圖像中的目標(biāo)進(jìn)行分割。

8、進(jìn)一步的，所述編碼器包括多尺度網(wǎng)絡(luò)和transformer結(jié)構(gòu)；

9、所述多尺度網(wǎng)絡(luò)包括四個(gè)組合模塊，分別為第一組合模塊、第二組合模塊、第三組合模塊和第四組合模塊，四個(gè)組合模塊依次連接；

10、多尺度網(wǎng)絡(luò)用于提取多尺度特征，將所述多尺度特征按順序展開(kāi)成一維張量，輸入到transformer結(jié)構(gòu)捕獲局部信息和全局信息，得到重構(gòu)后的特征圖；

11、將所述重構(gòu)后的特征圖輸入到解碼器中進(jìn)行解碼。

12、進(jìn)一步的，在解碼器中進(jìn)行級(jí)聯(lián)上采樣，編碼器的多尺度網(wǎng)絡(luò)和解碼器的上采樣跳躍連接，融合多尺度特征，恢復(fù)圖像空間細(xì)節(jié)，以增強(qiáng)分割結(jié)果的局部細(xì)節(jié)；通過(guò)轉(zhuǎn)置卷積恢復(fù)圖像大小，實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確定位和分割，并輸出分割結(jié)果。

13、進(jìn)一步的，所述第一組合模塊包括堆疊的一個(gè)卷積層和一個(gè)池化層；

14、所述第二組合模塊包括堆疊的一個(gè)第一瓶頸模塊和兩個(gè)第二瓶頸模塊，所述第一瓶頸模塊的輸入與輸出通道數(shù)不同，所述第二瓶頸模塊的輸入與輸出通道數(shù)相同；

15、所述第三組合模塊包括堆疊的一個(gè)第一瓶頸模塊和三個(gè)第二瓶頸模塊；

16、所述第四組合模塊包括堆疊的一個(gè)第一瓶頸模塊和五個(gè)第二瓶頸模塊。

17、進(jìn)一步的，第一組合模塊，首先對(duì)圖像執(zhí)行步長(zhǎng)為2、卷積核尺寸為7×7的卷積操作，并將結(jié)果作為maxpool層的輸入；然后執(zhí)行步長(zhǎng)為2、卷積核尺寸為2×2的池化操作；輸出數(shù)據(jù)到第二組合模塊。

18、進(jìn)一步的，第一瓶頸模塊包括兩個(gè)分支；

19、第一瓶頸模塊的第一分支包括依次連接的三個(gè)卷積層，分別為1×1卷積層、3×3卷積層和1×1卷積層；

20、第一瓶頸模塊的第二分支包括一個(gè)卷積層，為1×1卷積層；

21、第一瓶頸模塊的兩個(gè)分支輸出的結(jié)果經(jīng)relu激活函數(shù)后得到第一瓶頸模塊的輸出結(jié)果；

22、第二瓶頸模塊包括依次連接的三個(gè)卷積層，分別為1×1卷積層、3×3卷積層和1×1卷積層；經(jīng)過(guò)三個(gè)卷積后的輸出結(jié)果與第二瓶頸模塊的輸入數(shù)據(jù)一起經(jīng)relu激活函數(shù)后得到第二瓶頸模塊的輸出結(jié)果；

23、第二組合模塊中的第一瓶頸模塊執(zhí)行步長(zhǎng)為1的卷積操作，不進(jìn)行下采樣，輸入尺寸和輸出尺寸相同，輸入通道數(shù)c和第一瓶頸模塊的第一分支中1×1卷積層通道數(shù)c1相等；

24、第三組合模塊中的第一瓶頸模塊執(zhí)行步長(zhǎng)為2的卷積操作，并進(jìn)行下采樣，輸入尺寸為輸出尺寸的2倍，輸入通道數(shù)c和第一瓶頸模塊的第一分支中1×1卷積層通道數(shù)c1不相等，c=2×c1。

25、進(jìn)一步的，四個(gè)組合模塊中的卷積層，均是對(duì)輸入的特征圖先后經(jīng)過(guò)卷積操作、bn層以及relu激活函數(shù)。

26、進(jìn)一步的，所述transformer結(jié)構(gòu)包括依次連接的transformer模塊，共計(jì)12個(gè)transformer模塊；每個(gè)transformer模塊的結(jié)構(gòu)相同；

27、transformer模塊包括多個(gè)子層，包括卷積層、層歸一化、注意力模塊以及前饋神經(jīng)網(wǎng)絡(luò)，每個(gè)子層之間通過(guò)殘差連接相連。采用通道注意力模塊替換傳統(tǒng)自注意模塊，以降低參數(shù)規(guī)模，提升計(jì)算效率。通道注意力模塊只有一個(gè)全局平均池化和卷積層構(gòu)成。

28、進(jìn)一步的，通過(guò)加權(quán)求和的方式將交叉熵?fù)p失函數(shù)和dice損失函數(shù)進(jìn)行組合對(duì)基于transformer的多尺度融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，分析得到網(wǎng)絡(luò)參數(shù)，完成腦腫瘤圖像分割。

29、進(jìn)一步的，采用lgg?segmentation?數(shù)據(jù)集對(duì)所述多尺度融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練；對(duì)所述lgg?segmentation?數(shù)據(jù)集進(jìn)行擴(kuò)增，包括：對(duì)圖像中每個(gè)像素減去圖像的均值并除以標(biāo)準(zhǔn)差，使圖像具有零均值和單位方差；隨機(jī)裁剪出圖像塊，并隨機(jī)水平鏡像一半圖像進(jìn)行數(shù)據(jù)擴(kuò)增。

30、有益效果：本方法結(jié)合多尺度表示和transformer的融合網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢(shì)，具有如下優(yōu)點(diǎn)：（1）多尺度融合網(wǎng)絡(luò)能夠有效提高捕捉局部語(yǔ)義和紋理信息的能力；（2）通道注意力機(jī)制可以穩(wěn)健地捕捉醫(yī)學(xué)數(shù)據(jù)中存在的幾何與結(jié)構(gòu)信息。

技術(shù)特征：

1.一種基于transformer的圖像分割方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述一種基于transformer的圖像分割方法，其特征在于，

3.根據(jù)權(quán)利要求1所述一種基于transformer的圖像分割方法，其特征在于，在解碼器中進(jìn)行級(jí)聯(lián)上采樣，編碼器的多尺度網(wǎng)絡(luò)和解碼器的上采樣跳躍連接，融合多尺度特征，恢復(fù)圖像空間細(xì)節(jié)，并輸出分割結(jié)果。

4.根據(jù)權(quán)利要求2所述一種基于transformer的圖像分割方法，其特征在于，所述第一組合模塊包括堆疊的一個(gè)卷積層和一個(gè)池化層；

5.根據(jù)權(quán)利要求4所述一種基于transformer的圖像分割方法，其特征在于，

6.根據(jù)權(quán)利要求4所述一種基于transformer的圖像分割方法，其特征在于，所述第一瓶頸模塊包括兩個(gè)分支；

7.根據(jù)權(quán)利要求6所述一種基于transformer的圖像分割方法，其特征在于，在卷積層中，對(duì)輸入的特征圖先后經(jīng)過(guò)卷積操作、bn層以及relu激活函數(shù)。

8.根據(jù)權(quán)利要求6所述一種基于transformer的圖像分割方法，其特征在于，所述transformer結(jié)構(gòu)包括依次連接的transformer模塊，共計(jì)12個(gè)transformer模塊；

9.根據(jù)權(quán)利要求1所述一種基于transformer的圖像分割方法，其特征在于，采用交叉熵?fù)p失函數(shù)與dice損失函數(shù)的加權(quán)組合對(duì)所述多尺度融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，優(yōu)化網(wǎng)絡(luò)參數(shù)。

10.根據(jù)權(quán)利要求1所述基于transformer的多尺度融合網(wǎng)絡(luò)構(gòu)建方法，其特征在于，采用lgg?segmentation?數(shù)據(jù)集對(duì)所述多尺度融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于Transformer多尺度融合網(wǎng)絡(luò)的腦腫瘤圖像分割方法，屬于模式識(shí)別領(lǐng)域，首先選擇需要進(jìn)行分割的圖像數(shù)據(jù)，并進(jìn)行圖像預(yù)處理，得到擴(kuò)增后的圖像數(shù)據(jù)；然后在編碼器部分通過(guò)引入Transformer結(jié)構(gòu)來(lái)捕捉明確的長(zhǎng)程依賴(lài)關(guān)系，從而更好地理解圖像上下文信息；然后在解碼器部分通過(guò)級(jí)聯(lián)上采樣和跳躍連接來(lái)恢復(fù)圖像的空間細(xì)節(jié)，從而實(shí)現(xiàn)高效的腦腫瘤圖像分割；最后通過(guò)一個(gè)分割頭輸出腦腫瘤圖像的分割結(jié)果。本方法能夠?yàn)榻鉀Q腦腫瘤圖像分割提供客觀、高效的輔助。

技術(shù)研發(fā)人員：呂恩輝,劉莘,田佳琪,葛曙光,溫鵬博,康星星
受保護(hù)的技術(shù)使用者：徐州醫(yī)科大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15