本發(fā)明屬于醫(yī)學(xué)圖像，具體涉及一種基于多圖譜結(jié)構(gòu)信息與語義描述的脊柱圖像分割方法。

背景技術(shù)：

1、脊柱是人體中不可或缺的結(jié)構(gòu)，它對(duì)人體提供支撐作用。精確的脊柱分割結(jié)果對(duì)脊柱疾病的治療十分重要，它能幫助醫(yī)生更好地了解病人的脊柱解剖形態(tài)從而更好的為病人進(jìn)行診斷和治療。但是對(duì)脊柱進(jìn)行精確的人工標(biāo)注是一件十分耗時(shí)且低效的工作。并且由于標(biāo)注者的個(gè)人經(jīng)驗(yàn)不同，人工標(biāo)注也容易出錯(cuò)。對(duì)于基于深度學(xué)習(xí)的自動(dòng)標(biāo)注方法來說，這也十分困難。由于脊柱區(qū)域復(fù)雜的解剖學(xué)結(jié)構(gòu)、醫(yī)學(xué)圖像的噪聲、ct中神經(jīng)區(qū)域的低對(duì)比度等等原因，都會(huì)導(dǎo)致脊柱區(qū)域的分割結(jié)果效果達(dá)不到非常精確。

2、多圖譜分割具有穩(wěn)定、精確的特點(diǎn)。隨著深度學(xué)習(xí)的發(fā)展，多圖譜分割跟深度學(xué)習(xí)也進(jìn)行了融合達(dá)到了優(yōu)勢(shì)結(jié)合。sam2模型提供了圖像分割和視頻分割領(lǐng)域的基礎(chǔ)模型，它的高準(zhǔn)確率和簡便快捷為分割提供了新思路。但是sam2模型的訓(xùn)練數(shù)據(jù)為自然圖像，而醫(yī)學(xué)圖像多由x射線，核磁共振等方式獲取，因此醫(yī)學(xué)圖像與自然圖像在像素強(qiáng)度、紋理質(zhì)地等屬性具有較大差異，所以sam2模型在醫(yī)學(xué)圖像分割方面表現(xiàn)不盡如人意。此外，對(duì)于脊柱圖像來說，其解剖學(xué)結(jié)構(gòu)十分復(fù)雜。這一點(diǎn)尤其體現(xiàn)在脊柱水平面圖像上。由于不同錐體之間以及不同椎間盤之間存在著很大的相似性，目前sam2在準(zhǔn)確分割脊柱水平面圖像并識(shí)別正確的脊柱分類問題上效果差強(qiáng)人意。因此多模態(tài)信息融合對(duì)于完成上述任務(wù)來說十分重要，它能夠?yàn)榫W(wǎng)絡(luò)提供不同視角下的特征，從而幫助準(zhǔn)確分割與識(shí)別。clip通過對(duì)比學(xué)習(xí)實(shí)現(xiàn)了圖像模態(tài)和文本模態(tài)的對(duì)齊。它能夠?qū)崿F(xiàn)準(zhǔn)確識(shí)別輸入圖像與輸入文本的特征對(duì)齊。因此很多涉及到文本特征的多模態(tài)模型都使用clip的文本編碼器來進(jìn)行文本特征提取。我們的方法也使用clip預(yù)訓(xùn)練的文本編碼器來進(jìn)行語義特征提取，以幫助網(wǎng)絡(luò)識(shí)別所分割的脊柱結(jié)構(gòu)是哪一個(gè)分類。

3、因此，如何將多圖譜的先驗(yàn)知識(shí)，clip的多模態(tài)特征對(duì)齊能力和sam2模型的圖像特征提取能力相結(jié)合，改進(jìn)sam2的缺點(diǎn)并利用它和多圖譜的高準(zhǔn)確性來完成對(duì)脊柱區(qū)域的精確分割，便是本發(fā)明的重點(diǎn)任務(wù)所在。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明提出一種基于多圖譜結(jié)構(gòu)信息與語義描述的脊柱圖像分割方法，改進(jìn)了sam2模型在脊柱水平面分割時(shí)分割并準(zhǔn)確識(shí)別正確分類效果不好的問題。

2、
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明所述的一種基于多圖譜結(jié)構(gòu)信息與語義描述的脊柱圖像分割方法，包括以下步驟：

3、(1)使用sam2預(yù)訓(xùn)練權(quán)重的hiera模型提取輸入圖像特征，將其作為圖像編碼器；

4、(2)從多圖譜生成解剖學(xué)描述文本，并使用clip預(yù)訓(xùn)練的文本編碼器提取相應(yīng)語義特征，將這兩部分作為語義編碼器；

5、(3)使用一個(gè)卷積層外加同樣的hiera提取多圖譜的形態(tài)學(xué)結(jié)構(gòu)特征，將其作為圖譜編碼器；

6、(4)在圖像編碼器、語義編碼器和圖譜編碼器中使用lora進(jìn)行微調(diào)，使其更符合脊柱分割任務(wù)；

7、(5)使用掩碼解碼器融合三個(gè)編碼器提取的特征得到最終預(yù)測(cè)結(jié)果。

8、進(jìn)一步地，所述步驟(1)實(shí)現(xiàn)過程如下：

9、將二維圖片分割成多個(gè)圖片塊并加入位置編碼，在經(jīng)過四階段的多尺度模塊后提取出不同尺度的圖像特征；四個(gè)階段的多尺度模塊分別有2、6、36和4層，在每個(gè)階段最后一個(gè)多尺度模塊中對(duì)transformer模塊中的q矩陣進(jìn)行池化操作以產(chǎn)生降低尺度的特征圖；最后在特征金字塔頸部調(diào)整所有尺度的特征圖通道數(shù)，最終生成不同尺度的圖像特征；

10、每個(gè)階段的最后一個(gè)多尺度模塊提取的特征被保存為其中i的范圍為1至4，代表4個(gè)階段提取的不同尺度的圖像特征；在特征金字塔頸部中調(diào)整這四個(gè)特征的通道數(shù)為256，調(diào)整后的特征為

11、

12、其中，fpn為特征金字塔頸部，msb為多尺度模塊，patchembed為補(bǔ)丁嵌入模塊，x為輸入圖像；將調(diào)整后的與經(jīng)上采樣后相加：

13、

14、其中，up為上采樣操作；最后將舍棄。

15、進(jìn)一步地，所述步驟(2)實(shí)現(xiàn)過程如下：

16、使用文本生成模塊從多圖譜圖像生成對(duì)應(yīng)的解剖學(xué)文本描述，對(duì)每一分類都生成相應(yīng)的描述，多圖譜圖像中沒出現(xiàn)的分類則用空字符串代替描述；文本中具體描述該分類的類別、形態(tài)特征和類別占比；然后使用分詞器將文本描述轉(zhuǎn)化成詞嵌入，使用標(biāo)記嵌入將詞嵌入轉(zhuǎn)化成詞特征向量；再經(jīng)過12層殘差注意力模塊生成最終語義特征；最后經(jīng)過投射層將形態(tài)學(xué)描述特征投射到圖像特征的同一空間；以上通過以下公式實(shí)現(xiàn)：

17、text＝textgenerator(y)

18、ft＝proj(rab1→12(tokenembed(tokenizer(text))))

19、其中，y為多圖譜提示，textgenerator為文本生成模塊，proj為投射層，rab為殘差注意力模塊，tokenembed為標(biāo)記嵌入，tokenizer為分詞器。

20、進(jìn)一步地，所述步驟(3)實(shí)現(xiàn)過程如下：

21、將多個(gè)多圖譜經(jīng)過一個(gè)卷積模塊調(diào)整通道數(shù)為3，使之適合后續(xù)hiera的輸入通道數(shù)；然后再經(jīng)過上述的hiera模型來提取多圖譜的形態(tài)學(xué)結(jié)構(gòu)特征；通過以下公式實(shí)現(xiàn)：

22、

23、其中，fpn為特征金字塔頸部，msb為多尺度模塊，patchembed為補(bǔ)丁嵌入模塊，conv為卷積層，y為多圖譜提示，i取值為1至4。

24、進(jìn)一步地，所述步驟(4)實(shí)現(xiàn)過程如下：

25、對(duì)圖像編碼器，語義編碼器和圖譜編碼器中的transformer中的q和v矩陣添加可學(xué)習(xí)lora權(quán)重，然后進(jìn)行訓(xùn)練，其中l(wèi)ora中的秩rank＝8。

26、進(jìn)一步地，所述步驟(5)實(shí)現(xiàn)過程如下：

27、將語義特征當(dāng)作類別嵌入向量與多圖譜特征進(jìn)行拼接，然后與輸入圖像特征在transformer模塊中進(jìn)行更新；transformer模塊中使用兩層的自注意力層，令牌到圖像注意力層，mlp層，圖像到令牌注意力層進(jìn)行堆疊；將更新后的圖像特征經(jīng)過兩階段的上采樣層來擴(kuò)大尺度，并在每個(gè)階段使用同尺度的圖像特征和多圖譜解剖結(jié)構(gòu)特征，即同尺度的和與同尺度的和幫助尺度恢復(fù)，最終得到形態(tài)特征更新后的類別嵌入向量經(jīng)過令牌到圖像注意力和多層mlp得到類別相關(guān)的特征最終經(jīng)過點(diǎn)乘和線性插值，得到最終分割結(jié)果；上述過程通過以下公式實(shí)現(xiàn)：

28、

29、其中，concat代表在按通道拼接操作，up代表上采樣，t2ia代表令牌到圖像注意力，seg代表最終分割結(jié)果，⊙代表點(diǎn)乘和線性插值操作。

30、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：本發(fā)明使用多圖譜中含有的解剖學(xué)先驗(yàn)知識(shí)令分割結(jié)果更加精確，使用語義特征讓網(wǎng)絡(luò)更好理解并準(zhǔn)確識(shí)別正在分割的結(jié)構(gòu)；本發(fā)明改進(jìn)了sam2模型在脊柱水平面分割時(shí)不能準(zhǔn)確識(shí)別分割類別的問題，采用來自sam2預(yù)訓(xùn)練權(quán)重的圖像編碼器和圖譜編碼器來提取相應(yīng)特征，使用clip的文本編碼器來提取形態(tài)學(xué)描述特征，最終在掩碼解碼器中融合以上特征并生成最終分割結(jié)果；本發(fā)明大大改進(jìn)了脊柱水平面分割不能準(zhǔn)確識(shí)別正在分割結(jié)構(gòu)的類別問題。