本發(fā)明涉及圖像分割領(lǐng)域，尤其是涉及一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法。

背景技術(shù)：

1、原發(fā)性肝癌是目前致死率最高也是最普遍的癌癥之一，目前最有效的治療手段是肝臟切除手術(shù)。couinaud分段是根據(jù)肝臟的生理結(jié)構(gòu)將其劃分為完全獨(dú)立的八個(gè)肝段，對于外科手術(shù)具有重要意義。在實(shí)際中，醫(yī)生手動(dòng)劃分couinaud肝段十分耗時(shí)且繁瑣。根據(jù)患者的肝臟ct影像實(shí)現(xiàn)對肝臟的自動(dòng)且精準(zhǔn)couinaud分段可以有效幫助醫(yī)生制定手術(shù)方案。

2、現(xiàn)有的僅利用肝臟ct的3d體素訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，而沒有考慮到不同肝段的空間關(guān)系，導(dǎo)致在圖像對比度相近的區(qū)域分割結(jié)果差；基于cnn的肝段分割方法，平等地對待肝臟ct中的所有特征，這導(dǎo)致肝臟組織的其他無關(guān)特征對分割結(jié)果產(chǎn)生干擾。

3、經(jīng)過檢索，中國發(fā)明專利申請cn114937147a，公開了一種針對肝臟ct影像的分段智能識(shí)別模型及識(shí)別方法，該方法采用基于3d-unet網(wǎng)絡(luò)的肝臟分割模型對腹部ct影像進(jìn)行肝臟實(shí)質(zhì)區(qū)域分割得到的肝臟掩膜，然后將肝臟掩膜與原始輸入的腹部ct影像相乘得到肝臟定位圖像，最后將肝臟定位圖像輸入肝分段模型，由肝分段模型對肝臟區(qū)域進(jìn)行couinaud分段。

4、然而，由于肝臟ct影像中各肝段的圖像強(qiáng)度和對比度較為接近，以及邊界較為模糊的問題，上述方法忽視肝臟部位血管結(jié)構(gòu)對于肝段分割的指導(dǎo)信息，導(dǎo)致肝段分割效果差、粗糙，對于couinaud肝段分割精準(zhǔn)度有待進(jìn)一步提高，尤其是在相鄰肝段的邊界位置分割模糊，無法應(yīng)用于臨床中對醫(yī)生提供輔助。

5、因此，亟需設(shè)計(jì)一種精準(zhǔn)度高的肝臟couinaud分段方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供了一種精準(zhǔn)度高的基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

3、根據(jù)本發(fā)明的第一方面，提供了一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，該方法包括以下步驟：

4、步驟s1、從ct影像中提取肝臟掩膜，并生成肝臟血管注意力圖；

5、步驟s2、基于肝臟血管注意力圖對肝臟進(jìn)行3d空間下的連續(xù)點(diǎn)采樣；

6、步驟s3、將采樣得到的3d點(diǎn)云體素化；

7、步驟s4、基于3d空間中坐標(biāo)點(diǎn)的拓?fù)潢P(guān)系和體素網(wǎng)格的語義信息，構(gòu)建多尺度點(diǎn)云體素融合網(wǎng)絡(luò)，并進(jìn)行肝臟couinaud分段預(yù)測。

8、優(yōu)選地，所述步驟s1中，采用3d-unet網(wǎng)絡(luò)模型生成肝臟血管注意力圖，具體為：首先采用預(yù)訓(xùn)練的3d-unet模型輸出血管二值掩膜m，然后使用形態(tài)學(xué)膨脹囊括血管二值掩膜m覆蓋區(qū)域中血管像素，生成肝臟血管注意力圖m′。

9、優(yōu)選地，所述步驟s2包括以下子步驟：

10、步驟s21、ct影像各體素的圖像坐標(biāo)i＝{i1，i2，...，it，it∈r3}轉(zhuǎn)化為世界坐標(biāo)p＝{p1，p2，...，pt，pt∈r3}，表達(dá)式為：

11、p＝i*spacing*sirection+origin

12、其中，spacing是ct影像的體素間距，direction是掃描的方向origin是圖像坐標(biāo)系的原點(diǎn)在世界坐標(biāo)系下的坐標(biāo)；

13、步驟s22、基于肝臟血管注意力圖進(jìn)行連續(xù)點(diǎn)采樣。

14、優(yōu)選地，所述步驟s22具體為：每個(gè)訓(xùn)練周期，隨機(jī)采樣ct影像中t個(gè)點(diǎn)，其中，有t/2個(gè)點(diǎn)落在被肝臟血管注意力圖覆蓋的第一范圍區(qū)域中，采用一個(gè)[-1,1]范圍內(nèi)的隨機(jī)擾動(dòng)偏差offset＝(δx,δy,δz)，使得第一范圍區(qū)域內(nèi)的每個(gè)點(diǎn)pt＝(xt，yt,zt)都生成一對應(yīng)的新點(diǎn)p′t＝(xt+δx，yt+δy，zt+δz)，相應(yīng)坐標(biāo)的圖像強(qiáng)度由三線性插值獲得；

15、訓(xùn)練階段，新點(diǎn)p′t的標(biāo)簽依據(jù)歸整函數(shù)處理后的坐標(biāo)點(diǎn)計(jì)算處理得到。

16、優(yōu)選地，所述步驟s3包括：

17、將點(diǎn)數(shù)據(jù)(pt，ft)通過體素化轉(zhuǎn)化至體素網(wǎng)格vu，v，w，用于進(jìn)行后續(xù)語義信息提??；其中ft∈rc為點(diǎn)pt的特征；

18、將點(diǎn)坐標(biāo)pt歸一化到[0，1]范圍內(nèi)，得到

19、取落在體素網(wǎng)格(u，v，w)范圍內(nèi)所有點(diǎn)的特征值的平均值，作為該體素網(wǎng)格的特征，從而將歸一化的點(diǎn)云數(shù)據(jù)變換至體素網(wǎng)格vu，v,w。

20、優(yōu)選地，所述體素網(wǎng)格的計(jì)算表達(dá)式為：

21、

22、其中，r是體素分辨率，i[·]是一個(gè)二值指示函數(shù)，當(dāng)點(diǎn)屬于體素網(wǎng)格(u,v,w)時(shí)，其取值為1，否則為0，ft,c代表點(diǎn)第c個(gè)通道的特征，nu,v,w為落在體素網(wǎng)格(u,v,w)范圍內(nèi)的點(diǎn)的數(shù)量。

23、優(yōu)選地，所述步驟s4中多尺度點(diǎn)云體素融合網(wǎng)絡(luò)包括基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)分支和基于體素的卷積神經(jīng)網(wǎng)絡(luò)分支，特征融合過程具體為：

24、將點(diǎn)數(shù)據(jù)(pt,ft)輸入至所述基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)分支，通過多層感知機(jī)ep提取出具有拓?fù)湫畔⒌募?xì)粒度特征；其中ft∈rc為點(diǎn)pt的特征；

25、將由點(diǎn)數(shù)據(jù)轉(zhuǎn)化得到的體素網(wǎng)格vu,v,w輸入至所述基于體素的卷積神經(jīng)網(wǎng)絡(luò)分支ev，用以聚合周圍點(diǎn)的特征并學(xué)習(xí)肝臟3d空間中的語義信息；

26、采用三線性插值法將從基于體素的卷積神經(jīng)網(wǎng)絡(luò)分支中提取到的特征重新轉(zhuǎn)化為點(diǎn)數(shù)據(jù)表示，并將所述點(diǎn)數(shù)據(jù)表示與從基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)分支中提取的細(xì)粒度特征相結(jié)合，得到融合后的點(diǎn)數(shù)據(jù)和對應(yīng)的點(diǎn)特征；

27、將融合后的點(diǎn)數(shù)據(jù)和對應(yīng)的特征再次體素化后傳遞至兩個(gè)分支，經(jīng)過設(shè)定次數(shù)點(diǎn)體素操作迭代后，將得到的點(diǎn)特征拼接后輸入至逐點(diǎn)解碼器中，進(jìn)行肝臟couinaud分段預(yù)測。

28、優(yōu)選地，所述將所述點(diǎn)數(shù)據(jù)表示與從基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)分支中提取的細(xì)粒度特征相結(jié)合，得到融合后的點(diǎn)數(shù)據(jù)和對應(yīng)的點(diǎn)特征，具體為：

29、

30、其中，的上角標(biāo)1代表是通過第一輪點(diǎn)體素運(yùn)算后得到的融合點(diǎn)數(shù)據(jù)和對應(yīng)的特征

31、根據(jù)本發(fā)明的第二方面，提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)任一項(xiàng)所述的方法。

32、根據(jù)本發(fā)明的第三方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)任一項(xiàng)所述的方法。

33、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

34、1)本發(fā)明基于體素和點(diǎn)云融合的策略，在肝段分割過程中引入各肝段的空間拓?fù)潢P(guān)系，使得肝段分割更精細(xì)，尤其是在各肝段的邊緣處。

35、2)本發(fā)明采用基于血管注意力圖的連續(xù)空間點(diǎn)采樣方法，將血管結(jié)構(gòu)引入模型，利用了先驗(yàn)的醫(yī)學(xué)知識(shí)，提升肝段分割效果。

36、3)本發(fā)明稀釋了肝臟組織的無關(guān)特征的干擾。

技術(shù)特征：

1.一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，該方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，所述步驟s1中，采用3d-unet網(wǎng)絡(luò)模型生成肝臟血管注意力圖，具體為：首先采用預(yù)訓(xùn)練的3d-unet模型輸出血管二值掩膜m，然后使用形態(tài)學(xué)膨脹囊括血管二值掩膜m覆蓋區(qū)域中血管像素，生成肝臟血管注意力圖m′。

3.根據(jù)權(quán)利要求1所述的一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，所述步驟s2包括以下子步驟：

4.根據(jù)權(quán)利要求3所述的一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，所述步驟s22具體為：每個(gè)訓(xùn)練周期，隨機(jī)采樣ct影像中t個(gè)點(diǎn)，其中，有t/2個(gè)點(diǎn)落在被肝臟血管注意力圖覆蓋的第一范圍區(qū)域中，采用一個(gè)[-1，1]范圍內(nèi)的隨機(jī)擾動(dòng)偏差offset＝(δx，δy，δz)，使得第一范圍區(qū)域內(nèi)的每個(gè)點(diǎn)pt＝(xt,yt,zt)都生成一對應(yīng)的新點(diǎn)p′t＝(xt+δx,yt+δy,zt+δz)，相應(yīng)坐標(biāo)的圖像強(qiáng)度由三線性插值獲得；

5.根據(jù)權(quán)利要求4所述的一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，所述步驟s3包括：

6.根據(jù)權(quán)利要求5所述的一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，所述體素網(wǎng)格的計(jì)算表達(dá)式為：

7.根據(jù)權(quán)利要求1所述的一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，所述步驟s4中多尺度點(diǎn)云體素融合網(wǎng)絡(luò)包括基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)分支和基于體素的卷積神經(jīng)網(wǎng)絡(luò)分支，特征融合過程具體為：

8.根據(jù)權(quán)利要求7所述的一種基于點(diǎn)云和體素融合策略的肝臟couinaud分段方法，其特征在于，所述將所述點(diǎn)數(shù)據(jù)表示與從基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)分支中提取的細(xì)粒度特征相結(jié)合，得到融合后的點(diǎn)數(shù)據(jù)和對應(yīng)的點(diǎn)特征，具體為：

9.一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1～8任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～8中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明涉及一種基于點(diǎn)云和體素融合策略的肝臟Couinaud分段方法，該方法包括以下步驟：步驟S1、從CT影像中提取肝臟掩膜，并生成肝臟血管注意力圖；步驟S2、基于肝臟血管注意力圖對肝臟進(jìn)行3D空間下的連續(xù)點(diǎn)采樣；步驟S3、將采樣得到的3D點(diǎn)云體素化；步驟S4、基于3D空間中坐標(biāo)點(diǎn)的拓?fù)潢P(guān)系和體素網(wǎng)格的語義信息，構(gòu)建多尺度點(diǎn)云體素融合網(wǎng)絡(luò)，并進(jìn)行肝臟Couinaud分段預(yù)測。與現(xiàn)有技術(shù)相比，本發(fā)明具有精準(zhǔn)度高的優(yōu)點(diǎn)。

技術(shù)研發(fā)人員：張立華,張緒坤,劉濤,韓銘浩,鄺昊鵬
受保護(hù)的技術(shù)使用者：復(fù)旦大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19