1.一種基于多模態(tài)數(shù)據(jù)融合與深度學(xué)習(xí)的腫瘤良惡性分類(lèi)方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的腫瘤良惡性分類(lèi)方法,其特征在于,所述u-net模型為用于圖像分割的卷積神經(jīng)網(wǎng)絡(luò)模型,通過(guò)編碼器和解碼器的對(duì)稱(chēng)結(jié)構(gòu)捕捉上下文信息,實(shí)現(xiàn)像素級(jí)預(yù)測(cè),該u-net模型的輸入為腫瘤影像及其對(duì)應(yīng)的腫瘤良惡性標(biāo)簽。
3.根據(jù)權(quán)利要求2所述的腫瘤良惡性分類(lèi)方法,其特征在于,所述u-net模型在編碼器部分包含四個(gè)下采樣模塊,每個(gè)模塊由兩個(gè)3x3的卷積層和一個(gè)2x2的maxpooling層組成;解碼器部分包含四個(gè)上采樣模塊,每個(gè)模塊依次包含去卷積層、特征拼接層以及兩個(gè)3x3的卷積層。
4.根據(jù)權(quán)利要求1所述的腫瘤良惡性分類(lèi)方法,其特征在于,所述對(duì)篩選出的患者影像數(shù)據(jù)進(jìn)行特征提取與分類(lèi),具體包括步驟:
5.根據(jù)權(quán)利要求1所述的腫瘤良惡性分類(lèi)方法,其特征在于,所述全局分支和局部分支采用殘差連接網(wǎng)絡(luò)作為主干網(wǎng)絡(luò),并采用多尺度模塊和空間-通道注意力模塊,其中,所述多尺度模塊用于增強(qiáng)網(wǎng)絡(luò)對(duì)腫瘤影像多尺度信息的表達(dá)能力,所述空間-通道注意力模塊,用于提高特征提取的精度;所述混合分支使用注意力特征融合方法融合全局分支與局部分支的特征。
6.根據(jù)權(quán)利要求5所述的腫瘤良惡性分類(lèi)方法,其特征在于,所述的殘差連接網(wǎng)絡(luò)通過(guò)引入網(wǎng)絡(luò)層間的跳躍連接,使得深層網(wǎng)絡(luò)在訓(xùn)練時(shí)能夠有效緩解梯度消失問(wèn)題,所述的全局分支和局部分支分別將全局圖像與局部圖像兩類(lèi)不同尺寸的數(shù)據(jù)作為殘差連接網(wǎng)絡(luò)的輸入;所述的多尺度模塊通過(guò)在每個(gè)殘差塊中采用多個(gè)尺度的特征圖進(jìn)行融合,增強(qiáng)網(wǎng)絡(luò)對(duì)腫瘤影像多尺度信息的表達(dá)能力。
7.根據(jù)權(quán)利要求5所述的腫瘤良惡性分類(lèi)方法法,其特征在于,所述空間-通道注意力模塊結(jié)合空間注意力和通道注意力的方法;空間注意力利用通道壓縮后的特征圖進(jìn)行卷積操作,生成空間權(quán)重,強(qiáng)調(diào)輸入特征圖中的重要區(qū)域,抑制不重要的部分;通道注意力通過(guò)全局平均池化和全局最大池化生成通道權(quán)重,反映各通道的重要性,然后通過(guò)sigmoid激活函數(shù)生成權(quán)重,按比例調(diào)整輸入特征圖的通道響應(yīng)。
8.根據(jù)權(quán)利要求5所述的腫瘤良惡性分類(lèi)方法,其特征在于,所述注意力特征融合方法沿通道維度聚合多尺度的上下文信息,可同時(shí)關(guān)注腫瘤影像分布全局和局部的語(yǔ)義信息,緩解尺度變化和小對(duì)象實(shí)例帶來(lái)的問(wèn)題。
9.根據(jù)權(quán)利要求1所述的腫瘤良惡性分類(lèi)方法,其特征在于,所述全局-混合-局部網(wǎng)絡(luò)的特征融合具體為:將三分支各自所得的特征圖變換為一維向量并拼接,最終送入全連接分類(lèi)器得到影像學(xué)腫瘤良惡性預(yù)測(cè)概率值。
10.一種基于多模態(tài)數(shù)據(jù)融合與深度學(xué)習(xí)的腫瘤良惡性分類(lèi)系統(tǒng),其特征在于,,其特征在于,包括:
11.一種電子設(shè)備,其特征在于,包括處理器、通信接口、存儲(chǔ)器和通信總線(xiàn),其中,處理器,通信接口,存儲(chǔ)器通過(guò)通信總線(xiàn)完成相互間的通信;
12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-9中任一項(xiàng)所述的方法步驟。