本發(fā)明涉及醫(yī)療信息處理，具體是一種基于多模態(tài)數(shù)據(jù)融合與深度學(xué)習(xí)的腫瘤良惡性分類方法、系統(tǒng)、設(shè)備及其存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在醫(yī)療領(lǐng)域，腫瘤作為身體細(xì)胞組織非正常過度增生形成的贅生塊狀物，嚴(yán)重威脅著人類的生命健康。腫瘤的早期檢測至關(guān)重要?；诰矸e神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)架構(gòu)在單一模態(tài)數(shù)據(jù)上實(shí)現(xiàn)了對影像模態(tài)腫瘤的檢測。(f.et?al.“brain?tumor?detectionbased?on?convolutional?neural?network?with?neutrosophic?expert?maximum?fuzzysure?entropy，”measurement,2019,147:106830)。然而，單一形式的數(shù)據(jù)限制了深度網(wǎng)絡(luò)挖掘整合多元數(shù)據(jù)信息的能力，導(dǎo)致診斷準(zhǔn)確率存在瓶頸。這種局限性在當(dāng)前技術(shù)中尤為明顯，因?yàn)槟[瘤的檢測和診斷往往依賴于多種模態(tài)的臨床數(shù)據(jù)。

2、智能醫(yī)療診斷技術(shù)的發(fā)展面臨的關(guān)鍵挑戰(zhàn)在于如何高效處理異構(gòu)且互補(bǔ)的不同模態(tài)臨床數(shù)據(jù)，并進(jìn)行客觀定量決策。盡管已有研究嘗試將多模態(tài)深度學(xué)習(xí)技術(shù)應(yīng)用于臨床數(shù)據(jù)的提取和融合，但現(xiàn)有方法大多停留在簡單的數(shù)據(jù)拼接層面，未能充分發(fā)揮多模態(tài)數(shù)據(jù)的互補(bǔ)優(yōu)勢。這種拼接方式忽略了不同模態(tài)數(shù)據(jù)間的復(fù)雜關(guān)聯(lián)，導(dǎo)致信息整合不充分，診斷準(zhǔn)確率提升有限。研究人員雖然嘗試將來自卷積神經(jīng)網(wǎng)絡(luò)提取的多個(gè)模態(tài)視覺特征與其他數(shù)據(jù)源進(jìn)行拼接，以提升疾病檢測的準(zhǔn)確率，但這種拼接方式仍然缺乏深入的數(shù)據(jù)融合和特征提取機(jī)制，難以充分挖掘多模態(tài)數(shù)據(jù)的潛在價(jià)值。(y.yang.et?al“skin?lesionclassification?based?on?two-modal?images?using?a?multi-scale?fully-sharedfusion?network,”comput.methods?programs?biomed,2023,107315)

3、在醫(yī)療診斷的各種模態(tài)中，影像所提供的信息最為豐富和特殊，然而，現(xiàn)有的人工智能和醫(yī)學(xué)影像技術(shù)在腫瘤良惡性鑒別方面仍存在不足。盡管已有研究提出基于深度學(xué)習(xí)的模型來處理特定模態(tài)的影像數(shù)據(jù)。(wang,z.et?al.“detection?of?covid-19casesbased?on?deep?learning?with?x-ray?images,”electronics?2022,11,3511)，該工作提出一種自定義resnet模型mhsa-resnet，從圖像中提取紋理特征并使用多頭自注意機(jī)制將肺部圖像分為三類(正常、肺炎和covid-19)，但這些模型往往局限于單一模態(tài)數(shù)據(jù)，未能充分利用多模態(tài)數(shù)據(jù)的互補(bǔ)性。此外，盡管有研究人員嘗試基于不同模態(tài)影像數(shù)據(jù)(如皮膚鏡與臨床圖像)構(gòu)建多通道輸入深度學(xué)習(xí)網(wǎng)絡(luò)模型，以提高皮膚病檢測效果，(omeroglu?an.et?al.“a?novel?soft?attention-based?multi-modal?deep?learning?framework?formulti-label?skin?lesion?classification,”engineering?applications?ofartificial?intelligence,2023,120:105897)，但這些模型在腫瘤檢測領(lǐng)域的應(yīng)用仍顯不足，且缺乏對不同模態(tài)數(shù)據(jù)間復(fù)雜關(guān)系的深入挖掘。

4、臨床中腫瘤圖像特征和元數(shù)據(jù)等不同模態(tài)的數(shù)據(jù)間存在巨大的維度和特征數(shù)量差異(多個(gè)數(shù)量級)，而多模態(tài)數(shù)據(jù)融合與腫瘤檢測旨在將不同分布、不同來源、不同類型的臨床數(shù)據(jù)整合到一個(gè)可以統(tǒng)一表示模態(tài)間和跨模態(tài)的全局空間中，這增加了多模態(tài)數(shù)據(jù)融合的難度。普通的多數(shù)據(jù)源拼接方式無法有效整合多模態(tài)語義信息，導(dǎo)致信息丟失和診斷準(zhǔn)確率下降。因此，需要探索高效的多模態(tài)數(shù)據(jù)融合方法，以實(shí)現(xiàn)不同模態(tài)數(shù)據(jù)間的特征互補(bǔ)和全局空間表示。

5、腫瘤在影像數(shù)據(jù)的表達(dá)中存在較大的組內(nèi)差異和較小的組間差異，現(xiàn)有方法大多采用單尺度影像作為輸入，容易遺漏重要病灶信息。為了克服這一局限性，引入多尺度方法，將全局影像與局部病灶同時(shí)作為輸入并進(jìn)行高效信息融合。然而，目前在疾病診斷的研究中，尚未有該類多尺度方法的有效應(yīng)用，導(dǎo)致診斷準(zhǔn)確率仍有提升空間。

6、另外，現(xiàn)有深度學(xué)習(xí)模型在構(gòu)建神經(jīng)網(wǎng)絡(luò)輔助智能診斷時(shí)往往存在“黑盒子”問題，即模型輸出的診斷結(jié)果缺乏可解釋性。這限制了臨床醫(yī)生對診斷結(jié)果的信任度和理解程度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種用于腫瘤良惡性檢測的多模態(tài)深度學(xué)習(xí)方法與系統(tǒng)，不但可以提升醫(yī)學(xué)影像特征提取效率，而且可以融合多種模態(tài)的醫(yī)學(xué)信息并提供相應(yīng)的決策可解釋依據(jù)，提高了分類的準(zhǔn)確性與可信度。

2、本發(fā)明的技術(shù)方案如下：

3、基于多模態(tài)數(shù)據(jù)融合與深度學(xué)習(xí)的腫瘤良惡性分類方法，包括以下步驟：

4、獲取患者影像數(shù)據(jù)和實(shí)驗(yàn)室數(shù)據(jù)；

5、分割患者影像的器官及腫瘤區(qū)域以篩選出感興趣區(qū)域切片；

6、對已篩選的患者影像切片數(shù)據(jù)進(jìn)行特征提取與分類，得到影像數(shù)據(jù)的腫瘤良惡性預(yù)測結(jié)果；

7、將影像良惡性預(yù)測結(jié)果與患者臨床特征輸入至集成學(xué)習(xí)分類模型，得到多模態(tài)腫瘤良惡性預(yù)測結(jié)果；

8、用于分別對多模態(tài)各個(gè)輸入要素和影像的不同部分進(jìn)行可視化結(jié)果解釋。

9、所述患者的臨床量表數(shù)據(jù)是指腫瘤標(biāo)志物與各項(xiàng)血液檢測，以表格的形式存儲(chǔ)。

10、所述對患者影像的器官及腫瘤區(qū)域進(jìn)行智能分割，具體如下：

11、將腫瘤影像及其對應(yīng)的腫瘤良惡性標(biāo)簽輸入至u形網(wǎng)絡(luò)；所述u形網(wǎng)絡(luò)是一種用于圖像分割的卷積神經(jīng)網(wǎng)絡(luò)模型，通過對稱的編碼器和解碼器結(jié)構(gòu)來捕捉上下文信息并實(shí)現(xiàn)精確的像素級預(yù)測；將所述已訓(xùn)練的u形網(wǎng)絡(luò)模型用于智能分割，可得到腫瘤診斷所關(guān)注的感興趣區(qū)域。

12、所述的對患者影像數(shù)據(jù)進(jìn)行特征提取和分類，得到影像數(shù)據(jù)的腫瘤良惡性預(yù)測結(jié)果，具體包括了輸入數(shù)據(jù)處理和將影像數(shù)據(jù)送入所設(shè)計(jì)的全局-混合-局部網(wǎng)絡(luò)進(jìn)行腫瘤良惡性分類。

13、輸入數(shù)據(jù)處理具體是，根據(jù)得到的智能分割結(jié)果，按感興趣區(qū)域在圖像中占比最大的原則篩選出最優(yōu)的n張切片，隨后將這n張切片按照感興趣區(qū)域分別裁剪制作為全局與局部切片，然后將兩者同時(shí)送入所述設(shè)計(jì)的影像學(xué)分類網(wǎng)絡(luò)中。

14、所述的設(shè)計(jì)的全局-混合-局部影像學(xué)分類網(wǎng)絡(luò)具體如下：

15、該網(wǎng)絡(luò)包含了三個(gè)網(wǎng)絡(luò)分支，分別為全局分支、混合分支、局部分支，通過三個(gè)分支分別對影像數(shù)據(jù)進(jìn)行特征提取，最后進(jìn)行特征融合與分類器分類，得到腫瘤影像學(xué)良惡性分類結(jié)果。

16、所述的全局分支和局部分支將殘差連接網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)進(jìn)行特征提取，具體來說，兩個(gè)分支都包含一個(gè)淺層模塊和四個(gè)深層模塊，其中每個(gè)模塊的組數(shù)分別為3、3、4、6和3，這與殘差連接網(wǎng)絡(luò)主體架構(gòu)相一致。各個(gè)模塊之間通過平均池化層相連接。每個(gè)淺層模塊中的組由"一個(gè)3×3卷積層、一個(gè)批處理歸一化(bn)層和一個(gè)relu層"組成。之后的深層模塊在殘差塊的基礎(chǔ)上引入了多尺度模塊和空間-通道注意力模塊優(yōu)化特征提取效果。

17、所述的殘差連接網(wǎng)絡(luò)通過引入網(wǎng)絡(luò)層間的跳躍連接，使得深層網(wǎng)絡(luò)在訓(xùn)練時(shí)能夠有效緩解梯度消失問題，所述的全局分支和局部分支分別將全局圖像與局部圖像兩類不同尺寸的數(shù)據(jù)作為殘差連接網(wǎng)絡(luò)的輸入。

18、所述的多尺度模塊引入多尺度特征融合機(jī)制，通過在每個(gè)殘差塊中采用多個(gè)尺度的特征圖進(jìn)行融合，可增強(qiáng)網(wǎng)絡(luò)對腫瘤影像多尺度信息的表達(dá)能力。

19、所述的增加空間-通道注意力模塊是一種結(jié)合空間注意力和通道注意力的方法；空間注意力利用通道壓縮后的特征圖進(jìn)行卷積操作，生成空間權(quán)重，強(qiáng)調(diào)輸入特征圖中的重要區(qū)域，抑制不重要的部分；通道注意力通過全局平均池化和全局最大池化生成通道權(quán)重，反映各通道的重要性，然后通過sigmoid激活函數(shù)生成權(quán)重，按比例調(diào)整輸入特征圖的通道響應(yīng)。

20、所述的混合分支使用了注意力特征融合方法融合全局分支與局部分第四模塊的低維特征，并進(jìn)一步特征提取來綜合不同尺度的語義信息。

21、所述的注意力特征融合方法沿通道維度聚合多尺度的上下文信息，可同時(shí)關(guān)注腫瘤影像分布全局和局部的語義信息，緩解尺度變化和小對象實(shí)例帶來的問題。

22、所述的三個(gè)分支的特征融合具體為，將三分支各自所得的特征圖變換為一維向量并拼接，最終送入全連接分類器得到影像學(xué)腫瘤良惡性預(yù)測概率值。

23、所述多模態(tài)腫瘤良惡性檢測方法是將將影像學(xué)良惡性預(yù)測概率值作為一個(gè)新的維度加入到量表數(shù)據(jù)中，再使用多種機(jī)器學(xué)習(xí)分類器以及集成學(xué)習(xí)方法得到多模態(tài)數(shù)據(jù)的腫瘤良惡性判別結(jié)果。其中，集成學(xué)習(xí)方法使用線性回歸方式基于多種機(jī)器學(xué)習(xí)分類器得到的預(yù)測值進(jìn)行訓(xùn)練，得到最終的集成預(yù)測結(jié)果。

24、所述可解釋方法主要包括：使用shap方法對不同模態(tài)的不同輸入要素進(jìn)行決策權(quán)重分析；使用基于遮擋的方法對圖像上的不同部分進(jìn)行可解釋歸因。

25、其中，shap方法是一類用于解釋機(jī)器學(xué)習(xí)模型輸出的技術(shù)，通過分配特征對模型預(yù)測的貢獻(xiàn)值，來理解各個(gè)特征的重要性。

26、所述基于遮擋的方法利用滑動(dòng)窗口對圖像不同部分進(jìn)行遮擋，然后迭代輸入至影像學(xué)分類模型中，通過比較輸出的差異來確定圖像不同部分對腫瘤良惡性決策的貢獻(xiàn)程度。

27、本發(fā)明還公開了基于多模態(tài)數(shù)據(jù)融合與深度學(xué)習(xí)的腫瘤良惡性分類系統(tǒng)，包括以下模塊：

28、數(shù)據(jù)獲取模塊，用于獲取患者影像數(shù)據(jù)和實(shí)驗(yàn)室數(shù)據(jù)；

29、影像分割模塊，用于分割患者影像的器官及腫瘤區(qū)域以篩選出感興趣區(qū)域切片；

30、影像學(xué)分類模塊，用于對已篩選的患者影像切片數(shù)據(jù)進(jìn)行特征提取與分類，得到影像數(shù)據(jù)的腫瘤良惡性預(yù)測結(jié)果；

31、多模態(tài)檢測模塊，用于將影像良惡性預(yù)測結(jié)果與患者臨床特征輸入至集成學(xué)習(xí)分類模型，得到多模態(tài)腫瘤良惡性預(yù)測結(jié)果；

32、可解釋模塊，用于分別對多模態(tài)各個(gè)輸入要素和影像的不同部分進(jìn)行可視化結(jié)果解釋。

33、本發(fā)明還公開了一種電子設(shè)備，其特點(diǎn)在于，包括處理器、通信接口、存儲(chǔ)器和通信總線，其中，處理器，通信接口，存儲(chǔ)器通過通信總線完成相互間的通信；

34、存儲(chǔ)器，用于存放計(jì)算機(jī)程序；

35、處理器，用于執(zhí)行存儲(chǔ)器上所存放的程序時(shí)，實(shí)現(xiàn)上述的方法步驟。

36、本發(fā)明還公開了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法步驟。

37、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

38、1.本發(fā)明基于多模態(tài)臨床數(shù)據(jù)，實(shí)現(xiàn)一體化兼具魯棒性的智能醫(yī)療輔助診斷系統(tǒng)，能夠有效融合影像學(xué)信息和臨床檢查信息得到腫瘤良惡性的預(yù)測結(jié)果，能有效應(yīng)對不同腫瘤場景下的信息獲取、融合以及良惡性診斷決策，輔助醫(yī)生對腫瘤的良惡性做出更準(zhǔn)確的判斷；

39、2.本發(fā)明基于深度學(xué)習(xí)算法構(gòu)建多尺度智能疾病檢測網(wǎng)絡(luò)，應(yīng)對腫瘤在影像數(shù)據(jù)的表達(dá)中所存在的較大組內(nèi)差異和較小組間差異的問題，結(jié)合空間與通道注意力機(jī)制充分提取并融合圖像中全局與局部不同尺度所包含的語義信息，基于注意力機(jī)制設(shè)計(jì)了特征融合模塊，沿通道維度聚合多尺度的上下文信息，可同時(shí)關(guān)注分布全局的大目標(biāo)和局部分布的小目標(biāo)，緩解尺度變化和小對象實(shí)例帶來的干擾，進(jìn)一步提升了疾病診斷的準(zhǔn)確率；

40、3.本發(fā)明使用shap方法對不同模態(tài)的不同輸入要素進(jìn)行決策權(quán)重分析，使用基于遮擋的方法對圖像上的不同部分進(jìn)行可解釋歸因，為診斷網(wǎng)絡(luò)所得結(jié)果提供了可視化輔助分析，提升了系統(tǒng)的可靠性與可信度。