本發(fā)明屬于病理圖像處理,具體涉及一種gleason分級(jí)評(píng)分方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、前列腺癌是男性最常見的惡性腫瘤之一,其發(fā)病率逐年遞增。前列腺癌的診斷和治療依賴于對(duì)其病理圖像的準(zhǔn)確分析和分級(jí),其中格里森評(píng)分系統(tǒng)(gleason?score)是目前最廣泛應(yīng)用和受認(rèn)可的前列腺癌分級(jí)方法。gleason分級(jí)通過觀察前列腺癌組織切片的染色圖像,根據(jù)腺體結(jié)構(gòu)和細(xì)胞形態(tài)特征將癌癥分為不同的級(jí)別,以評(píng)估癌癥的侵襲性和預(yù)后。
2、盡管它在臨床上得到了廣泛的應(yīng)用,但也存在一些缺陷和局限性。
3、第一,傳統(tǒng)的病理評(píng)估方法依賴于病理醫(yī)生的顯微鏡下觀察和主觀判斷,存在一定的誤差主觀性,gleason分級(jí)的可重復(fù)性會(huì)因病理學(xué)家掌握的尺度不同而有一定差異。
4、第二,傳統(tǒng)的病理評(píng)估方法缺乏自動(dòng)化,病理醫(yī)生必須借助顯微鏡,細(xì)致觀察組織切片的形態(tài)特征和細(xì)胞結(jié)構(gòu),進(jìn)而提供精確的病理學(xué)評(píng)估。
5、第三,在前列腺病理切片分析中,不同腺體區(qū)域間的可能存在異質(zhì)性。然而,現(xiàn)有的研究方法往往未能對(duì)此進(jìn)行深入的細(xì)化分析。這種異質(zhì)性可能導(dǎo)致gleason評(píng)分預(yù)測的不一致性,進(jìn)而影響評(píng)分的準(zhǔn)確性。
6、第四,隨著人工智能的發(fā)展,一系列基于人工智能技術(shù)和病理圖像的分析方法開始涌現(xiàn),一定程度上彌補(bǔ)了傳統(tǒng)方法的不足。而沒有充分考慮腫瘤的組織結(jié)構(gòu)和gleason分級(jí)的相關(guān)性,缺乏臨床意義上的可解釋性。
7、第五,gleason分級(jí)不僅和腺體結(jié)構(gòu)相關(guān)還可能和細(xì)胞結(jié)構(gòu)存在聯(lián)系,然而,現(xiàn)有的gleason分級(jí)方法僅僅在低分辨率圖像上或在高分辨率圖像上提取圖像塊進(jìn)行實(shí)驗(yàn),并沒有將全局信息和局部信息進(jìn)行結(jié)合。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述技術(shù)問題,本發(fā)明提出了一種gleason分級(jí)評(píng)分方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
2、為了達(dá)到上述目的,本發(fā)明的技術(shù)方案如下:
3、第一方面,本發(fā)明公開一種gleason分級(jí)評(píng)分方法,包括:
4、步驟s1:收集前列腺癌患者的病理圖像及其對(duì)應(yīng)標(biāo)注信息;
5、步驟s2:將收集的病理圖像進(jìn)行預(yù)處理,形成圖像數(shù)據(jù)集;
6、步驟s3:利用圖像數(shù)據(jù)集訓(xùn)練自監(jiān)督學(xué)習(xí)模型,自監(jiān)督學(xué)習(xí)模型用于將圖像數(shù)據(jù)集中的每個(gè)病理圖像劃分為若干圖像塊,并提取每個(gè)圖像塊的塊編碼特征,形成塊編碼特征數(shù)據(jù)集;
7、步驟s4:利用塊編碼特征數(shù)據(jù)集訓(xùn)練腺體分割模型,腺體分割模型用于將病理圖像中的腺體分割出來,得到腺體分割圖像;
8、步驟s5:對(duì)腺體分割圖像中的每個(gè)單腺體進(jìn)行二次分割,得到若干單腺體圖像,形成單腺體數(shù)據(jù)集;
9、步驟s6:對(duì)單腺體數(shù)據(jù)集內(nèi)的每個(gè)單腺體圖像進(jìn)行采樣,得到不同分辨率下的單腺體圖像,并對(duì)其進(jìn)行特征提取及特征融合,得到若干腺體融合特征,形成融合特征數(shù)據(jù)集;
10、步驟s7:利用融合特征數(shù)據(jù)集訓(xùn)練腺體評(píng)分模型,腺體評(píng)分模型用于預(yù)測每個(gè)單腺體的gleason評(píng)分;
11、步驟s8:篩選病理圖像中腺體面積最大的單腺體區(qū)域作為主要分級(jí)區(qū),主要分級(jí)區(qū)以外預(yù)測gleason評(píng)分最高的單腺體區(qū)域作為次要分級(jí)區(qū);
12、步驟s9:將主要分級(jí)區(qū)的預(yù)測gleason評(píng)分和次要分級(jí)區(qū)的預(yù)測gleason評(píng)分相加,獲得最終gleason分級(jí)評(píng)分;
13、步驟s10:將訓(xùn)練好的模型應(yīng)用在待分析病理圖像,得到gleason分級(jí)評(píng)分。
14、在上述技術(shù)方案的基礎(chǔ)上,還可做如下改進(jìn):
15、作為優(yōu)選的方案,步驟s2中的預(yù)處理操作包括以下一種或多種:去除圖像噪音、去除圖像偽影、數(shù)據(jù)增廣。
16、作為優(yōu)選的方案,步驟s6包括:
17、步驟s6.1:對(duì)單腺體數(shù)據(jù)集內(nèi)的任一個(gè)單腺體圖像進(jìn)行采樣,獲得不同高分辨率下的對(duì)應(yīng)單腺體圖像;
18、步驟s6.2:對(duì)原單腺體圖像進(jìn)行特征提取,獲得腺體全局特征;
19、步驟s6.3:將高分辨率下的單腺體圖像劃分為若干圖像塊,并提取每個(gè)圖像塊的腺體局部特征;
20、步驟s6.4:將所有的腺體局部特征進(jìn)行聚合,得到腺體結(jié)構(gòu)特征;
21、步驟s6.5:將腺體全局特征與腺體結(jié)構(gòu)特征進(jìn)行融合,得到腺體融合特征;
22、步驟s6.6:重復(fù)步驟s6.1-步驟s6.5,直至對(duì)單腺體數(shù)據(jù)集內(nèi)的每個(gè)單腺體圖像均進(jìn)行處理,得到對(duì)應(yīng)腺體融合特征。
23、作為優(yōu)選的方案,步驟s10包括:
24、步驟s10.1:收集待分析的前列腺癌患者的病理圖像;
25、步驟s10.2:將待分析的病理圖像進(jìn)行預(yù)處理;
26、步驟s10.3:利用訓(xùn)練好的自監(jiān)督學(xué)習(xí)模型提取預(yù)處理后的待分析病理圖像的塊編碼特征,形成塊編碼特征數(shù)據(jù)集;
27、步驟s10.4:基于步驟s10.3獲得的塊編碼特征數(shù)據(jù)集,利用訓(xùn)練好的腺體分割模型將待分析病理圖像中的腺體分割出來,得到腺體分割圖像;
28、步驟s10.5:對(duì)步驟s10.4獲得的腺體分割圖像中的每個(gè)單腺體進(jìn)行二次分割,得到若干單腺體圖像,形成單腺體數(shù)據(jù)集;
29、步驟s10.6:對(duì)步驟s10.5獲得的單腺體數(shù)據(jù)集內(nèi)的每個(gè)單腺體圖像進(jìn)行采樣,得到不同分辨率下的單腺體圖像,并對(duì)其進(jìn)行特征提取及特征融合,得到若干腺體融合特征,形成融合特征數(shù)據(jù)集;
30、步驟s10.7:利用訓(xùn)練好的腺體評(píng)分模型預(yù)測步驟s10.6獲得的融合特征數(shù)據(jù)集內(nèi)的每個(gè)單腺體的gleason評(píng)分;
31、步驟s10.8:篩選待分析病理圖像中腺體面積最大的單腺體區(qū)域作為主要分級(jí)區(qū),主要分級(jí)區(qū)以外預(yù)測gleason評(píng)分最高的單腺體區(qū)域作為次要分級(jí)區(qū);
32、步驟s10.9:將主要分級(jí)區(qū)的預(yù)測gleason評(píng)分和次要分級(jí)區(qū)的預(yù)測gleason評(píng)分相加,獲得最終gleason分級(jí)評(píng)分。
33、第二方面,本發(fā)明公開一種gleason分級(jí)評(píng)分裝置,包括:
34、病理圖像收集模塊,用于收集前列腺癌患者的病理圖像及其對(duì)應(yīng)標(biāo)注信息;
35、圖像預(yù)處理模塊,用于將收集的病理圖像進(jìn)行預(yù)處理,形成圖像數(shù)據(jù)集;
36、自監(jiān)督學(xué)習(xí)模型訓(xùn)練模塊,用于利用圖像數(shù)據(jù)集訓(xùn)練自監(jiān)督學(xué)習(xí)模型,自監(jiān)督學(xué)習(xí)模型用于將圖像數(shù)據(jù)集中的每個(gè)病理圖像劃分為若干圖像塊,并提取每個(gè)圖像塊的塊編碼特征,形成塊編碼特征數(shù)據(jù)集;
37、腺體分割模型訓(xùn)練模塊,用于利用塊編碼特征數(shù)據(jù)集訓(xùn)練腺體分割模型,腺體分割模型用于將病理圖像中的腺體分割出來,得到腺體分割圖像;
38、腺體二次分割模塊,用于對(duì)腺體分割圖像中的每個(gè)單腺體進(jìn)行二次分割,得到若干單腺體圖像,形成單腺體數(shù)據(jù)集;
39、腺體融合特征獲取模塊,用于對(duì)單腺體數(shù)據(jù)集內(nèi)的每個(gè)單腺體圖像進(jìn)行采樣,得到不同分辨率下的單腺體圖像,并對(duì)其進(jìn)行特征提取及特征融合,得到若干腺體融合特征,形成融合特征數(shù)據(jù)集;
40、腺體評(píng)分模型訓(xùn)練模塊,用于利用融合特征數(shù)據(jù)集訓(xùn)練腺體評(píng)分模型,腺體評(píng)分模型用于預(yù)測每個(gè)單腺體的gleason評(píng)分;
41、腺體區(qū)域劃分模塊,用于篩選病理圖像中腺體面積最大的單腺體區(qū)域作為主要分級(jí)區(qū),主要分級(jí)區(qū)以外預(yù)測gleason評(píng)分最高的單腺體區(qū)域作為次要分級(jí)區(qū);
42、分級(jí)評(píng)分計(jì)算模塊,用于將主要分級(jí)區(qū)的預(yù)測gleason評(píng)分和次要分級(jí)區(qū)的預(yù)測gleason評(píng)分相加,獲得最終gleason分級(jí)評(píng)分;
43、模型應(yīng)用模塊,用于將訓(xùn)練好的模型應(yīng)用在待分析病理圖像,得到gleason分級(jí)評(píng)分。
44、作為優(yōu)選的方案,圖像預(yù)處理模塊中的預(yù)處理操作包括以下一種或多種:去除圖像噪音、去除圖像偽影、數(shù)據(jù)增廣。
45、作為優(yōu)選的方案,腺體融合特征獲取模塊包括:
46、圖像采樣單元,用于對(duì)單腺體數(shù)據(jù)集內(nèi)的任一個(gè)單腺體圖像進(jìn)行采樣,獲得不同高分辨率下的對(duì)應(yīng)單腺體圖像;
47、腺體全局特征提取單元,用于對(duì)原單腺體圖像進(jìn)行特征提取,獲得腺體全局特征;
48、腺體局部特征提取單元,用于將高分辨率下的單腺體圖像劃分為若干圖像塊,并提取每個(gè)圖像塊的腺體局部特征;
49、腺體結(jié)構(gòu)特征獲得單元,用于將所有的腺體局部特征進(jìn)行聚合,得到腺體結(jié)構(gòu)特征;
50、腺體融合特征獲得單元,用于將腺體全局特征與腺體結(jié)構(gòu)特征進(jìn)行融合,得到腺體融合特征;
51、重復(fù)執(zhí)行單元,用于重復(fù)執(zhí)行圖像采樣單元、腺體全局特征提取單元、腺體局部特征提取單元、腺體結(jié)構(gòu)特征獲得單元、腺體融合特征獲得單元中的方法,直至對(duì)單腺體數(shù)據(jù)集內(nèi)的每個(gè)單腺體圖像均進(jìn)行處理,得到對(duì)應(yīng)腺體融合特征。
52、作為優(yōu)選的方案,模型應(yīng)用模塊包括:
53、應(yīng)用收集單元,用于收集待分析的前列腺癌患者的病理圖像;
54、應(yīng)用預(yù)處理單元,用于將待分析的病理圖像進(jìn)行預(yù)處理;
55、應(yīng)用特征提取單元,用于利用訓(xùn)練好的自監(jiān)督學(xué)習(xí)模型提取預(yù)處理后的待分析病理圖像的塊編碼特征,形成塊編碼特征數(shù)據(jù)集;
56、應(yīng)用腺體分割單元,用于基于應(yīng)用特征提取單元獲得的塊編碼特征數(shù)據(jù)集,利用訓(xùn)練好的腺體分割模型將待分析病理圖像中的腺體分割出來,得到腺體分割圖像;
57、應(yīng)用二次分割單元,用于對(duì)應(yīng)用腺體分割單元獲得的腺體分割圖像中的每個(gè)單腺體進(jìn)行二次分割,得到若干單腺體圖像,形成單腺體數(shù)據(jù)集;
58、應(yīng)用特征融和單元,用于對(duì)應(yīng)用二次分割單元獲得的單腺體數(shù)據(jù)集內(nèi)的每個(gè)單腺體圖像進(jìn)行采樣,得到不同分辨率下的單腺體圖像,并對(duì)其進(jìn)行特征提取及特征融合,得到若干腺體融合特征,形成融合特征數(shù)據(jù)集;
59、應(yīng)用腺體評(píng)分單元,用于利用訓(xùn)練好的腺體評(píng)分模型預(yù)測應(yīng)用特征融和單元獲得的融合特征數(shù)據(jù)集內(nèi)的每個(gè)單腺體的gleason評(píng)分;
60、應(yīng)用腺體區(qū)域劃分單元,用于篩選待分析病理圖像中腺體面積最大的單腺體區(qū)域作為主要分級(jí)區(qū),主要分級(jí)區(qū)以外預(yù)測gleason評(píng)分最高的單腺體區(qū)域作為次要分級(jí)區(qū);
61、應(yīng)用分級(jí)評(píng)分計(jì)算單元,用于將主要分級(jí)區(qū)的預(yù)測gleason評(píng)分和次要分級(jí)區(qū)的預(yù)測gleason評(píng)分相加,獲得最終gleason分級(jí)評(píng)分。
62、第三方面,本發(fā)明公開一種計(jì)算設(shè)備,包括:
63、一個(gè)或多個(gè)處理器;
64、存儲(chǔ)器;
65、以及一個(gè)或多個(gè)程序,其中一個(gè)或多個(gè)程序存儲(chǔ)在存儲(chǔ)器中并被配置為由一個(gè)或多個(gè)處理器執(zhí)行,一個(gè)或多個(gè)程序包括上述任一gleason分級(jí)評(píng)分方法的指令。
66、第四方面,本發(fā)明公開一種存儲(chǔ)介質(zhì),存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或多個(gè)計(jì)算機(jī)可讀的程序,一個(gè)或多個(gè)程序包括指令,指令適于由存儲(chǔ)器加載并執(zhí)行上述任一gleason分級(jí)評(píng)分方法。
67、本發(fā)明公開一種gleason分級(jí)評(píng)分方法、裝置、設(shè)備及存儲(chǔ)介質(zhì),其具有以下有益效果:
68、第一,本發(fā)明采用自監(jiān)督學(xué)習(xí)模型作為模型編碼器,提高了病理圖像的表征能力,減少了對(duì)標(biāo)注數(shù)據(jù)的依賴,增強(qiáng)模型的泛化能力。
69、第二,本發(fā)明基于塊編碼特征訓(xùn)練腺體分割模型,能夠有效地從病理圖像中分離出腺體結(jié)構(gòu),能夠有效解決同一病理圖像中不同腺體區(qū)域間存在的變異性問題,通過精確的腺體分割,為后續(xù)的分級(jí)預(yù)測工作提供準(zhǔn)確的圖像特征,提高gleason分級(jí)評(píng)分的可靠性和預(yù)測準(zhǔn)確性。
70、第三,本發(fā)明基于多分辨率的單腺體圖像,對(duì)腺體全局特征和腺體局部特征進(jìn)行關(guān)注,能夠捕捉到細(xì)胞間的形態(tài),增加了后續(xù)gleason分級(jí)評(píng)分的可解釋性,顯著提高預(yù)測精度。
71、第四,本發(fā)明采用腺體融合特征訓(xùn)練腺體評(píng)分模型,更精確地反映腺體級(jí)別以及細(xì)胞級(jí)別的具體病理特征,提高評(píng)分的可解釋性和準(zhǔn)確性。
72、第五,本發(fā)明通過綜合考慮病理圖像中主要分級(jí)區(qū)域和次要分級(jí)區(qū)域來確定最終gleason分級(jí)評(píng)分,能夠綜合反映腫瘤的侵襲性和異質(zhì)性,為臨床決策提供更為全面和精確的病理信息。
73、綜上述,本發(fā)明能夠?qū)崿F(xiàn)病理圖像的自動(dòng)化gleason分級(jí)評(píng)分,能夠大大減少病理醫(yī)生的工作量,提高病理科的工作效率和檢測能力,具有極大的臨床意義。