本申請涉及圖片分割領(lǐng)域,尤其涉及一種視杯視盤域泛化分割方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。
背景技術(shù):
1、隨著圖片識別技術(shù)的發(fā)展,在醫(yī)療領(lǐng)域圖片識別技術(shù)也開始廣泛應(yīng)用,例如眼底圖片中視杯視盤的研究,在疾病的診斷中起著關(guān)鍵作用。眼底圖片的形態(tài)以及結(jié)構(gòu)的變動可以直接反映青光眼等病變。利用深度學(xué)習(xí)的方法去自動分割眼底圖片是有重要的研究價(jià)值。但傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)依賴大規(guī)模數(shù)據(jù)集和專業(yè)標(biāo)注,并且只在特定數(shù)據(jù)集上表現(xiàn)良好,在其它一些數(shù)據(jù)集上泛化性很差。同時由于采集條件、設(shè)備和環(huán)境的不同,導(dǎo)致不同數(shù)據(jù)集在圖片外觀、對比度、質(zhì)量、視野等方面存在顯著差異,訓(xùn)練出的模型過度擬合源域數(shù)據(jù)的特征,所以當(dāng)模型在應(yīng)用于分布差異較大的目標(biāo)域數(shù)據(jù)時,性能較差。
技術(shù)實(shí)現(xiàn)思路
1、針對上述問題,本申請實(shí)施例提供一種視杯視盤域泛化分割方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì),用以提高分割視杯視盤模型的泛化能力。
2、一方面,本申請公開了一種視杯視盤域泛化分割方法,包括:
3、將不同域的眼底圖像的色彩空間轉(zhuǎn)為yuv色彩空間,并對基于yuv色彩空間的不同域的所述眼底圖像進(jìn)行特征提取,得到不同域的眼底圖像的第一低級特征;
4、對所述第一低級特征進(jìn)行同態(tài)濾波并從中提取其高頻分量,得到高頻特征;
5、對所述高頻特征進(jìn)行曲率濾波,得到第二低級特征;
6、對所述第一低級特征進(jìn)行均值和標(biāo)準(zhǔn)差的內(nèi)部混合,生成與所述眼底圖像不同域的第三低級特征;
7、從所述第三低級特征中進(jìn)行特征提取,得到第一高級特征;
8、將所述第一高級特征進(jìn)行不同尺度下的特征提取,再將不同尺度的特征合并,得到具有多尺度信息的第二高級特征;
9、將所述第二高級特征編碼成其所在領(lǐng)域特定的代碼;
10、利用領(lǐng)域知識庫的多域特征和所述代碼,調(diào)整所述第二高級特征,得到調(diào)整后的第三高級特征;
11、將所述第三高級特征和所述第二高級特征及所述第二低級特征結(jié)合,生成最終輸出特征。
12、可選的,對所述第一低級特征進(jìn)行同態(tài)濾波并從中提取其高頻分量的過程,包括:
13、對所述第一低級特征進(jìn)行對數(shù)變換,得到變換后的第一特征;
14、對所述第一特征進(jìn)行傅里葉變換,并將其中心化,得到第二特征;
15、將所述第二特征從空間域轉(zhuǎn)換至頻率域;
16、對頻率域的所述第二特征進(jìn)行濾波處理,得到高頻增強(qiáng)的第三特征;
17、對所述第三特征進(jìn)行逆傅里葉變換,將所述第三特征轉(zhuǎn)換至空間域;
18、對空間域的所述第三特征進(jìn)行指數(shù)變換,提取所述第三特征中的高頻分量,得到所述高頻特征。
19、可選的,對所述高頻特征進(jìn)行曲率濾波,得到第二低級特征的過程,還包括:
20、從所述高頻特征的每個通道中篩選出曲率最大的第一通道;
21、將所有所述高頻特征的第一通道拼接,得到所述第二低級特征。
22、可選的,從所述高頻特征的每個通道中篩選出曲率最大的第一通道的過程,還包括:
23、對所述高頻特征重新排列,將多個通道拆分成單個單通道,得到高頻特征的各個單通道的通道特征;
24、對所述高頻特征的各個通道特征進(jìn)行卷積,得到卷積后的特征圖;
25、對所述特征圖在寬度維度上求和,計(jì)算每個通道中所有像素的水平累計(jì)曲率;
26、對所述特征圖在高度維度上求和,計(jì)算每個通道中所有像素的豎直累計(jì)曲率;
27、每個通道中所有像素的水平累計(jì)曲率上進(jìn)一步累積豎直方向的曲率,得到每個通道的總曲率強(qiáng)度;
28、根據(jù)每個通道的總曲率強(qiáng)度,篩選出曲率最大的第一通道。
29、可選的,對所述第一低級特征進(jìn)行均值和標(biāo)準(zhǔn)差的內(nèi)部混合,生成與所述眼底圖像不同域的第三低級特征的過程,包括:
30、根據(jù)每個所述第一低級特征的通道維度計(jì)算每個所述第一低級特征對應(yīng)的均值和標(biāo)準(zhǔn)差;
31、將每個所述第一低級特征的所述均值與其它一個不同特征所述均值通過比例系數(shù)相互融合,得到融合后的融合均值;
32、將每個所述第一低級特征的所述標(biāo)準(zhǔn)差與其它一個不同圖片的所述標(biāo)準(zhǔn)差通過比例系數(shù)相互融合,得到融合后的融合標(biāo)準(zhǔn)差;
33、根據(jù)所述融合均值和所述融合標(biāo)準(zhǔn)差,得到與每個第一低級特征對應(yīng)的所述第三低級特征。
34、可選的,生成最終輸出特征之后,還包括:
35、對所述最終輸出特征進(jìn)行上采樣和卷積操作,生成視杯視盤的分割結(jié)果。
36、另一方面,本申請還公開了一種視杯視盤域泛化分割裝置,包括:
37、低級特征提取模塊,用于將不同域的眼底圖像的色彩空間轉(zhuǎn)為yuv色彩空間,并對基于yuv色彩空間的不同域的所述眼底圖像進(jìn)行特征提取,得到不同域的眼底圖像的第一低級特征;
38、高頻特征提取模塊,用于對所述第一低級特征進(jìn)行同態(tài)濾波并從中提取其高頻分量,得到高頻特征;
39、曲率濾波模塊,用于對所述高頻特征進(jìn)行曲率濾波,得到第二低級特征;
40、特征混合模塊,用于對所述第一低級特征進(jìn)行均值和標(biāo)準(zhǔn)差的內(nèi)部混合,生成與所述眼底圖像不同域的第三低級特征;
41、高級特征提取模塊,用于從所述第三低級特征中進(jìn)行特征提取,得到第一高級特征。
42、多尺度特征提取模塊,用于將所述第一高級特征進(jìn)行不同尺度下的特征提取,再將不同尺度的特征合并,得到具有多尺度信息的第二高級特征;
43、編碼模塊,用于將所述第二高級特征編碼成其所在領(lǐng)域特定的代碼;
44、特征調(diào)整模塊,用于利用領(lǐng)域知識庫的多域特征和所述代碼,調(diào)整所述第二高級特征,得到調(diào)整后的第三高級特征;
45、特征輸出模塊,用于將所述第三高級特征和所述第二高級特征及所述第二低級特征結(jié)合,生成最終輸出特征。
46、可選的,還包括:
47、分割結(jié)果輸出模塊,用于對所述最終輸出特征進(jìn)行上采樣和卷積操作,生成視杯視盤的分割結(jié)果。
48、另一方面,本申請還公開了一種電子設(shè)備,其包括處理器和存儲器,其中,所述存儲器存儲有程序代碼,當(dāng)所述程序代碼被所述處理器執(zhí)行時,使得所述處理器執(zhí)行前述視杯視盤域泛化分割方法。
49、另一方面,本申請還公開了一種計(jì)算機(jī)可讀存儲介質(zhì),包括程序代碼,當(dāng)所述存儲介質(zhì)在電子設(shè)備上運(yùn)行時,所述程序代碼用于使所述電子設(shè)備執(zhí)行前述視杯視盤域泛化分割方法。
50、本申請通過在yuv色彩空間進(jìn)行特征提取、對主干網(wǎng)絡(luò)內(nèi)生成低級特征進(jìn)行特征混合以及在主干網(wǎng)絡(luò)外單獨(dú)對低級特征加強(qiáng),不僅增強(qiáng)了特征的多樣性,還使模型關(guān)注到視杯視盤的細(xì)節(jié)特征,提升模型泛化能力。
1.一種視杯視盤域泛化分割方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的視杯視盤域泛化分割方法,其特征在于,對所述第一低級特征進(jìn)行同態(tài)濾波并從中提取其高頻分量的過程,包括:
3.根據(jù)權(quán)利要求1所述的視杯視盤域泛化分割方法,其特征在于,對所述高頻特征進(jìn)行曲率濾波,得到第二低級特征的過程,還包括:
4.根據(jù)權(quán)利要求3所述的視杯視盤域泛化分割方法,其特征在于,從所述高頻特征的每個通道中篩選出曲率最大的第一通道的過程,包括:
5.根據(jù)權(quán)利要求1所述的視杯視盤域泛化分割方法,其特征在于,對所述第一低級特征進(jìn)行均值和標(biāo)準(zhǔn)差的內(nèi)部混合,生成與所述眼底圖像不同域的第三低級特征的過程,包括:
6.根據(jù)權(quán)利要求1所述的視杯視盤域泛化分割方法,其特征在于,生成最終輸出特征之后,還包括:
7.一種視杯視盤域泛化分割裝置,其特征在于,包括:
8.根據(jù)權(quán)利要求7所述的視杯視盤域泛化分割裝置,其特征在于,還包括:
9.一種電子設(shè)備,其特征在于,其包括處理器和存儲器,其中,所述存儲器存儲有程序代碼,當(dāng)所述程序代碼被所述處理器執(zhí)行時,使得所述處理器執(zhí)行權(quán)利要求1~6中任一所述視杯視盤域泛化分割方法。
10.一種計(jì)算機(jī)可讀存儲介質(zhì),其特征在于,包括程序代碼,當(dāng)所述存儲介質(zhì)在電子設(shè)備上運(yùn)行時,所述程序代碼用于使所述電子設(shè)備執(zhí)行權(quán)利要求1~6中任一所述視杯視盤域泛化分割方法。