本申請(qǐng)涉及圖像分析，更具體的，涉及一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法、系統(tǒng)及介質(zhì)。

背景技術(shù)：

1、熒光原位雜交可以通過(guò)染色對(duì)細(xì)胞或組織樣本內(nèi)精確的dna序列或rna分子進(jìn)行鑒定和檢測(cè)，這項(xiàng)技術(shù)能夠定量和定位特定基因，為疾病診斷和治療提供關(guān)鍵信息。然而，在顯微鏡下拍攝的fish圖像中，細(xì)胞數(shù)量大，核酸序列混亂。對(duì)研究人員來(lái)說(shuō)，處理和分析圖像是一項(xiàng)耗時(shí)費(fèi)力的任務(wù)，因?yàn)樗苋菀资谷搜燮?，?dǎo)致判斷錯(cuò)誤。

2、近年來(lái)，醫(yī)學(xué)影像與計(jì)算機(jī)科學(xué)的結(jié)合日益密切，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像檢測(cè)方法已成為研究的熱門課題。在醫(yī)學(xué)圖像分析的發(fā)展歷程中，最初的方法可以追溯到20世紀(jì)70年代至90年代。那個(gè)時(shí)期，醫(yī)學(xué)圖像分析主要通過(guò)應(yīng)用多個(gè)低級(jí)的像素處理技術(shù)(如邊緣和線條檢測(cè)濾波器、區(qū)域增長(zhǎng)算法)和數(shù)學(xué)建模(如擬合線、圓、橢圓)構(gòu)建基于復(fù)合規(guī)則的系統(tǒng)來(lái)解決特定任務(wù)。與同時(shí)期人工智能領(lǐng)域流行的帶有多個(gè)條件判斷語(yǔ)句的專家系統(tǒng)有很多相似之處。這些方法被稱為老式的人工智能，其健壯性與容錯(cuò)能力通常較低。

3、到了20世紀(jì)90年代末，基于訓(xùn)練數(shù)據(jù)的監(jiān)督學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分析中變得越來(lái)越流行。一些代表性的方法包括主動(dòng)形狀模型、圖集方法以及特征提取和統(tǒng)計(jì)分類器的使用。這些模式識(shí)別或機(jī)器學(xué)習(xí)的方法至今仍然非常流行，形成了許多商用醫(yī)學(xué)圖像分析系統(tǒng)的基礎(chǔ)。

4、隨著深度學(xué)習(xí)技術(shù)的崛起，尤其是卷積神經(jīng)網(wǎng)絡(luò)(cnn)等深度學(xué)習(xí)模型的成功應(yīng)用，醫(yī)學(xué)圖像分析迎來(lái)了新的時(shí)代。深度學(xué)習(xí)方法通過(guò)學(xué)習(xí)數(shù)據(jù)中的特征，不僅在醫(yī)學(xué)圖像分類和分割中表現(xiàn)出色，而且在目標(biāo)檢測(cè)、病變識(shí)別等任務(wù)上也取得了顯著的進(jìn)展。這些方法不僅提高了準(zhǔn)確性，還具有更高的魯棒性和泛化能力，使其成為當(dāng)前醫(yī)學(xué)圖像分析領(lǐng)域的前沿技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例的目的在于提供一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法、系統(tǒng)及介質(zhì)，能夠有效處理復(fù)雜的圖像場(chǎng)景，支持多種醫(yī)學(xué)圖像的分析，提升了醫(yī)學(xué)診斷的效率，減少了人為誤差，并增強(qiáng)了科研和臨床應(yīng)用中的細(xì)胞分析和病理檢測(cè)能力。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┤缦录夹g(shù)方案：

3、第一方面，本申請(qǐng)實(shí)施例提供一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法，包括以下具體步驟：

4、s1.構(gòu)建seam-unet++圖像分割模型；

5、s2.構(gòu)建yolo-sem小目標(biāo)檢測(cè)算法模型；

6、s3.將熒光原位雜交圖像b通道原始圖像作為輸入，輸入至seam-unet++圖像分割模型中進(jìn)行分割，分割出每個(gè)細(xì)胞的輪廓，并將他們單獨(dú)提取出來(lái)，得到b通道的細(xì)胞精確分割圖；

7、s4.將熒光原位雜交圖像r通道原始圖像作為輸入，輸入至yolo-sem小目標(biāo)檢測(cè)算法模型中進(jìn)行檢測(cè)，得到紅色熒光探針?lè)植紙D；

8、s5.將熒光原位雜交圖像g通道原始圖像作為輸入，輸入至yolo-sem小目標(biāo)檢測(cè)算法模型中進(jìn)行檢測(cè)，得到綠色熒光探針?lè)植紙D；

9、s6.將得到的細(xì)胞精確分割圖、紅色熒光分布圖和綠色熒光分布圖合并為一張圖，得到細(xì)胞和探針?lè)植嫉年P(guān)系圖。

10、所述seam-unet++分割模型按照?qǐng)D像的處理順序依次包括編碼器模塊、解碼器模塊、密集跳躍連接模塊和seam模塊；

11、編碼器模塊由多個(gè)卷積層和下采樣層組成，輸入的圖片先經(jīng)過(guò)卷積層來(lái)提取圖像的特征如細(xì)胞的形狀、紋理和細(xì)胞的輪廓，再經(jīng)過(guò)下采樣層減少特征圖的尺寸；

12、解碼器模塊由多個(gè)上采樣層和卷積層組成，編碼器模塊輸出的特征圖經(jīng)過(guò)卷積層來(lái)恢復(fù)圖像的空間分辨率，再經(jīng)過(guò)上采樣層還原特征圖的尺寸；

13、密集跳躍連接模塊在解碼器模塊和編碼器模塊的所有卷積層輸出的不同分辨率的特征之間進(jìn)行多次處理和融合，這些跳躍連接增強(qiáng)了不同分辨率特征之間的交流，使得特征融合更加充分；

14、seam模塊將特征圖分成小塊，并對(duì)每塊進(jìn)行嵌入處理。

15、所述yolo-sem小目標(biāo)檢測(cè)算法模型包括特征提取網(wǎng)絡(luò)模塊、特征融合模塊以及檢測(cè)頭模塊，所述特征提取網(wǎng)絡(luò)模塊通過(guò)一系列卷積層逐步提取不同層級(jí)的特征信息，從輸入圖像中提取多尺度的語(yǔ)義特征，特征融合模塊通過(guò)特征金字塔將來(lái)自特征提取網(wǎng)絡(luò)模塊不同層級(jí)的特征整合起來(lái)，形成一種自上而下的特征融合方式，同時(shí)增強(qiáng)模型對(duì)多尺度目標(biāo)的感知能力用于對(duì)這些特征進(jìn)行融合，檢測(cè)頭模塊根據(jù)特征融合模塊融合后的特征生成目標(biāo)的邊界框和類別預(yù)測(cè)。

16、所述構(gòu)建seam-unet++圖像分割模型具體為，

17、獲取n張高分辨率圖像，形成原始高分辨率圖像集合；

18、將高分辨率圖像集合劃分為訓(xùn)練集和驗(yàn)證集；

19、將訓(xùn)練集中的各個(gè)高分辨率圖像和驗(yàn)證集各個(gè)高分辨率圖像分別進(jìn)行預(yù)處理得到預(yù)處理后的訓(xùn)練集及預(yù)處理后的驗(yàn)證集；

20、將訓(xùn)練集輸入到神經(jīng)網(wǎng)絡(luò)模型中，對(duì)模型進(jìn)行訓(xùn)練更新模型參數(shù)；

21、將驗(yàn)證集輸入到參數(shù)更新后的模型神經(jīng)網(wǎng)絡(luò)模型中對(duì)模型參數(shù)進(jìn)行驗(yàn)證，完成seam-unet++圖像分割模型構(gòu)建。

22、第二方面，本申請(qǐng)實(shí)施例提供一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析系統(tǒng)，該系統(tǒng)包括：存儲(chǔ)器及處理器，所述存儲(chǔ)器中包括基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法的程序，所述基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法的程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：構(gòu)seam-unet++圖像分割模型；構(gòu)建yolo-sem小目標(biāo)檢測(cè)算法模型；將熒光原位雜交圖像b通道原始圖像作為輸入，輸入至seam-unet++圖像分割模型中進(jìn)行分割，分割出每個(gè)細(xì)胞的輪廓，并將他們單獨(dú)提取出來(lái)，得到b通道的細(xì)胞精確分割圖；將熒光原位雜交圖像r通道原始圖像作為輸入，輸入至yolo-sem小目標(biāo)檢測(cè)算法模型中進(jìn)行檢測(cè)，得到紅色熒光探針?lè)植紙D；將熒光原位雜交圖像g通道原始圖像作為輸入，輸入至yolo-sem小目標(biāo)檢測(cè)算法模型中進(jìn)行檢測(cè)，得到綠色熒光探針?lè)植紙D；將得到的細(xì)胞精確分割圖、紅色熒光分布圖和綠色熒光分布圖合并為一張圖，得到細(xì)胞和探針?lè)植嫉年P(guān)系圖。

23、第三方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有程序代碼，所述程序代碼被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上所述的基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法的步驟。

24、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

25、本發(fā)明通過(guò)引入集成注意機(jī)制的seam-unet++算法，顯著提高了fish圖像中細(xì)胞輪廓的分割精度，能夠有效分割彼此粘附的細(xì)胞。同時(shí)，yolo-sem算法在低分辨率和噪聲圖像中顯著提高了小目標(biāo)的檢測(cè)精度。該方法大大減少了人工處理時(shí)間，減輕了研究人員因長(zhǎng)時(shí)間人工檢查圖像而造成的眼部疲勞，并提高了檢測(cè)的準(zhǔn)確性。此外，本發(fā)明的算法能夠有效處理復(fù)雜的圖像場(chǎng)景，支持多種醫(yī)學(xué)圖像的分析，提升了醫(yī)學(xué)診斷的效率，減少了人為誤差，并增強(qiáng)了科研和臨床應(yīng)用中的細(xì)胞分析和病理檢測(cè)能力。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法，其特征在于，包括以下具體步驟：

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法，其特征在于，所述seam-unet++分割模型按照?qǐng)D像的處理順序依次包括編碼器模塊、解碼器模塊、密集跳躍連接模塊和seam模塊；

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法，其特征在于，所述yolo-sem小目標(biāo)檢測(cè)算法模型包括特征提取網(wǎng)絡(luò)模塊、特征融合模塊以及檢測(cè)頭模塊，所述特征提取網(wǎng)絡(luò)模塊通過(guò)一系列卷積層逐步提取不同層級(jí)的特征信息，從輸入圖像中提取多尺度的語(yǔ)義特征，特征融合模塊通過(guò)特征金字塔將來(lái)自特征提取網(wǎng)絡(luò)模塊不同層級(jí)的特征整合起來(lái)，形成一種自上而下的特征融合方式，同時(shí)增強(qiáng)模型對(duì)多尺度目標(biāo)的感知能力用于對(duì)這些特征進(jìn)行融合，檢測(cè)頭模塊根據(jù)特征融合模塊融合后的特征生成目標(biāo)的邊界框和類別預(yù)測(cè)。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法，其特征在于，所述構(gòu)建seam-unet++圖像分割模型具體為，

5.一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析系統(tǒng)，其特征在于，該系統(tǒng)包括：存儲(chǔ)器及處理器，所述存儲(chǔ)器中包括基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法的程序，所述基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法的程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：構(gòu)seam-unet++圖像分割模型；構(gòu)建yolo-sem小目標(biāo)檢測(cè)算法模型；將熒光原位雜交圖像b通道原始圖像作為輸入，輸入至seam-unet++圖像分割模型中進(jìn)行分割，分割出每個(gè)細(xì)胞的輪廓，并將他們單獨(dú)提取出來(lái)，得到b通道的細(xì)胞精確分割圖；將熒光原位雜交圖像r通道原始圖像作為輸入，輸入至yolo-sem小目標(biāo)檢測(cè)算法模型中進(jìn)行檢測(cè)，得到紅色熒光探針?lè)植紙D；

6.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有程序代碼，所述程序代碼被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述的基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及一種基于深度學(xué)習(xí)的熒光原位雜交圖像結(jié)果分析方法、系統(tǒng)及介質(zhì)，方法包括構(gòu)建SEAM?Unet++圖像分割模型；構(gòu)建YOLO?SEM小目標(biāo)檢測(cè)算法模型；得到B通道的細(xì)胞精確分割圖；得到紅色熒光探針?lè)植紙D；得到綠色熒光探針?lè)植紙D；將得到的細(xì)胞精確分割圖、紅色熒光分布圖和綠色熒光分布圖合并為一張圖，得到細(xì)胞和探針?lè)植嫉年P(guān)系圖。本申請(qǐng)能夠有效處理復(fù)雜的圖像場(chǎng)景，支持多種醫(yī)學(xué)圖像的分析，提升了醫(yī)學(xué)診斷的效率，減少了人為誤差，并增強(qiáng)了科研和臨床應(yīng)用中的細(xì)胞分析和病理檢測(cè)能力。

技術(shù)研發(fā)人員：簡(jiǎn)子倪,宋天翔,張智慧,陳曉暢,王俞靜,曹瑞杰
受保護(hù)的技術(shù)使用者：武漢紡織大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15