本發(fā)明涉及深度學(xué)習(xí)圖像處理，尤其是涉及一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割模型及方法。

背景技術(shù)：

1、細(xì)胞核的檢測(cè)和分割對(duì)實(shí)現(xiàn)疾病診斷的自動(dòng)化以及開發(fā)用于臨床和醫(yī)療應(yīng)用的計(jì)算機(jī)輔助系統(tǒng)至關(guān)重要。顯微圖像中往往有成千上萬(wàn)的細(xì)胞核，對(duì)病理切片進(jìn)行自動(dòng)分析不僅可以減少病理學(xué)家的觀察偏差，還可以減輕他們的人工檢查工作量，并大大加快疾病診斷。準(zhǔn)確、快速地分割病理組織圖像中的細(xì)胞核是獲取其密度和位置信息的關(guān)鍵。從切片圖像中提取細(xì)胞核的形狀和空間分布特征是諾丁漢評(píng)分系統(tǒng)和細(xì)胞表型變異高內(nèi)涵篩選的關(guān)鍵因素，這需要對(duì)單個(gè)細(xì)胞核進(jìn)行持續(xù)觀察。此外，準(zhǔn)確識(shí)別和分類細(xì)胞核有助于確定分裂細(xì)胞的發(fā)育譜系，為疾病的發(fā)病機(jī)制提供重要見解，并有助于實(shí)施長(zhǎng)期有針對(duì)性的監(jiān)測(cè)和治療計(jì)劃以及進(jìn)行疾病預(yù)后。然而，測(cè)量數(shù)以萬(wàn)計(jì)的細(xì)胞核是一項(xiàng)巨大的挑戰(zhàn)，因?yàn)閱我活愋偷募?xì)胞實(shí)例的形狀和大小在不同區(qū)域有所不同。

2、近年來(lái)，深度學(xué)習(xí)方法因其在眾多計(jì)算機(jī)視覺任務(wù)中的出色表現(xiàn)而受到廣泛關(guān)注，并在計(jì)算機(jī)視覺和醫(yī)學(xué)圖像分析領(lǐng)域占據(jù)了主導(dǎo)地位。這一趨勢(shì)加速了醫(yī)學(xué)處理技術(shù)的進(jìn)步，為醫(yī)學(xué)研究和臨床應(yīng)用創(chuàng)造了更多機(jī)會(huì)。

3、目前定位細(xì)胞核的方法主要有兩種。一種是無(wú)框分割算法。首先將病理切片切成多個(gè)小塊，讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)每個(gè)塊中的細(xì)胞核信息，分離出細(xì)胞核掩模，并將它們合并成完整的切片。這限制了大切片圖像全局信息的獲取，并且需要復(fù)雜的后處理步驟。例如，kumar等人使用神經(jīng)網(wǎng)絡(luò)標(biāo)記細(xì)胞核和輪廓，然后使用區(qū)域增長(zhǎng)方法提取細(xì)胞核實(shí)例。graham等人使用水平和垂直方向上的像素到質(zhì)心距離圖來(lái)表示細(xì)胞核，并且需要復(fù)雜的分水嶺算法來(lái)分離細(xì)胞核實(shí)例。為了克服上述限制，許多研究者開始嘗試使用基于邊界框的實(shí)例分割模型。它可以捕捉細(xì)胞核的整體空間信息。一個(gè)值得注意的例子是mask?r-cnn，它可以通過(guò)實(shí)例邊界框提取單個(gè)細(xì)胞核掩模，無(wú)需復(fù)雜的后處理步驟。但是，在使用mask?r-cnn進(jìn)行檢測(cè)時(shí)，細(xì)胞核小而橢圓，其在特征圖中的表征不夠豐富，會(huì)出現(xiàn)誤檢或漏檢的情況，檢測(cè)精度低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割模型及方法，針對(duì)細(xì)胞核小而橢圓的形態(tài)進(jìn)行約束訓(xùn)練，加強(qiáng)了基于邊界框?qū)嵗指畹膱D像特征提取能力，更有效的分離粘連的細(xì)胞核，能夠提取出更多更完整的細(xì)胞核密度、形態(tài)和位置信息。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割模型，包括：

3、從淺到深窗口注意力機(jī)制特征提取模塊：基于窗口注意力集中從淺到深提取圖像特征；

4、長(zhǎng)距離特征依賴注意力融合模塊：使用卷積通道注意力與空間注意力關(guān)注圖像細(xì)節(jié)，長(zhǎng)距離的對(duì)提取的圖像特征進(jìn)行融合，挖掘圖像特征信息；

5、橢圓正則化模塊：在檢測(cè)頭部分以橢圓形的細(xì)胞核形狀對(duì)模型進(jìn)行正則化。

6、本發(fā)明還提供了一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割方法，步驟包括：

7、s1、將病理學(xué)細(xì)胞核圖像輸入到細(xì)胞核實(shí)例分割模型中，使用從淺到深窗口注意力機(jī)制特征提取模塊提取不同尺度下的細(xì)胞核圖像特征，得到不同尺度下的圖像特征；

8、s2、長(zhǎng)距離特征依賴注意力融合模塊對(duì)不同尺度下的圖像特征進(jìn)行融合和提取，并通過(guò)c2f模塊對(duì)特征進(jìn)一步融合，融合后傳輸?shù)椒指罘种Ш蜋z測(cè)頭分支，最終分別輸出細(xì)胞核的掩碼、位置信息、類別信息和掩碼系數(shù)信息；

9、s3、橢圓正則化模塊將輸出的細(xì)胞核位置信息與真實(shí)標(biāo)簽的細(xì)胞核位置信息以橢圓邊界框的方式計(jì)算它們的交并比，以交并比分值作為訓(xùn)練網(wǎng)絡(luò)模型的正則項(xiàng)和正樣本選擇；

10、s4、對(duì)細(xì)胞核實(shí)例分割模型進(jìn)行多輪訓(xùn)練并驗(yàn)證，保存模型在驗(yàn)證集最優(yōu)的一次訓(xùn)練網(wǎng)絡(luò)模型參數(shù)為.pth文件，并根據(jù)在驗(yàn)證集上的指標(biāo)調(diào)整網(wǎng)絡(luò)參數(shù)，得到最優(yōu)的細(xì)胞核檢測(cè)和分割效果。

11、優(yōu)選的，步驟s1中使用從淺到深窗口注意力機(jī)制特征提取模塊提取四個(gè)不同尺度下的細(xì)胞核圖像特征，四個(gè)圖像特征由大到小分別為c2、c3、c4和c5，其中，c2、c3和c4特征直接傳輸?shù)介L(zhǎng)距離特征依賴注意力融合模塊，c5特征經(jīng)具有空間金字塔的池化層進(jìn)一步特征提取后，再傳輸?shù)介L(zhǎng)距離特征依賴注意力融合模塊。

12、優(yōu)選的，步驟s2具體包括：

13、s21、長(zhǎng)距離特征依賴注意力融合模塊對(duì)c2、c3、c4和c5進(jìn)行特征提取和融合；

14、s22、將步驟s21中得到的圖像特征經(jīng)c2f模塊進(jìn)一步融合，豐富圖像輪廓特征語(yǔ)義信息；

15、s23、將經(jīng)過(guò)特征融合的c2圖像特征由分割分支輸出細(xì)胞核的掩碼圖像，由檢測(cè)頭分支輸出細(xì)胞核的位置信息、類別信息和掩碼系數(shù)信息；

16、s24、將經(jīng)過(guò)特征融合的c3和c4圖像特征由檢測(cè)頭分支輸出細(xì)胞核的位置信息、類別信息和掩碼系數(shù)信息。

17、優(yōu)選的，步驟s3中采用蒙特卡洛概率方法計(jì)算交并比。

18、優(yōu)選的，步驟s4中訓(xùn)練具體包括：

19、輸入訓(xùn)練數(shù)據(jù)集其中，n為訓(xùn)練數(shù)據(jù)集中圖像的數(shù)量，i為圖片的序號(hào)，pred為預(yù)測(cè)的細(xì)胞核信息，gt為細(xì)胞核的真實(shí)標(biāo)簽信息，訓(xùn)練損失函數(shù)為：

20、

21、其中，lbox表示橢圓形邊界框正則損失，lclass和lmask均為帶激活函數(shù)的二元交叉熵?fù)p失，ldfl分布焦點(diǎn)損失，用于在網(wǎng)絡(luò)訓(xùn)練過(guò)程中細(xì)化檢測(cè)物體的邊界框，alignedk為正樣本分?jǐn)?shù)，λ對(duì)應(yīng)的損失函數(shù)權(quán)重系數(shù)，k為正樣本個(gè)數(shù)。

22、因此，本發(fā)明采用上述的一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割模型及方法，具有以下有益效果：

23、(1)病理學(xué)細(xì)胞核圖像輸入到模型中，能基于全局對(duì)橢圓形細(xì)胞核進(jìn)行實(shí)例分割，同時(shí)模型能夠快速地對(duì)病理圖像細(xì)胞核進(jìn)行檢測(cè)和計(jì)數(shù)；

24、(2)本發(fā)明模型可以嵌入到現(xiàn)有的基于物體檢測(cè)框的實(shí)例分割模型中，使其關(guān)注橢圓細(xì)胞核形狀，增強(qiáng)檢測(cè)精度；

25、(3)針對(duì)細(xì)胞核小而橢圓的形態(tài)進(jìn)行約束訓(xùn)練，加強(qiáng)了基于邊界框?qū)嵗指畹膱D像特征提取能力，更有效的分離粘連的細(xì)胞核，能夠提取出更多更完整的細(xì)胞核密度、形態(tài)和位置信息。

26、下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

技術(shù)特征：

1.一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割模型，其特征在于，包括：

2.一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割方法，應(yīng)用權(quán)利要求1所述的一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割模型，其特征在于，步驟包括：

3.根據(jù)權(quán)利要求2所述的一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割方法，其特征在于：步驟s1中使用從淺到深窗口注意力機(jī)制特征提取模塊提取四個(gè)不同尺度下的細(xì)胞核圖像特征，四個(gè)圖像特征由大到小分別為c2、c3、c4和c5，其中，c2、c3和c4特征直接傳輸?shù)介L(zhǎng)距離特征依賴注意力融合模塊，c5特征經(jīng)具有空間金字塔的池化層進(jìn)一步特征提取后，再傳輸?shù)介L(zhǎng)距離特征依賴注意力融合模塊。

4.根據(jù)權(quán)利要求3所述的一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割方法，其特征在于，步驟s2具體包括：

5.根據(jù)權(quán)利要求2所述的一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割方法，其特征在于：步驟s3中采用蒙特卡洛概率方法計(jì)算交并比。

6.根據(jù)權(quán)利要求2所述的一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割方法，其特征在于，步驟s4中訓(xùn)練具體包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于注意力和橢圓正則的細(xì)胞核實(shí)例分割模型及方法，屬于深度學(xué)習(xí)圖像處理技術(shù)領(lǐng)域，模型包括從淺到深窗口注意力機(jī)制特征提取模塊、長(zhǎng)距離特征依賴注意力融合模塊和橢圓正則化模塊，輸入圖像通過(guò)從淺到深窗口注意力機(jī)制特征提取模塊進(jìn)行提取特征，然后由長(zhǎng)距離特征依賴注意力特征融合，最后通過(guò)橢圓正則化模塊約束模型。本發(fā)明采用上述實(shí)例分割模型及方法，針對(duì)細(xì)胞核小而橢圓的形態(tài)進(jìn)行約束訓(xùn)練，加強(qiáng)了基于邊界框?qū)嵗指畹膱D像特征提取能力，更有效的分離粘連的細(xì)胞核，能夠提取出更多更完整的細(xì)胞核密度、形態(tài)和位置信息。

技術(shù)研發(fā)人員：鄭虹,黃祖沛,張凈
受保護(hù)的技術(shù)使用者：桂林電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15