本通常涉及用于對(duì)未染色(即，未標(biāo)記)的組織成像的方法和系統(tǒng)。特別地，本涉及利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對(duì)未染色或未標(biāo)記組織的圖像進(jìn)行數(shù)字或虛擬染色的顯微鏡方法和系統(tǒng)。神經(jīng)網(wǎng)絡(luò)中的深度學(xué)習(xí)(一類機(jī)器學(xué)習(xí)算法)用于將未標(biāo)記的組織切片的圖像數(shù)字化染色為等效于被染色或標(biāo)記的同一樣本的顯微鏡圖像的圖像。

背景技術(shù)：

1、組織樣本的顯微成像是用于診斷各種疾病的基本工具，并且形成了病理學(xué)和生物學(xué)的主要工具。臨床上確定的組織切片金標(biāo)準(zhǔn)圖像是一個(gè)艱苦的過(guò)程的結(jié)果，該過(guò)程包括將組織標(biāo)本用福爾馬林固定的石蠟包埋(ffpe)，切成薄片(通常約2-10μm)，標(biāo)記/染色并安裝在載玻片上，然后使用例如明場(chǎng)顯微鏡對(duì)其進(jìn)行顯微成像。所有這些步驟使用多種試劑，并在組織上產(chǎn)生不可逆的作用。最近有努力使用不同的成像方式來(lái)改變?cè)摴ぷ髁鞒?。已?jīng)嘗試使用基于例如雙光子熒光、二次諧波產(chǎn)生、三次諧波產(chǎn)生以及拉曼散射的非線性顯微鏡方法對(duì)新鮮的、未經(jīng)石蠟包埋的組織樣本進(jìn)行成像。其他嘗試使用可控的超連續(xù)譜源來(lái)獲取多模式圖像，以對(duì)新鮮組織樣本進(jìn)行化學(xué)分析。這些方法需要使用超快激光或超連續(xù)光源，在大多數(shù)情況下可能不易使用，并且由于光信號(hào)較弱而需要較長(zhǎng)的掃描時(shí)間。除此之外，通過(guò)對(duì)染色樣本進(jìn)行紫外激發(fā)或利用生物組織在短波長(zhǎng)下的熒光發(fā)射，還出現(xiàn)了其他顯微方法，用于對(duì)未切片的組織樣本進(jìn)行成像。

2、實(shí)際上，熒光信號(hào)通過(guò)利用從內(nèi)源性熒光發(fā)出的熒光為成像組織樣本創(chuàng)造了一些獨(dú)特的機(jī)會(huì)。已經(jīng)證明，這種內(nèi)源性熒光標(biāo)記攜帶有用的信息，這些信息可被映射到生物樣本的功能和結(jié)構(gòu)特性，并因此已被廣泛用于診斷和研究目的。這些努力的主要重點(diǎn)領(lǐng)域之一是在不同條件下對(duì)不同生物分子及其結(jié)構(gòu)特性之間關(guān)系的光譜研究。這些充分表征的生物成分中的一些包括維生素(例如，維生素a、核黃素、硫胺素)、膠原蛋白、輔酶、脂肪酸等。

3、盡管上面討論的一些技術(shù)具有使用各種對(duì)比機(jī)制來(lái)區(qū)分例如組織樣本中的細(xì)胞類型和亞細(xì)胞組成的獨(dú)特能力，但是，病理學(xué)家和腫瘤分類軟件一般都接受過(guò)檢查“金標(biāo)準(zhǔn)”染色組織樣本以作出診斷決定的訓(xùn)練。出于這一點(diǎn)的部分動(dòng)機(jī)，上面提到的一些技術(shù)已經(jīng)得到增強(qiáng)，可以創(chuàng)建偽蘇木和曙紅(h&e)圖像，它們基于線性近似，該線性近似將圖像的熒光強(qiáng)度與每組織體積的染料濃度相關(guān)聯(lián)，使用經(jīng)驗(yàn)確定的常數(shù)來(lái)表示嵌入組織中的各種染料的平均光譜響應(yīng)。這些方法還使用外源性染色來(lái)增強(qiáng)熒光信號(hào)的對(duì)比度，以創(chuàng)建組織樣本的虛擬h&e圖像。

技術(shù)實(shí)現(xiàn)思路

1、在一個(gè)實(shí)施例中，提供了一種利用經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的系統(tǒng)和方法，該網(wǎng)絡(luò)用于使用從化學(xué)未染色組織(或其他樣本)獲得的熒光圖像，進(jìn)行無(wú)標(biāo)記的薄組織切片或其他樣本的數(shù)字或虛擬染色。化學(xué)未染色的組織是指缺乏用于組織化學(xué)染色的標(biāo)準(zhǔn)染色劑或標(biāo)記物?；瘜W(xué)未染色的組織的熒光可以包括來(lái)自自然發(fā)生或內(nèi)源性的熒光或其他內(nèi)源性光發(fā)射器的組織的自發(fā)熒光，該光的頻率不同于照明頻率(即頻移光)?；瘜W(xué)未染色的組織的熒光可以進(jìn)一步包括來(lái)自外源添加的熒光標(biāo)記或其他外源光發(fā)射器的組織的熒光。用熒光顯微鏡如寬視野熒光顯微鏡(或標(biāo)準(zhǔn)熒光顯微鏡)對(duì)樣本成像。顯微鏡可以利用標(biāo)準(zhǔn)的近紫外激發(fā)/發(fā)射濾光片組或本領(lǐng)域技術(shù)人員已知的其他激發(fā)/發(fā)射光源/濾光片組。在一些實(shí)施例中，在優(yōu)選實(shí)施方案中，通過(guò)使用經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，對(duì)樣本獲得的單個(gè)熒光圖像進(jìn)行數(shù)字或虛擬染色。

2、在一個(gè)實(shí)施例中，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)(cnn)，其使用生成對(duì)抗網(wǎng)絡(luò)(gan)模型進(jìn)行訓(xùn)練，以在組織樣本上用某種組織染色劑標(biāo)記后，匹配相應(yīng)的組織樣本的明場(chǎng)顯微圖像。在該實(shí)施例中，未染色的樣本(例如，組織)的熒光圖像被輸入到經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中以產(chǎn)生數(shù)字染色圖像。因此，在該實(shí)施例中，組織化學(xué)染色和明場(chǎng)成像步驟完全被生成數(shù)字染色圖像的經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的使用所代替。如本文中所解釋的，在一些實(shí)施例中，使用標(biāo)準(zhǔn)臺(tái)式計(jì)算機(jī)，使用例如40倍物鏡的約0.33mm×0.33mm的成像視野，由經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)執(zhí)行的網(wǎng)絡(luò)推斷速度不到一秒。使用20倍物鏡掃描組織，網(wǎng)絡(luò)推斷時(shí)間達(dá)到1.9秒/mm2。

3、通過(guò)對(duì)包括唾液腺、甲狀腺、腎臟、肝、肺和皮膚的未標(biāo)記的人類組織樣本進(jìn)行成像，已證明了使用自發(fā)熒光的基于深度學(xué)習(xí)的數(shù)字/虛擬組織學(xué)染色方法，其中，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)輸出可以創(chuàng)建與標(biāo)有三種不同色斑的同一樣本的圖像基本匹配的等效的圖像，即h&e(唾液腺和甲狀腺)、瓊斯色斑(腎臟)和馬松三色的三色(肝和肺)。由于經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的輸入圖像是由帶有標(biāo)準(zhǔn)濾光片組的常規(guī)熒光顯微鏡捕獲的，因此該方法具有將未染色的組織樣本用于病理學(xué)和組織學(xué)應(yīng)用的變革潛力，完全繞開(kāi)了組織化學(xué)染色過(guò)程，節(jié)省了時(shí)間和隨之而來(lái)的成本。這包括染色過(guò)程中涉及的人工成本、試劑、額外時(shí)間等。例如，對(duì)于使用本文所述的數(shù)字或虛擬染色過(guò)程近似的組織學(xué)染色，組織切片的每個(gè)染色過(guò)程平均需要約45分鐘(h&e)和2-3小時(shí)(馬松三色的三色和瓊斯染色)，h&e的估計(jì)成本(包括人工)為2-5美元，而馬松三色的三色和瓊斯染色則為16-35美元以上。此外，這些組織化學(xué)染色過(guò)程中的一些需要時(shí)間敏感的步驟，要求專家在顯微鏡下監(jiān)視該過(guò)程，這不僅使整個(gè)過(guò)程冗長(zhǎng)且相對(duì)昂貴，而且費(fèi)力。本文公開(kāi)的系統(tǒng)和方法繞過(guò)了所有這些染色步驟，并且還允許保存未標(biāo)記的組織切片以供以后分析，例如未染色組織標(biāo)本上感興趣的亞區(qū)域的微標(biāo)記，可用于更高級(jí)的免疫化學(xué)和分子分析，以促進(jìn)例如定制治療。此外，一組病理學(xué)家盲評(píng)了該方法對(duì)與其中一些樣本相對(duì)應(yīng)的全玻片圖像(wsi)的染色效果，他們能夠使用數(shù)字/虛擬染色技術(shù)識(shí)別組織病理學(xué)特征，與同一樣本的組織學(xué)染色圖像高度吻合。

4、此外，這種基于深度學(xué)習(xí)的數(shù)字/虛擬組織學(xué)染色框架可以廣泛地應(yīng)用于其他激發(fā)波長(zhǎng)或熒光濾光片組，以及應(yīng)用于利用其他內(nèi)源性對(duì)比機(jī)制的其他顯微術(shù)形式(例如非線性顯微術(shù))。在實(shí)驗(yàn)中，將切片和固定的組織樣本用于與標(biāo)準(zhǔn)組織化學(xué)染色過(guò)程的結(jié)果進(jìn)行有意義的比較。但是，提出的方法也適用于未固定、未切片的組織樣本，可使其適用于手術(shù)室或活檢部位，以進(jìn)行快速診斷或遠(yuǎn)距病理學(xué)應(yīng)用。除了其臨床應(yīng)用，該方法還可以廣泛地有益于組織學(xué)領(lǐng)域及其在生命科學(xué)研究和教育中的應(yīng)用。

5、在一個(gè)實(shí)施例中，一種生成未標(biāo)記樣本的數(shù)字染色顯微圖像的方法，包括：利用使用計(jì)算設(shè)備的一個(gè)或多個(gè)處理器由圖像處理軟件運(yùn)行的經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，其中，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)用同一樣本的多個(gè)匹配的化學(xué)染色圖像或圖像斑塊和它們的相應(yīng)熒光圖像或圖像斑塊來(lái)訓(xùn)練。未標(biāo)記樣本可以包括組織、細(xì)胞、病原體、生物體液涂片或其他感興趣的微對(duì)象。在一些實(shí)施例中，可以使用一種或多種組織類型/化學(xué)染色類型的組合來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。例如，這可以包括具有染色劑#1、染色劑#2、染色劑#3等的組織類型a。在一些實(shí)施例中，可以使用已經(jīng)被多種染色劑染色的組織來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。

6、樣本的熒光圖像被輸入到經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)。然后，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)會(huì)基于輸入的樣本熒光圖像輸出樣本的數(shù)字染色顯微圖像。在一個(gè)實(shí)施例中，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)(cnn)。這可以包括使用生成對(duì)抗網(wǎng)絡(luò)(gan)模型的cnn。使用熒光顯微鏡和激發(fā)光源(例如，紫外線或近紫外線發(fā)射光源)獲得樣本的熒光輸入圖像。在一些替代實(shí)施例中，多個(gè)熒光圖像被輸入到經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中。例如，可以以第一濾波的波長(zhǎng)或波長(zhǎng)范圍獲得一個(gè)熒光圖像，而可以在第二濾波的波長(zhǎng)或波長(zhǎng)范圍獲得另一熒光圖像。然后將這兩個(gè)熒光圖像輸入到經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中，以輸出單個(gè)數(shù)字/虛擬染色的圖像。在另一實(shí)施例中，可以對(duì)獲得的熒光圖像進(jìn)行選自對(duì)比度增強(qiáng)、對(duì)比度反轉(zhuǎn)、圖像濾波的一種或多種線性或非線性預(yù)處理操作，這些預(yù)處理操作可以單獨(dú)或與所獲得的熒光圖像一起輸入到經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中。

7、例如，在另一實(shí)施例中，一種生成未標(biāo)記樣本的數(shù)字染色顯微圖像的方法，包括：提供使用計(jì)算設(shè)備的一個(gè)或多個(gè)處理器由圖像處理軟件執(zhí)行的經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，其中，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)用同一樣本的多個(gè)匹配的化學(xué)染色圖像或圖像斑塊和它們的相應(yīng)熒光圖像或圖像斑塊來(lái)訓(xùn)練。使用熒光顯微鏡獲得樣本的第一熒光圖像，并且其中，樣本內(nèi)移頻光的內(nèi)源性熒光或其他內(nèi)源性發(fā)射器發(fā)射第一發(fā)射波長(zhǎng)或波長(zhǎng)范圍的熒光。使用熒光顯微鏡獲得樣本的第二熒光圖像，并且其中，樣本內(nèi)移頻光的內(nèi)源性熒光或其他內(nèi)源性發(fā)射器發(fā)射第二發(fā)射波長(zhǎng)或波長(zhǎng)范圍的熒光?？梢酝ㄟ^(guò)使用不同的激發(fā)/發(fā)射波長(zhǎng)組合來(lái)獲得第一熒光圖像和第二熒光圖像。然后將樣本的第一熒光圖像和第二熒光圖像輸入到經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，該經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)輸出樣本的數(shù)字染色顯微圖像，該數(shù)字染色顯微圖像基本上等同于已經(jīng)被化學(xué)染色的同一樣本的相應(yīng)明場(chǎng)圖像。

8、在另一實(shí)施例中，一種用于生成化學(xué)未染色樣本的數(shù)字染色顯微圖像的系統(tǒng)，包括具有在其上執(zhí)行或由其執(zhí)行圖像處理軟件的計(jì)算設(shè)備，圖像處理軟件包括使用計(jì)算設(shè)備的一個(gè)或多個(gè)處理器執(zhí)行的經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)。經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)用同一樣本的多個(gè)匹配的化學(xué)染色圖像或圖像斑塊和它們的相應(yīng)熒光圖像或圖像斑塊來(lái)訓(xùn)練。圖像處理軟件被配置為接收樣本的一個(gè)或多個(gè)熒光圖像并輸出樣本的數(shù)字染色顯微圖像，該數(shù)字染色顯微圖像基本上等同于已經(jīng)被化學(xué)染色的同一樣本的相應(yīng)明場(chǎng)圖像。