本發(fā)明涉及用于檢測樣本圖像中形態(tài)異常細胞的存在的計算機實現(xiàn)方法和相關(guān)系統(tǒng)。

背景技術(shù)：

1、為了訓練深度神經(jīng)網(wǎng)絡(luò)以識別圖像內(nèi)的實體并準確地標識它們，需要訓練數(shù)據(jù)(由細胞圖像和類型標簽組成)來建立真實值。

2、在血液學的情況下，存在特定的目標以區(qū)分健康白細胞(正常細胞)與不健康白細胞(異常細胞，可以是惡性的或良性的)。

3、雖然可以從常見異常(常見白血病、感染等)中收集足夠的數(shù)據(jù)，但不可能從罕見疾病中收集足夠的數(shù)據(jù)。罕見病癥可能導致明顯不同的細胞外觀，因此，未經(jīng)這些罕見外觀訓練的神經(jīng)網(wǎng)絡(luò)無法高精度地進行細胞分類。

4、本發(fā)明解決了這些問題。

技術(shù)實現(xiàn)思路

1、在高水平上，本發(fā)明提供了一種通過檢測樣本圖像中存在無法以預定置信度分數(shù)標識或無法以低于預定不確定性分數(shù)標識的閾值數(shù)目的細胞來檢測具有形態(tài)異常的細胞群的存在的計算機實現(xiàn)方法。樣品中不能輕易地標識的細胞群的增加是具有形態(tài)異常的細胞的存在的指示符。由本發(fā)明提供的計算機實現(xiàn)方法是有利的，因為這意味著可以檢測形態(tài)異常細胞群的存在，而無需在域外數(shù)據(jù)上訓練分析模型(例如機器學習模型)。本發(fā)明的計算機實現(xiàn)方法也不需要對現(xiàn)有的“香草(vanilla)”模型進行任何修改。

2、更具體地，本發(fā)明的第一方面提供了一種檢測樣本圖像中形態(tài)異常細胞的存在的計算機實現(xiàn)方法，該計算機實現(xiàn)方法包括：接收代表樣本圖像的電子圖像數(shù)據(jù)，該樣本圖像描繪多個細胞；將分析模型應用于圖像數(shù)據(jù)的多個子集的每一個，每個子集對應于樣本圖像的描繪單個細胞的相應部分，該分析模型被配置為針對圖像數(shù)據(jù)的每個子集來輸出：參數(shù)化細胞的屬性的值；以及與該值相關(guān)聯(lián)的置信度分數(shù)或不確定性分數(shù)，從而生成包括多個置信度分數(shù)或多個不確定性分數(shù)的輸出數(shù)據(jù)；以及基于輸出數(shù)據(jù)確定樣本圖像中是否可能存在一個或多個形態(tài)異常細胞。

3、在此，“可能存在”可被理解為意指“存在”。在一些情況下，計算機實現(xiàn)方法可以包括確定是否滿足預定異常標準，而不是主動確定存在形態(tài)異常細胞的可能性。當滿足預定異常標準時，這可能指示形態(tài)異常細胞的存在是可能的，或者存在形態(tài)異常細胞。在確定是否存在形態(tài)異常細胞或是否滿足預定異常標準之后，計算機實現(xiàn)方法可以進一步包括生成指示確定的結(jié)果的輸出。生成輸出可以包括生成指令，該指令在由計算設(shè)備的顯示部件執(zhí)行時使顯示部件顯示確定的結(jié)果的視覺指示。替代地或另外地，計算機實現(xiàn)方法可以包括將輸出傳輸?shù)酵ㄟ^臨床計算機系統(tǒng)可訪問的數(shù)據(jù)庫。

4、在確定滿足異常標準或形態(tài)異常細胞的存在是可能的情況下，輸出優(yōu)選地包括標記。標記可以被添加到代表樣本圖像的電子圖像數(shù)據(jù)。標記不一定是樣本圖像中存在形態(tài)異常細胞的具體指示，但它向臨床醫(yī)生標記樣本圖像需要進一步注意。

5、然而，在臨床環(huán)境中，出于多種原因，只需將結(jié)果標記給臨床醫(yī)生，而不是進行自動診斷。本發(fā)明的計算機實現(xiàn)方法可以包括響應于確定可能存在一個或多個形態(tài)異常細胞，生成標記。

6、在本技術(shù)的上下文中，術(shù)語“值”不僅可以指數(shù)值，而且可以指非數(shù)值，諸如分類輸出(具體內(nèi)容將在下文詳述)，其可以是指示特定分類的數(shù)值的形式，或者替代地是文本輸出的形式。

7、本文中，“形態(tài)異常細胞”是其物理結(jié)構(gòu)不同于正常細胞結(jié)構(gòu)的細胞，使得其在樣本圖像中的外觀不同于正?；颉敖】怠奔毎ＴS多疾病或其他病癥可以通過此類形態(tài)異常的存在來檢測。因此，本發(fā)明可用于檢測或幫助引起形態(tài)異常的那些病癥的檢測。然而，應當理解，本發(fā)明不太可能應用于檢測除細胞中的形態(tài)異常之外引起異常的病癥。此類病癥的檢測不在本專利申請的范圍內(nèi)。

8、在本發(fā)明的上下文中，“樣本圖像”是描繪人或動物組織的圖像。圖像可以例如從顯微鏡或其他成像設(shè)備獲得。樣本圖像被描述為描繪多個細胞。因此，樣本圖像優(yōu)選地處于使細胞能夠通過例如成像處理算法單獨分辨的放大倍率。樣本圖像可以是從人或動物受試者獲得的體液或組織的樣品的載玻片的圖像。體液可以為血液，并且因此，異?？梢詾檠簩W異常。血液不是本發(fā)明的計算機實現(xiàn)方法可用于實現(xiàn)臨床上有意義的結(jié)果的唯一體液。例如，體液可以包括受試者的組織/器官的樣品和/或由受試者的組織/器官產(chǎn)生的產(chǎn)物的樣品。由受試者的組織/器官產(chǎn)生的產(chǎn)物可以例如是分泌產(chǎn)物(例如腺體分泌物、乳汁、初乳、眼淚、唾液、汗液、耵聹、粘液)、痰、精液、陰道液/宮頸液、血液(血漿、血清)、腦脊液(csf)、排泄產(chǎn)物、糞便或尿液、皮膚或頭發(fā)。

9、本發(fā)明第一方面的計算機實現(xiàn)方法包括分析模型的應用。本文中，術(shù)語“分析模型”可以指被配置成針對至少一個狀態(tài)變量確定至少一個目標變量的數(shù)學模型。術(shù)語“目標變量”可以指待預測的臨床值。待預測的目標變量值可以取決于其存在或狀態(tài)待預測的疾病或病癥。該目標變量可以為數(shù)值變量或分類變量。例如，該目標變量可為分類變量，并且在存在疾病的情況下可為“陽性”，或在不存在疾病的情況下可為“陰性”。在其他情況下，目標變量可以指細胞類型的分類(具體內(nèi)容將在下文詳述)。該目標變量可以為數(shù)值變量，諸如至少一個值和/或標度值。

10、該分析模型可以是回歸模型或分類模型。在本技術(shù)的上下文中，術(shù)語“回歸模型”可以用來指一種分析模型，其輸出是一定范圍內(nèi)的數(shù)值。例如，在本例中，此類回歸模型的輸出可以為數(shù)值。在其他情況下，分析模型可以為分割模型，其輸出是對例如單個像素相關(guān)的樣本圖像的片段的指示。

11、在本技術(shù)的上下文中，術(shù)語“分類模型”可以用于指一種分析模型，其輸出是指示圖像數(shù)據(jù)的每個子集中所描繪的細胞的類型的相應分類或分數(shù)。為了完整性，我們注意到，當分析模型是分類模型時，“參數(shù)化細胞的屬性的值”可以是指示細胞的類型(即，細胞的“屬性”為細胞類型)的數(shù)字或文本輸出。

12、具體地，分析模型可以是被訓練以輸出指示在圖像數(shù)據(jù)的給定子集中描繪的細胞的類型的相應結(jié)果的機器學習模型。機器學習模型可以是回歸模型或分類模型，如先前所定義的。優(yōu)選地使用監(jiān)督學習來訓練機器學習模型。機器學習模型可以包括神經(jīng)網(wǎng)絡(luò)諸如卷積神經(jīng)網(wǎng)絡(luò)。

13、在優(yōu)選的實施方式中，分析模型為基于神經(jīng)網(wǎng)絡(luò)(諸如卷積神經(jīng)網(wǎng)絡(luò)和/或深度神經(jīng)網(wǎng)絡(luò))的分類模型。在這些情況下，分類模型優(yōu)選地已進行訓練以基于代表細胞的電子圖像的數(shù)據(jù)將細胞分類為多種細胞類型中的一種。例如，分類模型可被配置為將細胞分類為多種類型的白細胞(例如至少如下：嗜中性粒細胞；淋巴細胞；單核細胞；嗜酸性粒細胞；和嗜堿性粒細胞)中的一種。優(yōu)選地，分類模型已進行訓練，該訓練使用訓練數(shù)據(jù)，該訓練數(shù)據(jù)包括正常或健康細胞的多個圖像，每個圖像與指示細胞的類型的標簽相關(guān)聯(lián)。這表明分類模型(或更一般地，分析模型)不需要對形態(tài)異常細胞進行訓練。

14、分析模型可以包括多個分析子模型，多個分析子模型中的每一個可以采取前兩段中概述的機器學習模型的形式。

15、置信度分數(shù)和不確定性分數(shù)的概念是本發(fā)明的核心。這些術(shù)語在統(tǒng)計學中是眾所周知的，并且在機器學習領(lǐng)域也是如此。本發(fā)明適用于分析模型能夠建立正常樣品(即健康或正常細胞)分布的所有情況。這是因為對分布的了解能夠計算不確定性分數(shù)或置信度分數(shù)。事實上，許多分析模型除了通常的輸出值之外，還能夠計算不確定性或置信度分數(shù)。

16、不同的分析模型(諸如機器學習模型)報告了不同的不確定性。在根據(jù)本發(fā)明的計算機實現(xiàn)方法中，感興趣的是由數(shù)據(jù)點離訓練數(shù)據(jù)太遠而無法可靠分類的事實引起的預測不確定性，稱為認知不確定性1。

17、一般來說，不確定性可以量化為通過模型報告的預測分布內(nèi)的分歧的量。為此，方差或標準偏差是常見的臨時選擇。理論上依據(jù)充分的方法是將不確定性定義為模型參數(shù)與輸出之間的相互信息2。

18、預測分布可以通過使用模型的集成來近似3。使用模型的集成一般可以指組合被訓練以執(zhí)行相同任務(wù)的模型的過程(在本例中，對具有相同類別

19、

20、的圖像進行分類)。一般而言，使用集成和組合不同模型的輸出通常是為了提高準確性，因為當適當組合輸出時，不同模型產(chǎn)生的非相關(guān)錯誤會抵消。然而，在本例中，可以使用集成來獲得集成中各種子模型之間的分歧的度量，見下文。如果集成中各個模型的集成預測在很大程度上不一致，這指示數(shù)據(jù)點距離訓練數(shù)據(jù)更遠，并且因此應分配高的認知不確定性。相反，如果集成中的模型一致，則指示數(shù)據(jù)點接近訓練集，并且因此具有低的認知不確定性。

21、更具體地，在本上下文中，集成的使用可以指其中若干分析子模型各自被用于獲得相應輸出的過程。然后可以組合輸出，并且輸出的方差或標準偏差(或其他信息理論度量)可以用作不確定性分數(shù)。更具體地，將分析模型應用于圖像數(shù)據(jù)的多個子集中的每一個可以包括將多個分析子模型(或分析子模型的集成)應用于圖像數(shù)據(jù)的每個子集。然后，多個分析子模型中的每個分析子模型可以被配置為(針對圖像數(shù)據(jù)的每個子集)輸出相應的多個值，相應的多個值各自參數(shù)化細胞的屬性。將分析模型應用于圖像數(shù)據(jù)的多個子集中的每一個可以進一步包括針對輸出的多個值中的每一者確定指示多個值中的置信度或不確定性的統(tǒng)計屬性。統(tǒng)計屬性可以為方差或標準偏差，或其他信息理論參數(shù)。分析子模型中的每一個可以是相同類型的，并且在相同的訓練數(shù)據(jù)上進行訓練。為了確保分析子模型的集成不完全相同(在這種情況下，不可能獲得有意義的不確定性分數(shù))，優(yōu)選的是，多個分析子模型中的每個分析子模型至少通過在訓練前隨機用于初始化模型的初始隨機種子而有所不同。

22、在一些情況下，各種分析子模型可以不是相同類型，例如，一些分析子模型可以是卷積神經(jīng)網(wǎng)絡(luò)，并且一些可以是轉(zhuǎn)換器等。不同類型的子模型可以在相同或不同的訓練數(shù)據(jù)集上訓練。然而，不同類型的子模型都是在相同任務(wù)上訓練的(即分類為相同類別)。

23、預測分布也可以通過其他方式近似，例如通過使用丟棄法(dropout)。在機器學習的上下文中，術(shù)語“丟棄法”用于指隨機忽略(即,丟棄)一些神經(jīng)元的過程。丟棄法以及集成可以用作貝葉斯神經(jīng)網(wǎng)絡(luò)的近似值4。

24、

25、如果每個數(shù)據(jù)點的不確定性不夠準確，則可以確定模型是否有足夠的信心基于語義上有意義的數(shù)據(jù)點的集合(諸如來自相同樣品的細胞的圖像)做出決策。在血液學的情況下，如果模型報告載玻片上針對足夠的細胞的不確定性升高，則將決定是否應標記樣品。

26、我們現(xiàn)在考慮如何使用不確定性/置信度分數(shù)來檢測形態(tài)異常細胞的存在。本發(fā)明的核心概念是使用不確定性或置信度分數(shù)來標識形態(tài)異常細胞群的能力，即使在不存在涵蓋形態(tài)異常細胞的訓練數(shù)據(jù)的情況下也是如此。輸出數(shù)據(jù)包括多個置信度分數(shù)或多個不確定性分數(shù)，其可以使用前面幾段中解釋的過程來計算。已經(jīng)觀察到，在描繪含有形態(tài)異常細胞的樣品的樣本圖像中，置信度分數(shù)降低或不確定性分數(shù)增加的數(shù)量或比例增加。這是因為分析模型尚未經(jīng)訓練以基于此類形態(tài)異常細胞生成輸出值。

27、在一些情況下，計算機實現(xiàn)方法可包括檢測圖像數(shù)據(jù)的一個或多個子集基于為圖像數(shù)據(jù)的一個或多個子集中的每一個計算的各自的不確定性分數(shù)或置信度分數(shù)表示形態(tài)異常細胞。例如，針對數(shù)據(jù)的給定的子集，計算機實現(xiàn)方法可以包括確定相對于圖像數(shù)據(jù)的該子集生成的不確定性分數(shù)是否超過預定最大不確定性閾值。并且，如果確定不確定性分數(shù)超過預定最大不確定性閾值，則確定由圖像數(shù)據(jù)的給定子集代表的細胞形態(tài)異常。類似地，針對數(shù)據(jù)的給定的子集，計算機實現(xiàn)方法可以包括確定相對于圖像數(shù)據(jù)的子集生成的置信度分數(shù)是否小于預定最小置信度閾值。并且，如果確定不確定性分數(shù)小于預定最小置信度閾值，則確定由圖像數(shù)據(jù)的給定的子集代表的細胞形態(tài)異常。

28、當人或動物受試者患有導致形態(tài)異常細胞的存在的病癥時，樣本圖像將可能包括多個此類細胞。因此，除了基于與單獨細胞相關(guān)聯(lián)的置信度或不確定性分數(shù)檢測形態(tài)異常之外，還可以采用統(tǒng)計方法，其中考慮針對樣本圖像中描繪的整個細胞群的不確定性分數(shù)或置信度分數(shù)的直方圖。在這些情況下，計算機實現(xiàn)方法可以檢測形態(tài)異常細胞的子集的存在，而不必標識顯示異常的特定細胞。

29、因此，確定是否可能存在異常可以包括：確定輸出數(shù)據(jù)中小于預定最小置信度閾值的置信度分數(shù)的比例；以及基于小于預定最小置信度閾值的置信度分數(shù)的比例來確定是否可能存在一個或多個形態(tài)異常細胞。因此，計算機實現(xiàn)方法可以包括：確定輸出數(shù)據(jù)中小于預定最小置信度閾值的置信度分數(shù)的比例；以及基于小于預定最小置信度閾值的置信度分數(shù)的比例來確定是否可能存在一個或多個形態(tài)異常細胞。確定輸出數(shù)據(jù)中小于預定置信度閾值的置信度分數(shù)的比例可以包括：針對數(shù)據(jù)的每個子集，確定置信度分數(shù)是否小于或等于預定最小置信度閾值；計數(shù)置信度分數(shù)小于或等于預定最小置信度閾值的數(shù)據(jù)的子集的數(shù)量；以及將經(jīng)計數(shù)的數(shù)量除以數(shù)據(jù)的子集的總數(shù)量?；谛∮陬A定最小置信度閾值的置信度評分的比例來確定是否可能存在一個或多個形態(tài)學異常細胞可包括：確定置信度分數(shù)的比例是否超過預定閾值比例；以及如果確定置信度分數(shù)的比例超過預定閾值比例，則確定樣本圖像中形態(tài)學異常細胞的存在是可能的。

30、可以使用不確定性分數(shù)而不是置信度分數(shù)來執(zhí)行類似的過程。

31、具體地，確定是否可能存在異?？梢园ǎ捍_定輸出數(shù)據(jù)中超過預定最大不確定性閾值的不確定性分數(shù)的比例；以及基于超過預定最大不確定性閾值的不確定性分數(shù)的比例來確定是否可能存在一個或多個形態(tài)異常細胞。因此，計算機實現(xiàn)方法可以包括：確定輸出數(shù)據(jù)中超過預定最大不確定性閾值的不確定性分數(shù)的比例；以及基于超過預定最大不確定性閾值的不確定性分數(shù)的比例來確定是否可能存在一個或多個形態(tài)異常細胞。確定輸出數(shù)據(jù)中超過預定最大不確定性閾值的不確定性分數(shù)的比例可以包括：針對數(shù)據(jù)的每個子集，確定置信度分數(shù)是否超過預定最大不確定性閾值；計數(shù)不確定性分數(shù)超過預定最大不確定性閾值的數(shù)據(jù)子集的數(shù)量；以及將經(jīng)計數(shù)的數(shù)量除以數(shù)據(jù)的子集的總數(shù)量?；诔^預定最小置信度閾值的不確定性分數(shù)的比例來確定是否可能存在一個或多個形態(tài)異常細胞可包括：確定不確定性分數(shù)的比例是否超過預定閾值比例；以及如果確定不確定性分數(shù)的比例超過預定閾值比例，則確定樣本圖像中形態(tài)異常細胞的存在是可能的。

32、在一些情況下，輸出可以包括不確定性分數(shù)超過預定最大不確定性閾值或置信度分數(shù)小于預定最小置信度閾值的數(shù)據(jù)的子集的指示。然后，計算機實現(xiàn)方法可以進一步包括指令，該指令在由計算設(shè)備的顯示部件執(zhí)行時顯示樣本圖像的注釋版本。優(yōu)選地，樣本圖像的注釋版本包括不確定性分數(shù)超過預定最大不確定性閾值或置信度分數(shù)小于預定最小置信度閾值的細胞的指示(例如，以注釋或疊加的形式)。通過這種方式，臨床醫(yī)生將獲得符合人體工程學的改進顯示器，該顯示器突出顯示需要進一步關(guān)注的細胞，最終減少分析樣本圖像所需的時間。

33、本發(fā)明的第二方面可以提供包括處理器的臨床支持系統(tǒng)，該處理器被配置為執(zhí)行本發(fā)明的第一方面的計算機實現(xiàn)方法。臨床支持系統(tǒng)可以進一步包括顯示部件。應當理解，上文關(guān)于本發(fā)明的第一方面闡述的任選的特征同樣很好地適用于本發(fā)明的第二方面，除非明顯不兼容或上下文另有清楚規(guī)定。臨床支持系統(tǒng)可以包括適當?shù)哪K，該模塊被配置為執(zhí)行本發(fā)明的第一方面的計算機實現(xiàn)方法的不同操作中的每一者。

34、本發(fā)明的第三方面可以提供一種包括指令的計算機程序，該指令在由計算機的處理器執(zhí)行時使處理器執(zhí)行本發(fā)明的第一方面的計算機實現(xiàn)方法。應當理解，上文關(guān)于本發(fā)明的第一方面闡述的任選的特征同樣很好地適用于本發(fā)明的第三方面，除非明顯不兼容或上下文另有清楚規(guī)定。本發(fā)明的第四方面可以提供了一種存儲本發(fā)明的第三方面的計算機程序的計算機可讀介質(zhì)。應當理解，上文關(guān)于本發(fā)明的第一方面闡述的任選的特征同樣很好地適用于本發(fā)明的第四方面，除非明顯不兼容或上下文另有清楚規(guī)定。

35、本發(fā)明的第五個方面可以提供一種檢測樣本圖像中形態(tài)異常細胞的存在的計算機實現(xiàn)方法，該計算機實現(xiàn)方法包括：接收代表樣本圖像的電子圖像數(shù)據(jù)，該樣本圖像描繪多個細胞；將分析模型應用于圖像數(shù)據(jù)的多個子集中的每一個，每個子集對應于樣本圖像的描繪單個細胞的相應部分，該分析模型被配置為針對圖像數(shù)據(jù)的每個子集來輸出：參數(shù)化細胞的屬性的值；以及與該值相關(guān)聯(lián)的置信度分數(shù)或不確定性分數(shù)，從而生成包括多個置信度分數(shù)或多個不確定性分數(shù)的輸出數(shù)據(jù)；以下中的任一項：確定輸出數(shù)據(jù)中小于預定最小置信度閾值的置信度分數(shù)的比例；或者確定輸出數(shù)據(jù)中超過預定最大不確定性閾值的不確定性分數(shù)的比例；確定比例是否超過預定閾值比例；以及生成指示確定的結(jié)果的輸出，其中如果確定比例超過預定閾值比例，則輸出包括標記。該標記優(yōu)選地提醒臨床醫(yī)生可能存在形態(tài)異常細胞。應當理解，上文關(guān)于本發(fā)明的第一方面闡述的任選的特征同樣很好地適用于本發(fā)明的第五方面，除非明顯不兼容或上下文另有清楚規(guī)定。

36、本發(fā)明的第六方面可以提供一種包括指令的計算機程序，該指令在由計算機的處理器執(zhí)行時使處理器執(zhí)行本發(fā)明的第五方面的計算機實現(xiàn)方法。應當理解，上文關(guān)于本發(fā)明的第一方面闡述的任選的特征同樣很好地適用于本發(fā)明的第六方面，除非明顯不兼容或上下文另有清楚規(guī)定。本發(fā)明的第七方面可以提供了一種存儲本發(fā)明的第六方面的計算機程序的計算機可讀介質(zhì)。應當理解，上文關(guān)于本發(fā)明的第一方面闡述的任選的特征同樣很好地適用于本發(fā)明的第七方面，除非明顯不兼容或上下文另有清楚規(guī)定。

37、本發(fā)明的第八方面可以提供包括處理器的臨床支持系統(tǒng)，該處理器被配置為執(zhí)行本發(fā)明的第五方面的計算機實現(xiàn)方法。臨床支持系統(tǒng)可以進一步包括顯示部件。應當理解，上文關(guān)于本發(fā)明的第一方面和本發(fā)明的第五方面闡述的任選的特征同樣很好地適用于本發(fā)明的第八方面，除非明顯不兼容或上下文另有清楚規(guī)定。臨床支持系統(tǒng)可以包括適當?shù)哪K，該模塊被配置為執(zhí)行本發(fā)明的第五方面的計算機實現(xiàn)方法的不同操作中的每一者。

38、本發(fā)明包括所描述的方面和優(yōu)選特征的組合，除非這種組合明顯不允許或明確避免。