本披露的各種示例涉及用于執(zhí)行手術(shù)顯微鏡系統(tǒng)的輔助功能的技術(shù)。各種示例特別涉及與這種輔助功能相關(guān)的不同對(duì)象之間的優(yōu)先級(jí)排序。

背景技術(shù)：

1、從現(xiàn)有技術(shù)中已知的醫(yī)療手術(shù)顯微鏡系統(tǒng)(也稱為機(jī)器人可視化系統(tǒng)或手術(shù)可視化系統(tǒng))具有用于定位顯微鏡的機(jī)器人支架；例如參見(jiàn)de?10?2022100?626a1。

2、在這里，機(jī)器人支架可以手動(dòng)控制。不過(guò)，也有一些已知的技術(shù)可以自動(dòng)控制機(jī)器人支架，例如，為了實(shí)現(xiàn)在特定對(duì)象(例如，手術(shù)器械，也稱為手術(shù)裝備或手術(shù)工具或操作工具)上自動(dòng)對(duì)中和/或自動(dòng)聚焦。在這種情況下，用戶命令會(huì)觸發(fā)定位過(guò)程，在該過(guò)程中，機(jī)器人支架和/或顯微鏡的物鏡光學(xué)單元被驅(qū)動(dòng)。例如，從us10,456,035b2中已知這樣的技術(shù)。

3、已經(jīng)觀察到，特別是在相對(duì)復(fù)雜的手術(shù)場(chǎng)景中(例如包含大量手術(shù)器械和/或不同類(lèi)型的手術(shù)器械)，現(xiàn)有技術(shù)的這樣的技術(shù)可能會(huì)帶來(lái)不期望的結(jié)果。舉例來(lái)說(shuō)，有時(shí)會(huì)在根本不是外科醫(yī)生想要使用的錯(cuò)誤手術(shù)器械上進(jìn)行定位。

4、為了彌補(bǔ)這樣的缺點(diǎn)，例如，us10,769,443b2披露了從一組可見(jiàn)的手術(shù)器械中識(shí)別主要手術(shù)器械。這樣的技術(shù)也有某些缺點(diǎn)和局限性。舉例來(lái)說(shuō)，已經(jīng)發(fā)現(xiàn)該文件中描述的技術(shù)對(duì)于一些類(lèi)型的手術(shù)器械效果不佳。這意味著，取決于手術(shù)器械的類(lèi)型，取得的結(jié)果很差。由于有大量可用的手術(shù)器械，這削弱了系統(tǒng)的接受度，并可能出現(xiàn)意外行為。

技術(shù)實(shí)現(xiàn)思路

1、因此，需要用于手術(shù)顯微鏡系統(tǒng)的輔助功能的改進(jìn)技術(shù)。特別需要能夠?qū)o助功能能夠涉及的成像對(duì)象的優(yōu)先級(jí)進(jìn)行穩(wěn)健分類(lèi)的技術(shù)。需要將對(duì)象分類(lèi)為主要對(duì)象和非主要對(duì)象。

2、該目的通過(guò)下文所述的特征來(lái)實(shí)現(xiàn)。下文所述的特征限定了實(shí)施例。

3、本公開(kāi)提供了一種用于控制手術(shù)顯微鏡系統(tǒng)的計(jì)算機(jī)實(shí)施的方法，該手術(shù)顯微鏡系統(tǒng)具有支架和由該支架承載的顯微鏡，

4、其中，該方法包括：

5、-驅(qū)動(dòng)該手術(shù)顯微鏡系統(tǒng)的相機(jī)以獲得圖像序列，

6、-基于該圖像序列確定該圖像序列中描繪的兩個(gè)或更多個(gè)對(duì)象中的每一個(gè)的移動(dòng)信息，

7、-基于該移動(dòng)信息確定這兩個(gè)或更多個(gè)對(duì)象的優(yōu)先級(jí)排序信息，以及

8、-基于該優(yōu)先級(jí)排序信息，執(zhí)行與這兩個(gè)或更多個(gè)對(duì)象相關(guān)的輔助功能。

9、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息包括將這兩個(gè)或更多個(gè)對(duì)象至少分為第一類(lèi)別和第二類(lèi)別的類(lèi)別指派，其中，該輔助功能是結(jié)合被指派為該第一類(lèi)別的至少一個(gè)對(duì)象來(lái)執(zhí)行的，其中，該輔助功能不是結(jié)合被指派為該第二類(lèi)別的至少一個(gè)另外的對(duì)象來(lái)執(zhí)行的。

10、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息是使用至少一個(gè)預(yù)定義標(biāo)準(zhǔn)基于該移動(dòng)信息確定的，其中，該至少一個(gè)預(yù)定義標(biāo)準(zhǔn)包括固定的移動(dòng)閾值。

11、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息是在不進(jìn)行任何分類(lèi)并且特別是不對(duì)這些對(duì)象進(jìn)行任何實(shí)例分割的情況下獲得的。

12、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息是使用至少一個(gè)相對(duì)標(biāo)準(zhǔn)基于該移動(dòng)信息確定的，該至少一個(gè)相對(duì)標(biāo)準(zhǔn)是基于該移動(dòng)信息確定的。

13、在一實(shí)施方式中，該至少一個(gè)相對(duì)標(biāo)準(zhǔn)包括與這兩個(gè)或更多個(gè)對(duì)象相關(guān)的移動(dòng)信息的排名。

14、在一實(shí)施方式中，該至少一個(gè)相對(duì)標(biāo)準(zhǔn)包括這兩個(gè)或更多個(gè)對(duì)象相對(duì)于彼此的相對(duì)移動(dòng)。

15、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息是通過(guò)接收該移動(dòng)信息作為輸入的機(jī)器學(xué)習(xí)模型來(lái)確定的。

16、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息還基于這兩個(gè)或更多個(gè)對(duì)象的定位來(lái)確定。

17、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息還基于與這兩個(gè)或更多個(gè)對(duì)象相關(guān)聯(lián)的場(chǎng)景的語(yǔ)義上下文信息來(lái)確定。

18、在一實(shí)施方式中，該方法還包括：-接收請(qǐng)求與這兩個(gè)或更多個(gè)對(duì)象中的非特定對(duì)象相關(guān)的輔助功能的用戶命令。

19、在一實(shí)施方式中，該移動(dòng)信息包括該圖像序列的連續(xù)圖像之間的光流。

20、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息與這兩個(gè)或更多個(gè)對(duì)象的定位相關(guān)。

21、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息包括具有優(yōu)先級(jí)排序標(biāo)簽的分割圖。

22、在一實(shí)施方式中，該優(yōu)先級(jí)排序信息包括具有優(yōu)先級(jí)排序標(biāo)簽的點(diǎn)定位。

23、在一實(shí)施方式中，執(zhí)行該輔助功能包括：-基于該優(yōu)先級(jí)排序信息和這兩個(gè)或更多個(gè)對(duì)象的定位來(lái)確定該手術(shù)顯微鏡系統(tǒng)的目標(biāo)配置，以及-基于該目標(biāo)配置驅(qū)動(dòng)該手術(shù)顯微鏡系統(tǒng)的至少一個(gè)部件。

24、在一實(shí)施方式中，該手術(shù)顯微鏡系統(tǒng)的目標(biāo)配置包括該顯微鏡的視場(chǎng)相對(duì)于這兩個(gè)或更多個(gè)對(duì)象中基于該優(yōu)先級(jí)排序信息選擇的至少一個(gè)對(duì)象的對(duì)準(zhǔn)。

25、在一實(shí)施方式中，該手術(shù)顯微鏡系統(tǒng)的目標(biāo)配置包括該顯微鏡相對(duì)于這兩個(gè)或更多個(gè)對(duì)象中基于該優(yōu)先級(jí)排序信息選擇的一個(gè)對(duì)象的自動(dòng)聚焦。

26、本公開(kāi)還提供了一種用于控制手術(shù)顯微鏡系統(tǒng)的數(shù)據(jù)處理設(shè)備，其中，該數(shù)據(jù)處理設(shè)備包括處理器，該處理器被配置為能夠從存儲(chǔ)器中加載程序代碼并執(zhí)行該程序代碼，其中，該程序代碼的執(zhí)行使該處理器執(zhí)行以下步驟：

27、-驅(qū)動(dòng)該手術(shù)顯微鏡系統(tǒng)的相機(jī)以獲得圖像序列，

28、-基于該圖像序列確定該圖像序列中描繪的兩個(gè)或更多個(gè)對(duì)象中的每一個(gè)的移動(dòng)信息，

29、-基于該移動(dòng)信息確定這兩個(gè)或更多個(gè)對(duì)象的優(yōu)先級(jí)排序信息，以及

30、-基于該優(yōu)先級(jí)排序信息，執(zhí)行與這兩個(gè)或更多個(gè)對(duì)象相關(guān)的輔助功能。

31、在一實(shí)施方式中，該程序代碼的執(zhí)行使該處理器執(zhí)行根據(jù)上文所述的方法。

32、本公開(kāi)還提供了一種手術(shù)顯微鏡系統(tǒng)，其包括根據(jù)上文所述的數(shù)據(jù)處理設(shè)備。

33、各種示例是基于這樣的發(fā)現(xiàn)：現(xiàn)有技術(shù)中已知的用于識(shí)別主要手術(shù)器械的技術(shù)對(duì)手術(shù)器械外觀的變化表現(xiàn)出低穩(wěn)健性。這是因?yàn)樵诓煌牟僮鳝h(huán)境中存在著大量不同類(lèi)型的手術(shù)器械，例如三位數(shù)范圍內(nèi)的手術(shù)器械。各種示例是基于這樣的發(fā)現(xiàn)：在手術(shù)器械類(lèi)型分類(lèi)的范圍內(nèi)，使用算法很難穩(wěn)健地區(qū)分如此大量的可能結(jié)果類(lèi)別。舉例來(lái)說(shuō)，在使用機(jī)器學(xué)習(xí)分類(lèi)模型時(shí)，可能會(huì)經(jīng)常出現(xiàn)分布外(out?of?distribution)的情況，即在訓(xùn)練機(jī)器學(xué)習(xí)分類(lèi)模型時(shí)沒(méi)有考慮特定類(lèi)型手術(shù)器械的外觀。模型可能會(huì)帶來(lái)不可預(yù)測(cè)的結(jié)果。

34、另外，各種示例是基于這樣的發(fā)現(xiàn)：現(xiàn)有技術(shù)中已知的用于識(shí)別主要手術(shù)器械的技術(shù)忽略了這樣的事實(shí)，即某種類(lèi)型的手術(shù)器械在一種背景下可能是主要器械，而在另一種背景下可能不是主要器械。已經(jīng)認(rèn)識(shí)到，考慮背景可以有助于優(yōu)先級(jí)排序。

35、下文描述了與具有機(jī)器人支架和由機(jī)器人支架承載的顯微鏡的手術(shù)顯微鏡系統(tǒng)相關(guān)的各方面。特別描述了與用于輔助外科醫(yī)生的輔助功能相關(guān)的技術(shù)。這里，輔助功能是相對(duì)于對(duì)應(yīng)的圖像(例如由顯微鏡相機(jī)或環(huán)境相機(jī)捕獲的)中所描繪的至少一個(gè)對(duì)象來(lái)執(zhí)行的。這樣的輔助功能的示例是相對(duì)于一個(gè)或多個(gè)對(duì)象的自動(dòng)定位、自動(dòng)對(duì)中、自動(dòng)定向、自動(dòng)變焦或自動(dòng)聚焦；進(jìn)一步的示例包括例如測(cè)量一個(gè)或多個(gè)對(duì)象。

36、披露了用于將相關(guān)和不相關(guān)對(duì)象彼此區(qū)分開(kāi)的技術(shù)。相關(guān)對(duì)象有時(shí)也被稱為主要對(duì)象。

37、更一般地說(shuō)，描述了關(guān)于如何能夠確定各種對(duì)象的優(yōu)先級(jí)排序信息的技術(shù)。然后，可以考慮優(yōu)先級(jí)排序信息來(lái)執(zhí)行輔助功能。舉例來(lái)說(shuō)，輔助功能可以僅考慮基于優(yōu)先級(jí)排序信息被分類(lèi)為相關(guān)(即高優(yōu)先級(jí))的那些對(duì)象。還可以使用對(duì)應(yīng)優(yōu)先級(jí)排序信息的逐步確定，以便在執(zhí)行輔助功能時(shí)更多地考慮優(yōu)先級(jí)較高的對(duì)象。

38、一般來(lái)說(shuō)，優(yōu)先級(jí)排序信息的確定可以對(duì)應(yīng)于回歸任務(wù)或分類(lèi)任務(wù)。

39、根據(jù)所披露的各種變體，基于各種對(duì)象的移動(dòng)信息來(lái)確定優(yōu)先級(jí)排序信息。對(duì)于必須對(duì)對(duì)象進(jìn)行類(lèi)型分類(lèi)(例如，對(duì)實(shí)例進(jìn)行相關(guān)聯(lián)分類(lèi)的實(shí)例分割)的參考實(shí)施方式，使用移動(dòng)信息具有特別的優(yōu)勢(shì)。即使對(duì)于大量不同的先驗(yàn)未知場(chǎng)景，也可以特別地實(shí)現(xiàn)穩(wěn)健的優(yōu)先級(jí)排序。舉例來(lái)說(shuō)，不需要對(duì)用于確定對(duì)象類(lèi)型的分類(lèi)模型進(jìn)行參數(shù)化。舉例來(lái)說(shuō)，不需要訓(xùn)練任何對(duì)應(yīng)的機(jī)器學(xué)習(xí)分類(lèi)模型，這使得可以省去收集不同類(lèi)型對(duì)象的圖像的復(fù)雜訓(xùn)練活動(dòng)?？梢栽诓贿M(jìn)行任何分類(lèi)并且特別是不對(duì)對(duì)象進(jìn)行任何實(shí)例分割的情況下獲得優(yōu)先級(jí)排序信息。

40、然而，在一些變體中，可以設(shè)想在確定優(yōu)先級(jí)排序信息時(shí)考慮進(jìn)一步的信息，例如與成像場(chǎng)景相關(guān)的語(yǔ)義上下文信息，或者特定手術(shù)器械是用左手還是右手?jǐn)y帶。

41、披露了一種用于控制手術(shù)顯微鏡系統(tǒng)的計(jì)算機(jī)實(shí)施的方法。手術(shù)顯微鏡系統(tǒng)包括支架。手術(shù)顯微鏡系統(tǒng)還包括顯微鏡。顯微鏡由支架承載。

42、舉例來(lái)說(shuō)，支架可以是機(jī)器人支架或部分機(jī)器人支架。

43、該方法包括驅(qū)動(dòng)手術(shù)顯微鏡系統(tǒng)的相機(jī)。舉例來(lái)說(shuō)，可以驅(qū)動(dòng)顯微鏡相機(jī)和環(huán)境相機(jī)。通過(guò)驅(qū)動(dòng)相機(jī)獲得圖像序列。舉例來(lái)說(shuō)，圖像序列因此可以對(duì)應(yīng)于描繪場(chǎng)景的圖像的時(shí)間序列。

44、該方法還包括確定移動(dòng)信息。確定圖像序列中描繪的兩個(gè)或更多個(gè)對(duì)象中的每一個(gè)的移動(dòng)信息?；趫D像序列來(lái)確定移動(dòng)信息。

45、舉例來(lái)說(shuō)，可以使用啟發(fā)式或機(jī)器學(xué)習(xí)模型來(lái)確定移動(dòng)信息。舉例來(lái)說(shuō)，可以在移動(dòng)信息指示的一個(gè)或多個(gè)變量與一個(gè)或多個(gè)預(yù)定義閾值之間進(jìn)行閾值比較。

46、舉例來(lái)說(shuō)，移動(dòng)信息可以指定光流。作為替代或補(bǔ)充，移動(dòng)信息可以指定活動(dòng)區(qū)域，也就是說(shuō)，在圖像序列中，序列圖像之間的對(duì)比度變化相對(duì)較大的區(qū)域?？梢栽O(shè)想，移動(dòng)信息指定對(duì)象的移動(dòng)模式。舉例來(lái)說(shuō)，移動(dòng)信息可以指定對(duì)象的移動(dòng)幅度和/或移動(dòng)頻率。還可以設(shè)想如上所述的移動(dòng)信息的這種內(nèi)容的組合。

47、可以設(shè)想(但并非必須)移動(dòng)信息與圖像序列中對(duì)象的定位相關(guān)。舉例來(lái)說(shuō)，可以首先定位圖像序列中的對(duì)象并且然后確定每個(gè)定位的對(duì)象的對(duì)應(yīng)移動(dòng)信息。

48、該方法還包括確定這兩個(gè)或更多個(gè)對(duì)象的優(yōu)先級(jí)排序信息；這基于移動(dòng)信息來(lái)執(zhí)行。舉例來(lái)說(shuō)，優(yōu)先級(jí)排序信息指定哪些對(duì)象是主要的或相關(guān)的，哪些對(duì)象不是主要的或不相關(guān)的。除了作為優(yōu)先級(jí)排序信息的一部分對(duì)各種對(duì)象進(jìn)行這種二元類(lèi)別指派外，還可以設(shè)想進(jìn)行多維類(lèi)別指派或回歸。舉例來(lái)說(shuō)，可以輸出優(yōu)先級(jí)排序值，例如在從0(＝不相關(guān))到10(＝相關(guān))的范圍內(nèi)。

49、然后基于優(yōu)先級(jí)排序信息，執(zhí)行與這兩個(gè)或更多個(gè)對(duì)象相關(guān)的輔助功能。這可能意味著，例如，作為輔助功能的一部分，更大(較小)程度地考慮具有較高(較低)優(yōu)先級(jí)排序的對(duì)象。

50、作為輔助功能的一部分，例如，可以驅(qū)動(dòng)機(jī)器人支架，例如以便相對(duì)于基于一個(gè)或多個(gè)對(duì)象確定的參考點(diǎn)執(zhí)行自動(dòng)定位。作為輔助功能的一部分，可以評(píng)估一個(gè)或多個(gè)圖像(例如，顯微鏡圖像)中的一個(gè)或多個(gè)對(duì)象的外觀。

51、披露了一種數(shù)據(jù)處理設(shè)備。該數(shù)據(jù)處理設(shè)備被配置為控制手術(shù)顯微鏡系統(tǒng)。該數(shù)據(jù)處理設(shè)備包括處理器。處理器被配置為從存儲(chǔ)器中加載程序代碼并執(zhí)行該程序代碼。執(zhí)行程序代碼使處理器執(zhí)行上述用于控制手術(shù)顯微鏡系統(tǒng)的方法。

52、還披露了一種包括這種數(shù)據(jù)處理設(shè)備的手術(shù)顯微鏡系統(tǒng)。

53、在不脫離本發(fā)明的保護(hù)范圍的情況下，上文闡述的特征和下文描述的特征不僅可以以明確闡述的對(duì)應(yīng)組合方式使用，而且可以以另外組合方式使用、或單獨(dú)使用。