本公開的各個方面整體涉及外科系統(tǒng)，并且更具體地涉及控制和顯示視頻流的外科系統(tǒng)。也描述了其他方面。

背景技術(shù)：

1、微創(chuàng)外科手術(shù)(mis)諸如腹腔鏡手術(shù)使用旨在在外科規(guī)程期間減少組織損傷的技術(shù)。腹腔鏡規(guī)程通常需要在患者體內(nèi)(例如，在腹部中)形成多個小切口，然后通過這些小切口將若干外科工具(諸如內(nèi)窺鏡、刀、抓持器和針)插入到患者體內(nèi)。將氣體注入到腹部中，其對腹部進行充氣，從而在工具的末端周圍提供更多空間，使得外科醫(yī)生更容易看到(經(jīng)由內(nèi)窺鏡)和操縱外科手術(shù)部位處的組織。可使用外科機器人系統(tǒng)更快地執(zhí)行mis且使外科醫(yī)生疲勞更少，在該外科機器人系統(tǒng)中，外科工具可操作地附接到機器人臂的遠側(cè)端部，并且控制系統(tǒng)致動該臂及其附接工具。當外科醫(yī)生操縱手持用戶輸入裝置(uid)時，工具的末端將模擬其位置和取向運動。外科機器人系統(tǒng)可以具有多個外科臂，其中一個或多個外科臂具有附接的內(nèi)窺鏡，并且其他外科臂具有附接的用于執(zhí)行某些外科動作的外科器械。

2、經(jīng)由一個或多個用戶輸入裝置捕獲來自用戶(例如，外科醫(yī)生或其他操作者)的控制輸入并且然后將其轉(zhuǎn)化成對機器人系統(tǒng)的控制。例如，當外科工具定位在患者的外科手術(shù)部位處時，具有一個或多個馬達的工具驅(qū)動器可響應(yīng)于用戶命令而致動外科工具的一個或多個自由度。

技術(shù)實現(xiàn)思路

1、可視化系統(tǒng)通常在術(shù)中用于成像組織、執(zhí)行活檢、外科手術(shù)、診斷和/或其他醫(yī)療手術(shù)。如本文所用，術(shù)語“術(shù)中”是指在任何醫(yī)療手術(shù)(侵入性或非侵入性)期間執(zhí)行的動作或發(fā)生的事件。外科系統(tǒng)諸如外科機器人系統(tǒng)(例如，可使用一個或多個機器人部件來執(zhí)行外科規(guī)程的系統(tǒng))可包括單個計算裝置(例如，臺式計算機)，該單個計算裝置控制外科系統(tǒng)的各個方面并且向操作者提供實時分析和反饋。作為一個示例，外科系統(tǒng)的計算裝置可(例如，響應(yīng)于接收到操作者輸入)從輸入裝置接收控制信號，并且可基于所接收的控制信號來控制(例如，操縱)一個或多個部件(例如，在外科機器人系統(tǒng)的情況下，控制信號可操縱一個或多個機器人臂)。除此之外，計算裝置可通過在一個或多個顯示器上顯示外科信息來提供反饋。例如，計算裝置可耦接到一個或多個外科相機(例如，內(nèi)窺鏡)，在外科規(guī)程期間可從該一個或多個外科相機接收和顯示圖像數(shù)據(jù)。具體地，計算裝置可包括圖形處理單元(gpu)，該圖形處理單元任務(wù)是接收圖像數(shù)據(jù)并將其渲染在顯示器上。除了渲染圖像數(shù)據(jù)之外，gpu也可接收用于連同圖像數(shù)據(jù)一起顯示的其他外科信息。例如，計算裝置可從系統(tǒng)的一個或多個其他裝置(諸如能量和智能外科工具、超聲掃描儀系統(tǒng)等)接收外科信息。計算裝置也可基于其他裝置的狀態(tài)(例如，基于手術(shù)室事件檢測)來接收通知以顯示給操作者。因此，gpu可在圖形用戶界面(gui)中渲染所接收的信息(例如，連同圖像數(shù)據(jù))，所接收的信息在一個或多個顯示器上被呈現(xiàn)給操作者(例如，作為關(guān)于由一個或多個外科相機捕獲的圖像數(shù)據(jù)的層疊的信息)。

2、然而，具有集中式計算機系統(tǒng)具有若干缺點。在其中計算裝置混雜并混合多個流(例如，以將gui層疊在一個或多個視頻流上)的情況下，非預(yù)期的故障可能導(dǎo)致沒有圖像(或錯誤的圖像)被顯示給醫(yī)務(wù)人員。因為可視化通常對許多醫(yī)療手術(shù)的執(zhí)行極為重要，所以故障可能不利地影響手術(shù)的執(zhí)行，從而引起延遲、增加錯誤的可能性、中斷流動、降低裝置利用率，并且在一些情況下可導(dǎo)致手術(shù)中止。因此，如本文所述，其中集成的gpu從一個或多個內(nèi)窺鏡接收視頻數(shù)據(jù)以及接收外科信息并且將外科信息(例如，作為gui)與視頻數(shù)據(jù)混合的此類系統(tǒng)具有如下固有風險：單個計算機裝置上的任何故障(例如，阻塞進程)可能潛在地使顯示器凍結(jié)，并且因此將禁用否則將在外科系統(tǒng)的顯示器上顯示的任何圖像/外科信息更新。作為一個示例，由于資源(例如，存儲器、處理能力等)在外科規(guī)程期間正由計算裝置執(zhí)行的外科軟件應(yīng)用程序之間共享，一個軟件應(yīng)用程序的故障或阻塞的進程可能不利地影響其他軟件應(yīng)用程序，包括正使用(和共享)gpu的應(yīng)用程序。在這種情況下，當故障發(fā)生在gpu處(或影響gpu)時，來自內(nèi)窺鏡的圖像數(shù)據(jù)在外科規(guī)程期間將變得不可靠(例如，凍結(jié)、被層疊的外科信息遮蔽等)。例如，系統(tǒng)故障(或錯誤)可能導(dǎo)致層疊在內(nèi)窺鏡視頻的頂部上的gui遮蔽關(guān)鍵內(nèi)窺鏡視頻中的一些或全部。因此，需要一種控制視頻流以確保可靠地且連續(xù)地顯示必要視頻(例如，在術(shù)中規(guī)程期間的關(guān)鍵視頻)的視頻控制裝置。

3、本公開提供了一種使用(至少)兩個視頻控制器來控制和顯示用于外科系統(tǒng)的視頻流的視頻控制裝置。具體來說，視頻裝置包括：第一視頻控制器，諸如現(xiàn)場可編程門陣列(fpga)，該第一視頻控制器(例如，直接地)接收臨床關(guān)鍵視頻流(例如，由內(nèi)窺鏡捕獲的視頻)；和第二視頻控制器，諸如接收外科數(shù)據(jù)的gpu(例如，包括外科信息的gui)，該第二視頻控制器將外科數(shù)據(jù)作為另一視頻流提供給第一視頻控制器，其中第一視頻控制器在外科系統(tǒng)的顯示器上顯示(例如，渲染以用于顯示)層疊在關(guān)鍵視頻流的區(qū)域的頂部上(或疊加在關(guān)鍵視頻流的區(qū)域上方)的外科數(shù)據(jù)。實質(zhì)上，第一視頻控制器將來自gpu的視頻流與來自內(nèi)窺鏡的關(guān)鍵視頻流混合，并且傳遞混合視頻流以用于顯示，使得外科數(shù)據(jù)被疊加在內(nèi)窺鏡視頻的(例如，預(yù)定義的)區(qū)域上方。如果發(fā)生故障，導(dǎo)致來自gpu的視頻流不再被疊加在該區(qū)域上(例如，而是相反地將導(dǎo)致來自gpu的視頻流覆蓋關(guān)鍵內(nèi)窺鏡視頻的較大區(qū)域(例如，不利地遮蔽關(guān)鍵內(nèi)窺鏡視頻))，則視頻控制裝置可將內(nèi)窺鏡視頻與混合視頻混合(例如，產(chǎn)生另一混合視頻流)，以便將內(nèi)窺鏡視頻疊加在出錯的混合流上。因此，關(guān)于gpu(和/或外科系統(tǒng)內(nèi)的其他資源，例如，由于阻塞進程)可能發(fā)生的任何潛在問題將不會禁止臨床關(guān)鍵視頻流被顯示(和/或?qū)⒉粫诒侮P(guān)鍵視頻流)。因此，這極大地減少(或消除)來自內(nèi)窺鏡的視頻流凍結(jié)和/或從操作者的視野被遮蔽的問題，從而增加來自系統(tǒng)的相機的視頻流的觀察可靠性(例如，當外科系統(tǒng)經(jīng)歷性能問題或故障(或錯誤)時)。

4、本公開提供了一種控制和顯示視頻流的外科系統(tǒng)。具體來說，該系統(tǒng)可包括視頻控制器，該視頻控制器接收由外科系統(tǒng)的相機(例如，內(nèi)窺鏡)捕獲的第一視頻流并且接收包括外科數(shù)據(jù)(例如，外科層疊信息)的第二視頻流。視頻控制器顯示疊加在第一視頻流的一部分(例如，區(qū)域)上方的第二視頻流，確定第二視頻流不再被疊加在第一視頻流的區(qū)域上方(例如，第二視頻流可遮蔽第一視頻流的較大區(qū)域)，并且響應(yīng)于確定第二視頻流不再被疊加在第一視頻流的區(qū)域上方，繼續(xù)顯示第一視頻流。具體地，視頻控制器可將第一視頻流疊加在第二視頻流(的至少一部分)上方，使得用戶在不中斷的情況下可繼續(xù)查看來自內(nèi)窺鏡的關(guān)鍵視頻流。

5、在一個方面，外科數(shù)據(jù)包括圖形用戶界面(gui)，該圖形用戶界面包括以下中的至少一者：與外科規(guī)程相關(guān)聯(lián)的通知、由外科系統(tǒng)的一個或多個相機捕獲的圖像數(shù)據(jù)以及用于允許用戶通過(例如，觸敏)顯示器與gui交互的用戶界面(ui)項目。在另一方面，一種顯示器包括若干像素行，其中顯示疊加在第一視頻流的區(qū)域上方的第二視頻流包括：通過將第一視頻流與第二視頻流混合來產(chǎn)生混合視頻流；基于該混合視頻流在行緩沖器中存儲針對該若干行中的一組行的選定像素；以及從該行緩沖器向顯示器提供所存儲的選定像素。

6、在一個方面，該區(qū)域是第一區(qū)域，其中當?shù)诙曨l流被疊加在第一視頻流的區(qū)域上方時，外科系統(tǒng)處于混合模式，在該混合模式中顯示該第一視頻流和該第二視頻流的混合視頻流，其中該方法還包括呈現(xiàn)通知，該通知為該外科系統(tǒng)的用戶提供切換到故障轉(zhuǎn)移模式的推薦，在該故障轉(zhuǎn)移模式中該第一視頻流被疊加在該混合視頻流的第二區(qū)域上方，其中該第一視頻流響應(yīng)于經(jīng)由用戶輸入裝置接收到用于從該混合模式切換到該故障轉(zhuǎn)移模式的用戶輸入而繼續(xù)被顯示。

7、在一個方面，確定第二視頻流不再被疊加包括確定在其上顯示第二視頻流的第一視頻流的區(qū)域超過閾值區(qū)域。在另一方面，確定第二視頻流不再被疊加是基于對第二視頻流的內(nèi)容分析的。

8、在一個方面，視頻控制器是第一視頻控制器，其中從外科系統(tǒng)的第二視頻控制器接收第二視頻流。在一些方面，第一視頻控制器是現(xiàn)場可編程門陣列(fpga)，并且第二視頻控制器是圖形處理單元(gpu)。在一個方面，fpga從第一功率源汲取電力，并且gpu從外科系統(tǒng)的第二功率源汲取電力。

9、在一個方面，顯示疊加在第一視頻流的區(qū)域上方的第二視頻流包括向顯示器提供包括第一視頻流和第二視頻流的第一混合視頻流，其中繼續(xù)顯示第一視頻流包括通過從幀緩沖器中檢索第一視頻流的第一組一個或多個視頻幀并且將第一組視頻幀與第一混合視頻流的第二組一個或多個視頻幀混合來產(chǎn)生第二混合視頻流；以及向顯示器提供第二混合視頻流。

10、在一個方面，第二視頻流和第一視頻流顯示在外科系統(tǒng)的顯示器上，該顯示器包括多個像素行(例如，沿著該顯示器的長度延伸)，其中該顯示包括：基于包括第一視頻流和第二視頻流的復(fù)合(或混合)視頻流在行緩沖器中存儲針對該多個行中的一組行的選定像素；以及從該行緩沖器向顯示器提供所存儲的選定像素。

11、上述
技術(shù)實現(xiàn)要素：
不包括本公開的所有方面的詳盡列表?？稍O(shè)想的是，本公開包括所有系統(tǒng)和方法，該系統(tǒng)和方法可由上文概述的各個方面的所有合適組合以及下文具體實施方式中公開并且在權(quán)利要求中特別指出的那些來實施。此類組合可具有未在上述發(fā)明內(nèi)容中具體敘述的特定優(yōu)點。