使用遠(yuǎn)側(cè)端帽進(jìn)行校正的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 技術(shù)進(jìn)步推動(dòng)了醫(yī)用成像能力的發(fā)展。受益于某些最有利進(jìn)步的一個(gè)領(lǐng)域是內(nèi)窺鏡外科手術(shù)領(lǐng)域，該領(lǐng)域獲益于構(gòu)成內(nèi)窺鏡的組件的進(jìn)步。
[0002]本公開(kāi)整體涉及電磁感應(yīng)與傳感器，其提高顏色準(zhǔn)確度并降低固定模式噪聲。本公開(kāi)的特征與優(yōu)勢(shì)將在下面的說(shuō)明書(shū)中予以闡述，并且根據(jù)說(shuō)明書(shū)將是部分顯而易見(jiàn)的，或者本公開(kāi)的做法無(wú)需過(guò)度的實(shí)驗(yàn)即可被借鑒。本公開(kāi)的特征與優(yōu)勢(shì)將通過(guò)所附權(quán)利要求書(shū)中特別指出的器械與組合來(lái)實(shí)現(xiàn)和獲得。
【附圖說(shuō)明】
[0003]本公開(kāi)的非限制性和不完全具體實(shí)施結(jié)合下列附圖予以描述，其中除非另外指明，否則不同視圖中的類(lèi)似標(biāo)號(hào)是指類(lèi)似的部件。本公開(kāi)的優(yōu)勢(shì)將結(jié)合以下描述和附圖得到更好地理解。
[0004]圖1不出了根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的內(nèi)窺鏡系統(tǒng)的各個(gè)實(shí)施例；
[0005]圖2A是根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的遠(yuǎn)側(cè)端帽的圖示；
[0006]圖2B是根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的遠(yuǎn)側(cè)端帽的圖示；
[0007]圖3示出了根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的支持和啟用硬件的示意圖；
[0008]圖4A和4B分別示出了根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的具有多個(gè)用于生成三維圖像的像素陣列的單片傳感器的具體實(shí)施的透視圖和側(cè)視圖；
[0009]圖5A和5B分別示出了構(gòu)建在多個(gè)基板上的成像傳感器的具體實(shí)施的透視圖和側(cè)視圖，其中形成像素陣列的多個(gè)像素列位于第一基板上，并且多個(gè)電路列位于第二基板上，圖中顯示了一列像素與其相關(guān)的或?qū)?yīng)的電路列之間的電氣連接和通信；
[0010]圖6A和6B分別示出了具有多個(gè)用于生成三維圖像的像素陣列的成像傳感器的具體實(shí)施的透視圖和側(cè)視圖，其中所述多個(gè)像素陣列和成像傳感器構(gòu)建在多個(gè)基板上；
[0011]圖7為示出了根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的用于調(diào)節(jié)白平衡的系統(tǒng)和方法的具體實(shí)施的流程圖；
[0012]圖8為示出了根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的用于調(diào)節(jié)白平衡的系統(tǒng)和方法的具體實(shí)施的流程圖；并且
[0013]圖9為示出了根據(jù)本公開(kāi)的原理和教導(dǎo)內(nèi)容的用于調(diào)節(jié)白平衡的系統(tǒng)和方法的具體實(shí)施的流程圖。
【具體實(shí)施方式】
[0014]本公開(kāi)涉及方法、系統(tǒng)和基于計(jì)算機(jī)的產(chǎn)品，所述方法、系統(tǒng)和基于計(jì)算機(jī)的產(chǎn)品用于可主要適用于醫(yī)療用途的數(shù)字成像，并且在啟動(dòng)時(shí)或在操作期間的任何其他時(shí)間時(shí)用于在光線不足的環(huán)境中生成圖像和校正白平衡和/或固定模式噪聲。
[0015]在本公開(kāi)的以下描述中，將參考構(gòu)成本文一部分的附圖，這些附圖以舉例說(shuō)明本公開(kāi)可能實(shí)施的特定具體實(shí)施的方式示出。應(yīng)當(dāng)理解，在不脫離本公開(kāi)的范圍的前提下，可采用其他具體實(shí)施并進(jìn)行結(jié)構(gòu)改變。
[0016]在描述及對(duì)本公開(kāi)的主題提出權(quán)利要求時(shí)，將根據(jù)下列定義使用以下術(shù)語(yǔ)。
[0017]應(yīng)該注意的是，除非上下文清楚地指明，否則本說(shuō)明書(shū)和所附權(quán)利要求中所用的單數(shù)形式“一”、“一個(gè)”和“所述”包括復(fù)數(shù)指代物。
[0018]如本文所用，術(shù)語(yǔ)“包括(comprising) ”、“包括(including) ”、“包含(containing) ”、“其特征在于(characterized by)”以及它們的語(yǔ)法同等成分是非遍舉的或開(kāi)放式的術(shù)語(yǔ)，不排除額外的、未述及的要素或方法步驟。
[0019]如本文所用，短語(yǔ)“由……組成”及其語(yǔ)法同等成分排除未載入權(quán)利要求書(shū)的任何要素或步驟。
[0020]如本文所用，短語(yǔ)“主要由……組成”及其語(yǔ)法同等成分將權(quán)利要求的范圍限制于規(guī)定的材料或步驟以及本質(zhì)上不影響被要求保護(hù)的本公開(kāi)的之一種或多種基本及新穎特征的材料或步驟。
[0021]如本文所用，術(shù)語(yǔ)“近側(cè)”廣義上是指靠近起始點(diǎn)的部分的概念。
[0022]如本文所用，術(shù)語(yǔ)“遠(yuǎn)側(cè)” 一般是指與近側(cè)相反，因此根據(jù)上下文其是指距離起始點(diǎn)較遠(yuǎn)的部分或最遠(yuǎn)的部分的概念。
[0023]如本文所用，顏色傳感器或多光譜傳感器是那些已知具有顏色濾光器陣列(CFA)的傳感器，在其上以便將入射電磁輻射過(guò)濾為其單個(gè)分量。在電磁波譜的可見(jiàn)范圍中，此類(lèi)CFA可以基于拜爾模板或其修改形式，以便分離光線中的綠色、紅色和藍(lán)色光譜分量。
[0024]現(xiàn)代數(shù)字視頻系統(tǒng)(諸如用于內(nèi)窺鏡的那些)將各種校正級(jí)別相結(jié)合以實(shí)現(xiàn)獲得盡可能理想的圖像的目的。在本質(zhì)上，首要?jiǎng)訖C(jī)是盡可能接近地模擬人類(lèi)視覺(jué)系統(tǒng)。在不同類(lèi)型的廣譜照明(諸如太陽(yáng)光、鎢燈絲、熒光燈、白色LED等)下采集的原始彩色圖像均將具有總體上不同的色偏。人類(lèi)視覺(jué)系統(tǒng)極其有效地自動(dòng)平衡由照明光譜引起的偏差，以便(例如)獲得理想的白色和灰色場(chǎng)景組成的知覺(jué)。例如，一張白紙始終看起來(lái)是白色的，與光線為(例如)白熾光還是太陽(yáng)光無(wú)關(guān)。然而，在不同光源下，一張白紙的原始數(shù)字圖像可能表現(xiàn)出不同色調(diào)的灰白色。為解決這一問(wèn)題，與人類(lèi)視覺(jué)系統(tǒng)相對(duì)的數(shù)字成像系統(tǒng)必須結(jié)合白平衡處理。事實(shí)上，大多數(shù)白平衡處理都是為了調(diào)整成像傳感器對(duì)各個(gè)顏色通道存在響應(yīng)差異的現(xiàn)象。例如，娃光電二極管或其他感光兀件對(duì)藍(lán)色光子的量子效率低于對(duì)紅色和綠色光子的量子效率。
[0025]內(nèi)窺鏡系統(tǒng)，諸如圖1所示的那些可具有這樣的優(yōu)勢(shì)，即光源在操作過(guò)程中不變，只需執(zhí)行單個(gè)校正步驟。對(duì)于連續(xù)的基于寬頻帶照明的系統(tǒng)而言，這可通過(guò)將內(nèi)窺鏡指向平坦的白色目標(biāo)來(lái)實(shí)現(xiàn)，采集一幅或多幅圖像，計(jì)算相對(duì)的紅色、綠色和藍(lán)色信號(hào)并將結(jié)果存儲(chǔ)在存儲(chǔ)器中。在操作過(guò)程中，可對(duì)圖像信號(hào)處理器(ISP)的三個(gè)顏色通道應(yīng)用數(shù)字增益因子，以補(bǔ)償觀測(cè)到的相對(duì)響應(yīng)。如果通過(guò)使三種不同波長(zhǎng)的單色光(例如，紅色、綠色和藍(lán)色)發(fā)射脈沖來(lái)提供照明，則存在用于白平衡應(yīng)用的兩種其他選項(xiàng):
[0026]選項(xiàng)1-對(duì)光脈沖能量進(jìn)行調(diào)制，使其為紅色、綠色和藍(lán)色分量提供相同的響應(yīng)；以及
[0027]選項(xiàng)2-使光能最大化以充分利用系統(tǒng)的動(dòng)態(tài)范圍，而不使其飽和。然后在光域中被增大的分量具有應(yīng)用于ISP中的適當(dāng)?shù)臄?shù)字衰減因子。
[0028]選項(xiàng)2具有信噪比的優(yōu)勢(shì)，因?yàn)橹饕脑肼曉礊楣庾拥竭_(dá)率的泊松不確定性，它與信號(hào)的平方根成正比。
[0029]與CMOS成像傳感器相關(guān)聯(lián)的數(shù)字處理階段還涉及校正感測(cè)技術(shù)內(nèi)固有的失真現(xiàn)象。一種此類(lèi)失真現(xiàn)象是所謂的固定模式噪聲(FPN)，其對(duì)于圖像質(zhì)量具有嚴(yán)重的不利影響。該失真現(xiàn)象起因于像素與像素之間暗電平的隨機(jī)變化。也可存在反映模擬讀出結(jié)構(gòu)的列列組件(CFPN)。FPN對(duì)于圖像信號(hào)的影響程度取決于相對(duì)于真實(shí)噪聲源(諸如時(shí)間讀數(shù)噪聲和光子散粒噪聲)的對(duì)比度。在每秒60幀的條件下，隨機(jī)像素FPN的知覺(jué)閾值為時(shí)間噪聲的大約1/4，而CFPN的知覺(jué)閾值則為時(shí)間噪聲的大約1/20。
[0030]為實(shí)現(xiàn)這些目標(biāo)，策略可包括使用存儲(chǔ)于相機(jī)或成像設(shè)備的暗基準(zhǔn)緩沖來(lái)補(bǔ)償FPN，其可由ISP獲取。隨著ISP采集各個(gè)物理像素，其可能采取其專(zhuān)用的暗校正。如果照明在相機(jī)的快速控制下(可以通過(guò)LED和激光二極管實(shí)現(xiàn))，可采集周期性暗幀以保持對(duì)黑偏移進(jìn)行移動(dòng)平均，從而說(shuō)明溫度變化。FPN的重要組成來(lái)源于由光敏元件產(chǎn)生的熱載體，其對(duì)絕對(duì)溫度具有指數(shù)依賴(lài)關(guān)系。
[0031]本公開(kāi)涉及一種在外科手術(shù)初始和在外科手術(shù)過(guò)程中的其他時(shí)間進(jìn)行校正的簡(jiǎn)便方法，用于完全控制其照明光源的內(nèi)窺鏡系統(tǒng)。盡管本公開(kāi)中支持的實(shí)例為在遠(yuǎn)側(cè)末端處具有傳感器的單次使用系統(tǒng)，但該技術(shù)適用于可回用、可重復(fù)使用和可有限次使用內(nèi)窺鏡，所述內(nèi)窺鏡在遠(yuǎn)側(cè)末端處或在近側(cè)攝像頭內(nèi)具有傳感器，其具有多個(gè)傳感器(例如，用于3D成像)或單個(gè)傳感器，具有剛性或柔性鏡。一組用于微創(chuàng)外科手術(shù)(MIS)和內(nèi)窺鏡的各種系統(tǒng)構(gòu)造示于圖1中。
[0032]如圖1所示，應(yīng)當(dāng)理解，用于環(huán)境光線不足的環(huán)境中進(jìn)行數(shù)字成像的系統(tǒng)100可包括受控的電磁輻射源114 ;包括像素陣列的成像傳感器108，該像素陣列感測(cè)反射的電磁輻射；光學(xué)器件，其用于將場(chǎng)景連續(xù)聚焦到所述像素陣列(例如位于內(nèi)窺鏡尖端的成像傳感器108遠(yuǎn)側(cè)位置的光學(xué)器件)上；包括管腔102的內(nèi)窺鏡，該管腔允許電磁能量到達(dá)像素陣列；端帽230，其用于覆蓋管腔的遠(yuǎn)側(cè)端部以防止電磁能量進(jìn)入管腔(參見(jiàn)圖2A和2B)。
[0033]應(yīng)當(dāng)理解，暗幀可由像素陣列的單次感測(cè)形成，而端帽230覆蓋管腔的遠(yuǎn)側(cè)端部。應(yīng)當(dāng)理解，端帽230可被配置成在規(guī)格、尺寸和形狀上緊密貼合到管腔的遠(yuǎn)側(cè)端部上(在圖2A和2B中得到了最好的展示)。端帽可由柔順材料制成。端帽可不透過(guò)由發(fā)射器發(fā)射的電磁福射。
[0034]在不脫離本公開(kāi)的范圍的前提下，內(nèi)窺鏡可為可重復(fù)使用內(nèi)窺鏡設(shè)備、可有限次使用內(nèi)窺鏡設(shè)備、可回用內(nèi)窺鏡設(shè)備或單次使用內(nèi)窺鏡設(shè)備。
[0035]繼續(xù)參見(jiàn)圖1，系統(tǒng)100可包括許多不同的構(gòu)造。圖1的1A顯示了一個(gè)示例，其中示出了內(nèi)窺鏡系統(tǒng)100，其包括剛性成角度鏡102、光耦合器104、手持件106、成像傳感器108 (其可位于手持件106內(nèi)或如虛線所示的內(nèi)窺鏡102的尖端處的遠(yuǎn)側(cè))、電纜110、光電纜112 (諸如光纖)、光源114、控制單元116 (諸如相機(jī)控制單元(CCU))、視頻電纜118和顯示器120。
[0036]圖1的1B所示的系統(tǒng)構(gòu)造示出了內(nèi)窺鏡系統(tǒng)100，其包括剛性成角度鏡102、光耦合器104、手持件106、成像傳感器108(其可位于手持件106內(nèi)或如虛線所示的內(nèi)窺鏡102的尖端處的遠(yuǎn)側(cè))、電纜110、光電纜112(諸如光纖)、控制單元116(諸如相機(jī)控制單元(CXU)，其具有集成式光源1