具有最小面積單片式cmos圖像傳感器的相機系統(tǒng)的制作方法
【專利摘要】本公開涉及在例如內(nèi)窺鏡的內(nèi)腔內(nèi)利用面積有限成像傳感器來數(shù)字成像的方法、系統(tǒng)和計算機程序產(chǎn)品。
【專利說明】具有最小面積單片式CMOS圖像傳感器的相機系統(tǒng)
[0001] 相關(guān)申請奪叉引用
[0002] 本申請要求2012年7月26日遞交的美國臨時專利申請?zhí)朜o. 61/676,289以及 2013年3月15日遞交的美國臨時專利申請?zhí)朜o. 61/790, 590的優(yōu)先權(quán)，通過引用的方式將 其整體并入本文，包括但是不限制至下文特別明顯的這些部分，參考的并入具有以下例外： 如果以上參考申請的任何部分與本申請不一致，則本申請取代以上參考的申請。

【背景技術(shù)】
[0003] 技術(shù)的進步已經(jīng)為醫(yī)療用途的成像能力提供了進展。因為組成內(nèi)窺鏡的組件中的 進展，因此已享有一些最有利的進展的一個領(lǐng)域可以是內(nèi)窺鏡外科手術(shù)。在例如關(guān)節(jié)鏡檢 查和腹腔鏡檢查中使用的傳統(tǒng)內(nèi)窺鏡設(shè)計為使得成像傳感器放置在設(shè)備的近端，手持件單 元內(nèi)。在這樣的配置中，內(nèi)窺鏡單元應(yīng)當經(jīng)由一組復雜的精確耦合的光學組件朝向傳感器 沿著其長度傳以最小的損耗和失真輸入射光。由于組件是昂貴的并且制造過程可以是勞動 密集的，因此內(nèi)窺鏡單元的成本可以由光學器件占主要部分。此外，這種類型的范圍可以是 機械方面精致的并且相對較小的影響可以很容易損壞組件或者打亂其相對排列。
[0004] 可能需要提供用于能夠保持減少光環(huán)境中高質(zhì)量視頻流的內(nèi)窺鏡醫(yī)療用途的減 小面積成像傳感器的方法和系統(tǒng)。傳感器的減小面積允許其被設(shè)置在內(nèi)窺鏡的遠端，進而 極大降低成本。這引起了無需維修或者消毒循環(huán)的單次使用的內(nèi)窺鏡的可能性。可替換地， 它們可以以后被拆卸并且使得它們的一些組件回收利用。
[0005] 如可以看到的，本公開提供了可以以文中將要公開的并且將由說明書中所討論的 和附圖而進一步使能的有效和簡練的方式做到這一點的方法和系統(tǒng)。

【專利附圖】

【附圖說明】
[0006] 參照以下附圖描述本公開的非限制和非詳盡實現(xiàn)，其中貫徹各個圖相同的附圖標 記指代相同的部件，除非另作說明。參考下面的描述和附圖本公開的優(yōu)點可以變得更好理 解，其中：
[0007] 圖IA示出了現(xiàn)有技術(shù)中通常的像素陣列的實現(xiàn)；
[0008] 圖IB示出了根據(jù)本公開的原理和教導的具有形成為光學黑色列的像素陣列的實 現(xiàn)；
[0009] 圖IC示出了根據(jù)本公開的原理和教導的系統(tǒng)電路和互補系統(tǒng)硬件的示意；
[0010] 圖2示出了根據(jù)本公開的原理和教導的示例性像素陣列，其示出有源記錄像素列 和光學黑色像素列之間的關(guān)系；
[0011] 圖3示出了根據(jù)本公開的原理和教導的示例性像素陣列，其示出有源記錄像素列 和光學黑色像素列的降低數(shù)目之間的關(guān)系；
[0012] 圖4示出了根據(jù)本公開的原理和教導的根據(jù)一個實現(xiàn)的實例方法的硬件流程圖；
[0013] 圖5示出了根據(jù)本公開的原理和教導的根據(jù)一個實現(xiàn)的實例方法的硬件流程圖；
[0014] 圖6示出了根據(jù)本公開的原理和教導的根據(jù)一個實現(xiàn)的使用分區(qū)光系統(tǒng)的實例 方法和硬件示意的流程圖；
[0015] 圖7示出了根據(jù)本公開的原理和教導的根據(jù)一個實現(xiàn)的實例方法的流程圖。
[0016] 圖8A示出了根據(jù)本公開的原理和教導的根據(jù)一個實現(xiàn)的實例方法的流程圖；
[0017] 圖8B示出了根據(jù)本公開的原理和教導的根據(jù)一個實現(xiàn)的實例方法的流程圖；
[0018] 圖9示出了根據(jù)一個實現(xiàn)的實例方法的流程圖；
[0019] 圖10示出了根據(jù)本公開的原理和教導的根據(jù)一個實現(xiàn)的實例方法的硬件流程 圖；
[0020] 圖IlA和圖IlB示出了根據(jù)本公開的原理和教導的具有用于生成三維圖像的多個 像素陣列的實現(xiàn)；
[0021] 圖12A和圖12B分別示出建立在多個基板上的成像傳感器的實現(xiàn)的立體圖和側(cè)視 圖，其中形成像素陣列的多個像素列位于第一基板上并且多個電路列位于第二基板上，還 示出一列像素至其關(guān)聯(lián)或者對應(yīng)的電路列的電連接和電通信；以及
[0022] 圖13A和13B分別示出了具有用于生成三維圖像的多個像素陣列的傳感器的實現(xiàn) 的立體圖和側(cè)視圖，其中多個像素陣列和成像傳感器被構(gòu)建在多個基板上。
[0023] 具體實現(xiàn)方式
[0024] 本公開涉及用于提供先進的內(nèi)窺鏡的方法、系統(tǒng)和計算機程序產(chǎn)品以及它們在醫(yī) 療過程期間的使用。在本公開的以下討論中，參考形成本公開的一部分的附圖，并且附圖中 可以通過示出本公開可以實踐的具體實現(xiàn)的方式示出。可以理解的是可以利用的其它實現(xiàn) 并且可以改變結(jié)構(gòu)而不偏離本公開的范圍。
[0025] 關(guān)節(jié)鏡檢查和腹腔鏡檢查中使用的傳統(tǒng)內(nèi)窺鏡設(shè)計為使得成像傳感器放置在設(shè) 備的近端，手持件單元內(nèi)。在這樣的配置中，內(nèi)窺鏡單元應(yīng)當沿著其長度以最小的損耗和失 真，經(jīng)由一組復雜的精確耦合的光學組件，朝向傳感器傳輸入射光。由于組件是昂貴的并且 制造過程可以是勞動密集的，因此內(nèi)窺鏡單元的成本可以由光學器件關(guān)聯(lián)的成本決定。
[0026] 以上缺點的解決方案可以是將內(nèi)窺鏡自身內(nèi)的成像傳感器放置在內(nèi)腔的遠端，進 而潛在地提供更大的光學簡單性、堅固性和經(jīng)濟性，其可以在相關(guān)設(shè)備例如手機相機內(nèi)得 到普遍實現(xiàn)。然而這個方法的一個可接受的解決方案絕不是普通的，因為其引入了它自己 的一套工程挑戰(zhàn)，尤其可能是傳感器應(yīng)該適應(yīng)在高度受限區(qū)域內(nèi)的事實。
[0027] 對傳感器面積設(shè)置過分的約束可以導致更少和/或者更小的像素。因此，降低像 素數(shù)直接影響空間分辨率。減小像素面積也可能減少可用信號容量和敏感性。降低信號容 量降低了動態(tài)范圍，即相機利用大范圍亮度同時獲取來自傳感器的所有有用信息的能力。 存在各種方法以延伸成像系統(tǒng)的動態(tài)范圍超過像素自身。然而它們均具有某種不利（例如 在分辨率或者幀速率中），并且它們可以引入或者加重在極端的情況下成為問題的不希望 的偽影?？商鎿Q地，降低靈敏度導致是需要更大的光功率以給場景的較暗區(qū)域帶來可接受 的信號級。降低F數(shù)也可以補償靈敏度的損失，但是以空間失真和焦點深度減小為代價。
[0028] 在成像傳感器技術(shù)中，由于CMOS成像傳感器更易于集成和操作、優(yōu)越的或者可比 較的圖像質(zhì)量、更大的靈活性和較低的成本，CMOS成像傳感器已在很大程度上取代在現(xiàn)代 相機應(yīng)用例如內(nèi)窺鏡檢查中的常規(guī)CCD成像器。然而為了達到最佳的效果，CMOS傳感器帶 來應(yīng)該考慮的一定不利特性。
[0029] 成像傳感器可以包括轉(zhuǎn)換圖像信息成為數(shù)字數(shù)據(jù)所必須的電路，并且可以具有包 括在傳感器芯片自身上的各種層次的數(shù)字處理。數(shù)字處理的范圍可以從用于糾錯從放大器 特性中變化生成的非理想CMOS傳感器目的的基本算法至提供標準RGB彩色空間（芯片上 相機）的視頻數(shù)據(jù)的完整的圖像信號處理（ISP)鏈條。
[0030] 給定相機系統(tǒng)的傳感器復雜性的希望程度可以由幾個因素驅(qū)動，其中一個因素可 以是成像傳感器的可用物理空間。功能極小CMOS傳感器將僅具有基本像素陣列加上一定 程度上序列化和緩沖的電路以驅(qū)動芯片的模擬數(shù)據(jù)。操作和讀出像素所需要的所有定時信 號可以從外部提供。從外部供給控制信號的需求可以增加許多焊盤，其消耗大量可以更好 地用于集聚光的基面板。因為需要電通信連接，因此其無需使得靠近像素陣列的最小功能 等同于最小使用面積。
[0031] 如果支持電路被遠程放置并且如果第二級可以是距離傳感器的明顯距離，則變得 更加希望在數(shù)字域中傳輸數(shù)據(jù)，因為可以使得其幾乎不受噪聲干擾和信號衰減影響。由于 減少除了增加相機制造的復雜性和成本（之外還消耗空間）的傳感器上焊盤的數(shù)量，因此 可能存在強烈希望以減少導體的數(shù)量。盡管增加模數(shù)轉(zhuǎn)換至傳感器可以是必要的，但是增 加的面可以被抵消至無需對與緩沖和傳輸模擬信號關(guān)聯(lián)的信號惡化進行補償?shù)某潭取Ｔ诿?積消耗的方面，考慮到CIS技術(shù)中可用的典型特征尺寸，優(yōu)選的可以是經(jīng)由圖9中可見的一 組控制寄存器和控制該寄存器的簡單命令接口從而使得在芯片上生成的所有內(nèi)部邏輯信 號。
[0032] 在高度受控照明環(huán)境中的具有減小象素計數(shù)的高清晰度圖像可以通過光源處逐 幀脈沖彩色切換結(jié)合高幀獲取率和專門設(shè)計的單色傳感器來實現(xiàn)。由于減小面積成像傳感 器的像素可以是色彩無關(guān)的，因此有效的空間分辨率可以比傳統(tǒng)單傳感器相機中它們的色 彩（通常為貝爾模板過濾）相應(yīng)物明顯更高。由于少得多的入射光子被浪費，因此它們還 可以具有更高的量子效率。此外，為了弄模糊與貝爾模板關(guān)聯(lián)的彩色偽影，基于拜耳的空間 色彩調(diào)制要求與單色情況相比所附的光學器件的MTF被降低。這對于可以利用彩色傳感器 實現(xiàn)的實際空間分辨率的具有不利影響。
[0033] 這個特定公開還可以涉及用于內(nèi)窺鏡應(yīng)用中的系統(tǒng)解決方案，其中成像傳感器可 以是在內(nèi)窺鏡的遠端。為得到基于最小面積傳感器的系統(tǒng)，存在如文中所描述的可以開發(fā) 的超出明顯減少像素計數(shù)的其它設(shè)計方面。特別是，芯片數(shù)字部分的面積應(yīng)該隨著至芯片 (焊盤）的連接的數(shù)量而減少。該公開描述完成實現(xiàn)這樣系統(tǒng)的目標的新穎方法。這涉及 具有多個新穎特征的全定制CMOS成像傳感器的設(shè)計。
[0034] 本公開的實現(xiàn)可以包括或者利用專用或者通用計算機，其包括計算機硬件，諸如， 例如，如以下更詳細地討論的一個或者多個處理器和系統(tǒng)存儲器。本公開范圍內(nèi)的實現(xiàn)還 可以包括用于攜帶或者存儲計算機可執(zhí)行指令和/或者數(shù)據(jù)結(jié)構(gòu)的物理和其它計算機可 讀介質(zhì)。這種計算機可讀介質(zhì)可以是可由通用或者專用計算機系統(tǒng)訪問的任何可用介質(zhì)。 存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)是計算機儲存器介質(zhì)（設(shè)備）。攜帶計算機可執(zhí) 行指令的計算機可讀介質(zhì)是傳輸介質(zhì)。因此，通過舉例而不是限制的方式，本公開的實現(xiàn)可 以包括至少兩種完全不同類型的計算機可讀介質(zhì)：計算機儲存器介質(zhì)（設(shè)備）和傳輸介質(zhì)。
[0035] 計算機存儲介質(zhì)（設(shè)備）包括RAM、R0M、EEPR0M、CD-R0M、固態(tài)驅(qū)動器（〃SSDs〃）（例 如，基于RAM)、閃速存儲器，相變存儲器（"PCM"），其它類型的存儲器，其它光盤儲存器，磁 盤儲存器或者其它磁儲存器設(shè)備，或者可以用于存儲計算機可執(zhí)行指令或者數(shù)據(jù)結(jié)構(gòu)形式 的所希望程序代碼裝置并且可以由通用或者專用計算機訪問的任何其它介質(zhì)。
[0036] "網(wǎng)絡(luò)"可以被定義為允許在計算機系統(tǒng)和/或模塊和/或其他電子設(shè)備之間傳 輸電子數(shù)據(jù)的一個或多個數(shù)據(jù)鏈路。當信息經(jīng)由網(wǎng)絡(luò)或者其它通信連接（電路、無線或者 電路或者無線的組合）可以被傳遞或者提供至計算機時，計算機適當?shù)貙⑦B接視為傳輸介 質(zhì)。傳輸介質(zhì)可以包括網(wǎng)絡(luò)和/或數(shù)據(jù)鏈路，其可以用以攜帶計算機可執(zhí)行指令或者數(shù)據(jù) 結(jié)構(gòu)形式的所希望程序代碼裝置并且并且可以由通用或者專用計算機訪問。以上的組合還 應(yīng)該包括在計算機可讀介質(zhì)的范圍之內(nèi)。
[0037] 另外，計算機可執(zhí)行指令或者數(shù)據(jù)結(jié)構(gòu)形式的程序代碼裝置在到達各種計算機系 統(tǒng)組件后可以從傳輸介質(zhì)至計算機儲存器介質(zhì)（設(shè)備）自動傳遞（或反之亦然）。例如， 經(jīng)由網(wǎng)絡(luò)或者數(shù)據(jù)鏈路接收的計算機可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)可以在網(wǎng)絡(luò)接口模塊（例如， "NIC"）內(nèi)在RAM中被緩沖并且然后最終被傳遞至計算機系統(tǒng)RAM和/或計算機系統(tǒng)處的 較不易失性計算機儲存器介質(zhì)（設(shè)備）。RAM還可以包括固體驅(qū)動器（基于SSD或者PCI x 的實時內(nèi)存分層儲存器，如FusionIO)。因此，應(yīng)當理解的是計算機儲存器介質(zhì)（設(shè)備）可 以包括在也（或者甚至主要）利用傳輸介質(zhì)的計算機系統(tǒng)組件中。
[0038] 計算機可執(zhí)行指令包括例如指令和數(shù)據(jù)，其當在處理器處被執(zhí)行時導致通用計算 機、專用計算機或者專用處理設(shè)備執(zhí)行一定功能或一組功能。計算機可執(zhí)行指令可以是例 如二進制、中間格式指令，例如匯編語言，或者甚至源代碼。盡管主題已經(jīng)以針對結(jié)構(gòu)特征 和/或方法動作的語言進行了描述，但是可以理解的是在附上的權(quán)利要求書中限定的主題 不必限制至所描述的特征或者以上所描述的動作。相反，所描述的特征和動作被公開為實 現(xiàn)權(quán)利要求的示例形式。
[0039] 本領(lǐng)域的技術(shù)人員可以理解的是本公開可以利用許多類型計算機系統(tǒng)配置在網(wǎng) 絡(luò)計算環(huán)境中實踐，算機系統(tǒng)配置包括個人計算機、臺式計算機、膝上型計算機、消息處理 器、手持式設(shè)備、手機、相機控制單元、多處理器系統(tǒng)、基于微處理器或者可編程消費電子產(chǎn) 品、網(wǎng)絡(luò)PC、小型計算機、大型計算機，移動電話，掌上電腦，平板電腦，尋呼機，路由器，交換 機，各種存儲設(shè)備等等。本公開還可以在分布式系統(tǒng)環(huán)境中實踐，其中通過網(wǎng)絡(luò)鏈接（由電 路數(shù)據(jù)鏈路、無線數(shù)據(jù)鏈路或者電路和無線數(shù)據(jù)鏈路的組合）的本地和遠程計算機系統(tǒng)兩 者均執(zhí)行任務(wù)。在分布式系統(tǒng)環(huán)境中，程序模塊可以位于本地和遠程記憶存儲設(shè)備中。
[0040] 另外，在適當情況下，文中所描述的功能可以在一個或者多個硬件，軟件、固件、 數(shù)字組件或者類似組件中執(zhí)行。例如，一個或多個專用集成電路（ASIC)和可編程門陣列 (PGA)可以被編程以執(zhí)行本文所描述的一個或多個系統(tǒng)和程序。某些術(shù)語貫徹下面的描述 和權(quán)利要求書使用以指代特定的系統(tǒng)組件。如本領(lǐng)域技術(shù)人員可以理解的，組件可以由不 同的名稱指代。本文并不旨在以名稱不同而不是功能對組件之間區(qū)別。
[0041] 為了偏移校準的目的，成像傳感器可以包括特殊用途，光學盲或光學黑（OB)的行 (在陣列的頂部和/或底部）和列（向陣列的右側(cè)和/或左側(cè)）。在圖IA中可以示出成像 傳感器101的示例布局，其具有記錄區(qū)域中的像素105連同頂部和底部OB行109和左側(cè)和 右側(cè)OB列107。對于OB鉗位算法，OB行109通常用于監(jiān)視模擬像素黑電平。OB行109還 通常被數(shù)字算法用于取消列固定模式噪聲或者FPN(CFPN)。在實施例中，保護環(huán)111可以圍 繞成像傳感器101的周圍。在另一方面，OB列107通常用于估計列偏移以作為一種抵消任 何列噪聲的裝置。由于列噪聲可能是時間的，因此偏移應(yīng)當對于每一幀中的每一列重新計 算。
[0042] 可以通過對于OB鉗位算法去除OB行109和使用OB列107代替OB行109而實現(xiàn) 像素陣列尺寸的總體減少（見以下討論）。在實現(xiàn)中，通過獲取暗數(shù)據(jù)幀可以取消包括CFPN 的所有FPN類型，進而消除了對專用CFPN糾錯和其相關(guān)聯(lián)的OB行109的需求。圖IB示出 了正是這樣的成像傳感器101和像素陣列105的實例，其中不存在OB行展示但是相反包括 OB列107 〇
[0043] 圖IC可以是示出了示例計算設(shè)備100的框圖。計算設(shè)備100可用于執(zhí)行各種程 序，如本文所討論的那些。計算設(shè)備100可以用作服務(wù)器、客戶端或者任何其它計算實體。 計算設(shè)備100可以執(zhí)行如文中所討論的各種監(jiān)視功能并且可以執(zhí)行一個或者多個應(yīng)用程 序，例如文中所描述的應(yīng)用程序。計算設(shè)備100可以是多種計算設(shè)備中的任何一個，例如臺 式計算機、筆記本電腦、服務(wù)器計算機、手持式計算機、平板計算機等。
[0044] 計算設(shè)備100包括一個或者多個處理器102、一個或者多個存儲器設(shè)備104、一個 或者多個接口 106、一個或者多個大容量儲存器設(shè)備108、一個或者多個輸入/輸出（I/O) 設(shè)備110以及顯示設(shè)備130,所有這些都耦接至總線112。處理器102包括執(zhí)行存儲在存儲 器設(shè)備104和/或大容量儲存器設(shè)備108中指令的一個或者多個處理器或控制器。處理器 102還可以包括各種類型的計算機可讀介質(zhì)例如高速緩沖存儲器。
[0045] 存儲器設(shè)備104包括各種計算機可讀介質(zhì)例如易失性存儲器（例如，隨機存取存 儲器（RAM) 114)和/或非易失性存儲器（例如，只讀存儲器（ROM) 116)。存儲器設(shè)備104也 可以包括可重寫的ROM例如閃速存儲器。
[0046] 大容量儲存器設(shè)備108包括各種計算機可讀介質(zhì)例如，磁帶，磁盤，光盤，固態(tài)存 儲器（例如，閃速存儲器）等等。如圖IC中所示，特定大容量儲存器設(shè)備可以是硬盤驅(qū)動 器124。各種驅(qū)動器也可包括在大容量儲存器設(shè)備108中從而允許對各種計算機可讀介質(zhì) 讀取和/或?qū)懭?。大容量儲存器設(shè)備108包括可去除介質(zhì)126和/或不可去除的介質(zhì)。
[0047] I/O設(shè)備110包括各種設(shè)備，其允許數(shù)據(jù)和/或其它信息被輸入到或從計算設(shè)備 1〇〇中獲取到。實例I/O設(shè)備110包括光標控制設(shè)備、鍵盤、輔助鍵盤、麥克風、監(jiān)視器或者 其它顯示設(shè)備、揚聲器、打印機、網(wǎng)絡(luò)接口卡、調(diào)制解調(diào)器、透鏡、CCD或者其它圖像獲取設(shè) A/AjVAjV 奮？寺寺〇
[0048] 顯示設(shè)備130包括能夠為計算設(shè)備100的一個或多個用戶顯示信息的任何類型的 設(shè)備。顯示設(shè)備130的實例包括監(jiān)視器、顯示終端、視頻投影設(shè)備等等。
[0049] 像素陣列135還可以被包括以及相對于系統(tǒng)內(nèi)的其它電路可以遠程操作。
[0050]接口 106包括各種接口，其允許計算設(shè)備100與其它系統(tǒng)、設(shè)備或者計算環(huán)境進行 交互作用。實例接口 106可以包括任何數(shù)量的不同網(wǎng)絡(luò)接口 120,例如，局域網(wǎng)（LAN)、廣域 網(wǎng)（WAN)、無線網(wǎng)絡(luò)以及互聯(lián)網(wǎng)的接口。其它接口包括用戶接口 118和外圍設(shè)備接口 122。 接口 106也還可以包括一個或多個用戶接口元件118。接口 106還可以包括一個或者多個 外圍接口例如對于打印機的接口、定點設(shè)備（鼠標、軌跡板等）、鍵盤等等。
[0051] 總線112允許處理器102、存儲器設(shè)備104、接口 106、大容量儲存器設(shè)備108以及 I/O設(shè)備110彼此通信以及耦接至總線112的其它設(shè)備或者組件?？偩€112代表一個或者 多個多種類型的總線結(jié)構(gòu)，例如系統(tǒng)總線、PCI總線、IEEE 1394總線、USB總線等等。
[0052] 為了說明的目的，程序和其它可執(zhí)行程序組件在文中示出為離散的塊，盡管可以 理解的是這樣的程序和組件可以在不同的時間位于計算設(shè)備100的不同儲存器組件中并 且由處理器102可執(zhí)行?？商鎿Q地，文中所描述的系統(tǒng)和程序可以在硬件或者硬件、軟件和 /或固件的組合中實現(xiàn)。例如，一個或者多個專用集成電路（ASIC)聯(lián)機或者在系統(tǒng)的初始 化之前可以被編程以執(zhí)行一個或者多個文中所描述的系統(tǒng)和程序。
[0053] OB列的數(shù)目通?？梢允?00或更多，取決于空間限制等?？捎玫腛B列越多，列偏 移精確度越大。更大的精確度意味著更低的列噪聲、后期糾錯。通常，對于如圖2中所示的 每個列所有的可用物理OB將被讀出。如果實現(xiàn)較小數(shù)量的物理像素，而不是具有所需數(shù)量 的物理OB像素，（考慮到一定精確度目標），被實現(xiàn)的較小數(shù)量的物理像素在水平讀出過程 期間多次重新抽樣，則可以達到陣列尺寸減小的進一步程度。這個方法在圖3中示出。
[0054] 存在于數(shù)字轉(zhuǎn)換器的輸出處的原始CMOS成像傳感器數(shù)據(jù)可能是很不理想的。它 通常情況可能是讀出的像素的水平行的最佳順序并不等同于陣列內(nèi)的實際物理順序。另 夕卜，原始數(shù)據(jù)通常顯示還反映讀出結(jié)構(gòu)的性質(zhì)的不希望的偽影，其在弱光和相應(yīng)的高增益 的情況中變得非常明顯。這些讀出偽影通?？梢园蠪PN，其從逐列偏移中的變化中生 成；以及時間列噪聲，其由與水平讀出過程相關(guān)聯(lián)的電路復位造成。
[0055] CMOS傳感器的另一個興致屬性可以是：一定程度的暗信號可以由像素內(nèi)的光電 二極管生成。從該電流所生成的積分信號的量取決于曝光時間和溫度。由于暗信號可能無 法與光信號區(qū)分，因此其中的改變轉(zhuǎn)換為模擬域中信號基準中的改變。為了可使ADC的可 用動態(tài)范圍得到充分的利用，可能重要的是：對暗信號進行抽樣和調(diào)整。圖4示出了在CMOS 傳感器中這個通常是如何完成的。來自O(shè)B像素的數(shù)據(jù)可能是片上邏輯的平均并且與目標 數(shù)字黑電平比較。為了使得黑電平盡可能靠近目標，對輸入偏移電壓進行連續(xù)調(diào)整。這可 以被稱為黑鉗位或者OB鉗位過程。
[0056] 大多數(shù)的市售傳感器包括片上邏輯以執(zhí)黑鉗位和數(shù)字噪聲糾錯。這個邏輯不必 位于傳感器上，然而并且為了開發(fā)具有最小面積傳感器的相機系統(tǒng)，將這些糾錯移至圖像 信號處理鏈（ISP)是有意義的。如果它們位于具有很多可用的邏輯門和RAM的FPGA或者 ASIC中，由于糾錯是更少資源限制的，因此這實際上對于整個系統(tǒng)的性能有凈利益。
[0057] 圖5示出了如何將OB鉗位邏輯移動離開傳感器（連同傳感器糾錯算法）。在這種 情況下，來自O(shè)B鉗位邏輯的關(guān)于模擬調(diào)整的信息可以經(jīng)由其命令接口通過指令被傳遞至 傳感器。
[0058] 圖6示出了實現(xiàn)已經(jīng)在包括最小面積傳感器的系統(tǒng)的背景下開發(fā)的ISP前端的實 例。在此實例中傳感器上存在兩個數(shù)字轉(zhuǎn)換器，其分別轉(zhuǎn)換偶數(shù)和奇數(shù)列并且傳遞兩個查 分端口上的串行數(shù)據(jù)。
[0059] 在解串行化之后，第一過程可以涉及重建每個端口的列成為適當順序。接下來兩 個糾錯塊即處理黑鉗位和列噪聲糾錯是數(shù)據(jù)路徑專用的，也就是兩條鏈將被分別處理。
[0060] 黑鉗位一圖7中的流程圖可以是如何在片上傳統(tǒng)CMOS成像系統(tǒng)內(nèi)通常操作OB鉗 位邏輯的實例。可能通常存在多個抽樣并且對來自多個OB行的每幀做模擬調(diào)整，同時OB行 像素存在于數(shù)字讀出路徑中。如前面所討論的，對于最小面積傳感器，OB像素的數(shù)目可以降 低至必要的最低值，并且這可以通過消除OB行和使用列以糾錯黑鉗位以及列噪聲來實現(xiàn)。 圖8A和8B中的流程圖概述了實現(xiàn)這的一種方法?；纠砟羁梢允抢鄯e對于整個幀所測得 的、未糾錯的列偏移的集合并且使用最終估計以進行黑鉗位調(diào)整。同時，為了使得對單獨列 做出數(shù)字調(diào)整，每個單獨列偏移估計可以供給給后續(xù)過程。
[0061] 黑鉗位電平的調(diào)整可以使用傳感器上的DAC或電荷泵通過控制DC電壓（VMft ) 而完成。由于例如光電二極管中的暗電流，進入ADC的像素電壓偏移四處移動，進而DAC需 要通過估計數(shù)字域中的黑偏移而定期調(diào)整。
[0062] 行為不正常的各個OB像素可以嚴重降低黑偏移測量的質(zhì)量；進而處理它們是十 分重要的。一個好方法可能是對每個OB像素取包括問題像素和其最鄰近4個像素的一組 5個像素的中值。最后列偏移估計將然后被認為是所有中值的平均值。應(yīng)當做出一些準備 以在開始和結(jié)束時不失去的統(tǒng)計資料，例如緩沖OB的整個抽樣和裹住5個抽樣。這需要流 水線處理數(shù)據(jù)，導致延遲至少等于每行每個ADC通道的OB總數(shù)。
[0063] 偶數(shù)通道的列偏移估計（假設(shè)兩個ADC具有奇偶布置），行號r :

【權(quán)利要求】
1. 一種在封閉光環(huán)境中使用的內(nèi)窺鏡設(shè)備，包括： 內(nèi)窺鏡主體，其包括： 手持結(jié)構(gòu)； 內(nèi)腔，其由所述主體第一末端的處的內(nèi)腔基座附接； 所述內(nèi)腔的尖端部，其與所述主體的所述內(nèi)腔基座相對； 透鏡，其設(shè)置在所述尖端部的最遠端部； 成像傳感器，其靠近所述內(nèi)腔的所述尖端部設(shè)置，其中所述成像傳感器包括： 像素陣列，其用于感測電磁輻射； 傳遞端口，其用于傳遞由所述像素陣列生成的數(shù)據(jù)； 數(shù)字轉(zhuǎn)換器，其將模擬像素數(shù)據(jù)轉(zhuǎn)換成為數(shù)字數(shù)據(jù)； 黑鉗位電路，其提供對由所述像素陣列生成的數(shù)據(jù)的偏移控制； 電連接，其提供在所述成像傳感器和遠離所述成像傳感器圖像設(shè)置的信號處理電路之 間的電通信。
2. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，進一步包括長寄存器，其中所述長寄存器包括 用于控制所述像素陣列的曝光時間和所述像素陣列的增益的控制參數(shù)項目。
3. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，進一步包括長寄存器，其包括用于控制所述像 素陣列的增量偏移調(diào)整或者所述像素陣列的曝光時間的控制參數(shù)項目。
4. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，進一步包括長寄存器，其包括用于控制所述像 素陣列的增量偏移調(diào)整或者所述像素陣列的增益的控制參數(shù)項目。
5. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，進一步包括長寄存器，其包括用于控制增量偏 移調(diào)整和所述像素陣列的曝光時間或者所述像素陣列的增益的控制參數(shù)項目。
6. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，進一步包括長寄存器，其包括用于控制所述像 素陣列的增量偏移調(diào)整和所述像素陣列的曝光時間的控制參數(shù)項目。
7. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，進一步包括長寄存器，其包括用于通過調(diào)整模 擬電流、模擬電壓、像素定時、垂直定時、傳感器復位和傳感器初始化中的任意一個來控制 像素陣列的所述操作的多個控制參數(shù)項目。
8. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述像素陣列包括有源像素和光學黑色 像素，其中所述有源像素和所述光學黑色像素校準來自所述像素陣列的輸出。
9. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述像素陣列包括有源像素和光學黑色 像素，其中所述光學黑色像素組織在與所述像素陣列內(nèi)的所述有源像素鄰近的列中。
10. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器包括單個數(shù)字轉(zhuǎn)換器。
11. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器包括多個數(shù)字轉(zhuǎn)換器。
12. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器包括單個輸出端口。
13. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器包括多個輸出端口。
14. 根據(jù)權(quán)利要求9所述的內(nèi)窺鏡設(shè)備，其中，對所述光學黑色像素的列多次抽樣以降 低光學黑色列的數(shù)目。
15. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述像素陣列包括有源像素和光學黑色 像素，其中所述光學黑色像素組織在與所述像素陣列內(nèi)的所述有源像素鄰近的列中，其中 所述光學黑色像素的列組織在所述成像傳感器的右側(cè)和左側(cè)。
16. 根據(jù)權(quán)利要求15所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器右側(cè)的光學黑色列中 的一個被多次抽樣。
17. 根據(jù)權(quán)利要求15所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器左側(cè)的光學黑色列中 的一個被多次抽樣。
18. 根據(jù)權(quán)利要求15所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器右側(cè)的光學黑色列中 的一個被多次抽樣，并且所述成像傳感器左側(cè)的光學黑色列中的一個被多次抽樣。
19. 根據(jù)權(quán)利要求15所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器右側(cè)的光學黑色列中 的多個被多次抽樣。
20. 根據(jù)權(quán)利要求15所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器左側(cè)的光學黑色列中 的多個被多次抽樣。
21. 根據(jù)權(quán)利要求15所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器右側(cè)的光學黑色列中 的多個被多次抽樣，并且所述成像傳感器左側(cè)的光學黑色列中的多個被多次抽樣。
22. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述黑鉗位電路關(guān)于所述成像傳感器遠 程地設(shè)置。
23. 根據(jù)權(quán)利要求22所述的內(nèi)窺鏡設(shè)備，其中，所述設(shè)備還包括命令接口以控制所述 黑謝位電路。
24. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述黑鉗位電路感測由數(shù)模轉(zhuǎn)換器生成 的電壓。
25. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述黑鉗位電路感測由電荷泵生成的電 壓。
26. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器糾錯的一部分關(guān)于所述 成像傳感器遠程地設(shè)置。
27. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所有的成像傳感器糾錯關(guān)于所述成像傳 感器遠程設(shè)置。
28. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，進一步包括多個控制寄存器，其中所述控制寄 存器是經(jīng)由移位寄存器加載的數(shù)字鎖存器。
29. 根據(jù)權(quán)利要求28所述的內(nèi)窺鏡設(shè)備，其中，所述移位寄存器是任意長度的。
30. 根據(jù)權(quán)利要求28所述的內(nèi)窺鏡設(shè)備，其中，所述多個控制寄存器中的大多數(shù)是使 用包括數(shù)十比特的移位寄存器被加載的。
31. 根據(jù)權(quán)利要求28所述的內(nèi)窺鏡設(shè)備，其中，所述多個控制寄存器中的大多數(shù)是使 用包括數(shù)百比特的移位寄存器被加載的。
32. 根據(jù)權(quán)利要求28所述的內(nèi)窺鏡設(shè)備，其中，所述多個控制寄存器中的大多數(shù)是使 用包括數(shù)千比特的移位寄存器被加載的。
33. 根據(jù)權(quán)利要求28所述的內(nèi)窺鏡設(shè)備，其中，所述移位寄存器是使用串行的2線協(xié)議 被加載的。
34. 根據(jù)權(quán)利要求28所述的內(nèi)窺鏡設(shè)備，其中，所述移位寄存器中的一個專用于幀到 幀參數(shù)改變。
35. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器包括多個像素陣列，其 中多個像素陣列用于創(chuàng)建三維圖像。
36. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述成像傳感器還包括：包括所述像素 陣列的第一基板和包括用于所述像素陣列的支持電路的第二基板，其中包括所述支持電路 的所述第二基板遠離包括所述像素陣列的第一基板設(shè)置。
37. 根據(jù)權(quán)利要求36所述的內(nèi)窺鏡設(shè)備，其中，所述第一基板關(guān)于所述第二基板垂直 對齊。
38. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述像素陣列包括有源像素和光學黑色 像素，其中所述光學黑色像素組織在與所述像素陣列內(nèi)的所述有源像素鄰近的列中，其中 所述光學黑色像素的列被多次抽樣以計算列偏移。
39. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述像素陣列包括有源像素和光學黑色 像素，其中所述光學黑色像素組織在與所述像素陣列內(nèi)的所述有源像素相鄰的多個列和多 個行中。
40. 根據(jù)權(quán)利要求39所述的內(nèi)窺鏡設(shè)備，其中，所述光學黑色行的大部分從所述像素 陣列移除，使得僅有所述少數(shù)光學黑色行是具有功能的。
41. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述像素陣列包括有源像素和光學黑色 像素，其中所述光學黑色像素組在多個列中并且不包括與所述像素陣列內(nèi)的所述有源像素 鄰近的任何光學黑色行。
42. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述像素陣列包括有源像素和光學黑色 像素，其中所述光學黑色像素組織在與所述像素陣列內(nèi)的所述有源像素鄰近的多個列中， 其中多個列用于計算所述黑鉗位電路的基線黑電平和由所述圖像信號處理器執(zhí)行的黑鉗 位計算。
43. 根據(jù)權(quán)利要求42所述的內(nèi)窺鏡設(shè)備，其中，所述黑鉗位用于在數(shù)字轉(zhuǎn)換器之前計 算控制電壓偏移，并且使用多個列偏移利用簡單指數(shù)平滑法（SES)確定數(shù)據(jù)整個幀內(nèi)的總 偏移。
44. 根據(jù)權(quán)利要求1所述的內(nèi)窺鏡設(shè)備，其中，所述設(shè)備還包括存儲在存儲器中的二維 幀數(shù)據(jù)以用于抵消由圖像傳感器生成的固定模式噪聲。
45. 根據(jù)權(quán)利要求44所述的內(nèi)窺鏡設(shè)備，其中，所述二維幀數(shù)據(jù)是從暗幀捕獲中得到 的。
46. 根據(jù)權(quán)利要求45所述的內(nèi)窺鏡設(shè)備，其中，通過不對發(fā)射器施加脈沖來助于所述 暗幀捕獲。
47. 根據(jù)權(quán)利要求45所述的內(nèi)窺鏡設(shè)備，其中，通過所述暗幀捕獲的簡單指數(shù)平滑法 來計算所述像素偏移。
48. -種用于在環(huán)境光線不足環(huán)境中數(shù)字成像的系統(tǒng)，包括： 用于感測電磁輻射的成像傳感器，其中所述成像傳感器包括： 像素陣列，其用于感測電磁輻射； 傳遞端口，其用于發(fā)射由所述像素陣列生成的數(shù)據(jù)； 數(shù)字轉(zhuǎn)換器，其轉(zhuǎn)換模擬像素抽樣成數(shù)字數(shù)值； 黑鉗位電路，其提供對由所述像素陣列生成的數(shù)據(jù)的偏移控制； 內(nèi)窺鏡，其用于接近環(huán)境光線不足的環(huán)境； 手持件，其附接至所述內(nèi)窺鏡，其中，能夠通過所述手持件的操作來操作所述內(nèi)窺鏡； 包括處理器的控制單元，其中，所述控制單元能夠與成像傳感器電通信；以及 連接線纜，其電連接所述手持件和所述控制單元。
49. 根據(jù)權(quán)利要求48所述的系統(tǒng)，其中，所述像素陣列包括用于校準來自所述像素陣 列的輸出的光學黑色像素和有源像素。
50. 根據(jù)權(quán)利要求49所述的系統(tǒng)，其中，所述光學黑色像素組織在與所述像素陣列內(nèi) 的有源像素鄰近的列中。
51. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括能夠遠離所述像素陣列設(shè)置的黑鉗位控 制過程。
52. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括用于處理可能由所述像素陣列創(chuàng)建的圖 像數(shù)據(jù)的可編程門陣列。
53. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括少于50個的光學黑色像素列，使得其能 夠在所述系統(tǒng)的操作內(nèi)被再抽樣以提供精確性。
54. 根據(jù)權(quán)利要求49所述的系統(tǒng)，進一步包括光學黑色像素列，其均勻設(shè)置在所述有 源像素列的相對側(cè)。
55. 根據(jù)權(quán)利要求49所述的系統(tǒng)，進一步包括光學黑色像素列，其不均勻地設(shè)置在所 述有源像素列的相對側(cè)。
56. 根據(jù)權(quán)利要求49所述的系統(tǒng)，進一步包括黑鉗位控制過程，其對由光學黑色像素 接收的數(shù)據(jù)取平均值，并且將所述平均值和存儲在所述系統(tǒng)內(nèi)的存儲器內(nèi)的預定目標值比 較。
57. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括用于累加整個幀的所測量未糾錯列偏移 的集合的存儲器。
58. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括用于控制補償暗電流的電壓的數(shù)模轉(zhuǎn)換 電路。
59. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括用于控制電壓的電荷泵電流以抵消暗電 流。
60. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括多個寄存器。
61. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括命令寄存器，其用于高級別事件的1比特 命令如芯片復位和其它寄存器的負載。
62. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括設(shè)置在內(nèi)窺鏡內(nèi)位于其關(guān)于所述手持件 的遠端部的成像傳感器。
63. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括設(shè)置在所述手持件內(nèi)的成像傳感器。
64. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括發(fā)射器，其發(fā)射通過光纖從所述發(fā)射器 傳輸至所述內(nèi)窺鏡的尖端的電磁輻射的脈沖。
65. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括這樣一種纜線，該纜線包括：用于將來自 光發(fā)射器的電磁輻射傳輸至內(nèi)窺鏡的光纖，以及提供從所述控制單元到所述成像傳感器的 電子通信的導電線。
66. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括設(shè)置在所述控制單元內(nèi)并且與光發(fā)射器 和所述成像傳感器電通信的控制器。
67. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括設(shè)置在手持件內(nèi)并且與光發(fā)射器和所述 成像傳感器電通信的成像傳感器。
68. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括與發(fā)射器耦接的成像傳感器。
69. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括遠程處理算法，以通過使用每個列中的 光學黑色像素集合減去所測量列平均值來糾錯列噪聲。
70. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括用于傳輸像素數(shù)據(jù)的多個傳遞端口。
71. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括多個數(shù)字轉(zhuǎn)換器。
72. 根據(jù)權(quán)利要求48所述的系統(tǒng)，進一步包括關(guān)于所述像素陣列遠程設(shè)置的數(shù)字轉(zhuǎn)換 器。
【文檔編號】A61B1/04GK104486987SQ201380038876
【公開日】2015年4月1日 申請日期:2013年7月26日 優(yōu)先權(quán)日:2012年7月26日
【發(fā)明者】洛朗·布朗卡爾, 約翰·理查森 申請人:橄欖醫(yī)療公司