本申請(qǐng)屬于半導(dǎo)體光電器件與智能視覺領(lǐng)域，更具體地，涉及一種非線性卷積視覺獲取方法及系統(tǒng)。

背景技術(shù)：

1、隨著電動(dòng)汽車的普及，基于機(jī)器視覺技術(shù)的自動(dòng)駕駛被視為現(xiàn)今汽車技術(shù)發(fā)展的重要基石。自動(dòng)駕駛作為一種典型的邊緣計(jì)算范式，其不可避免地在各種復(fù)雜的光照環(huán)境下處理信息，其中最主要的就是在極端黑暗環(huán)境、非均勻非直射光照下的成像和識(shí)別問題。傳統(tǒng)的機(jī)器視覺系統(tǒng)在處理這些問題上需要復(fù)雜的算法和龐大的硬件開銷，這是因?yàn)槠涮幚碓擃悘?fù)雜光照環(huán)境識(shí)別問題主要采用兩個(gè)方式：

2、一、傳統(tǒng)電荷耦合器件（ccd）成像時(shí)，其光響應(yīng)度是固定不變的，為了適應(yīng)黑暗環(huán)境的光照，有提高感光度和延長曝光時(shí)間兩種方式。但是，提高感光度需要電路后續(xù)進(jìn)行信號(hào)放大，這將不可避免地引入噪聲，降低成像質(zhì)量；而延長曝光時(shí)間會(huì)制約快速圖像捕捉，對(duì)自動(dòng)駕駛這類快速移動(dòng)的成像非常不利，會(huì)造成成像模糊。

3、二、傳統(tǒng)機(jī)器視覺算法處理成像后的圖像時(shí)，為改善復(fù)雜光照導(dǎo)致的對(duì)比度低問題，往往需要采用強(qiáng)度上的非線性變化對(duì)圖像進(jìn)行處理，其中最典型的就是指數(shù)變化和對(duì)數(shù)變化，但這種非線性變換對(duì)數(shù)字邏輯電路運(yùn)算開銷很大，不利于自動(dòng)駕駛這類邊緣端計(jì)算；因此，有必要將可調(diào)光響應(yīng)度、非線性處理這兩者從處理后端移入前端，甚至直接在感知圖像過程中完成。目前，從器件性能上來說，沒有器件能同時(shí)完成可調(diào)光響應(yīng)度、非線性處理這兩種功能；從計(jì)算方法上來說，目前也沒有一種硬件友好型的計(jì)算方法能讓非線性器件發(fā)揮其更多角度的視覺計(jì)算能力。所以，需要從計(jì)算方法和硬件系統(tǒng)上進(jìn)行協(xié)同創(chuàng)新，從此實(shí)現(xiàn)面向復(fù)雜光照?qǐng)鼍暗母咚佟⒏呔o湊、低能耗的視覺架構(gòu)與硬件系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的缺陷，本申請(qǐng)的目的在于提供一種非線性卷積視覺獲取方法及系統(tǒng)，旨在解決現(xiàn)沒有器件能夠同時(shí)完成可調(diào)光響應(yīng)度和非線性處理圖像，導(dǎo)致復(fù)雜光照環(huán)境下圖像分辨率較低的問題。

2、為實(shí)現(xiàn)上述目的，第一方面，本申請(qǐng)?zhí)峁┝艘环N非線性卷積視覺系統(tǒng)，包括若干由非線性單元構(gòu)成的非線性卷積核；非線性單元為將輸入信號(hào)以一種非線性函數(shù)的形式轉(zhuǎn)化為輸出信號(hào)的處理單元；一個(gè)非線性單元作為一個(gè)卷積核像素單元；非線性函數(shù)為包括系數(shù)項(xiàng)和指數(shù)項(xiàng)的指數(shù)函數(shù)，或包括系數(shù)項(xiàng)和底數(shù)項(xiàng)的對(duì)數(shù)函數(shù)；非線性卷積核用于對(duì)圖像進(jìn)行非線性卷積處理；非線性單元中的系數(shù)項(xiàng)的選取用于實(shí)現(xiàn)對(duì)圖像的高通或低通濾波；底數(shù)項(xiàng)或指數(shù)項(xiàng)的選取用于實(shí)現(xiàn)對(duì)圖像的對(duì)比度調(diào)節(jié)；

3、其中，非線性卷積核按矩陣形式排列，矩陣的兩個(gè)維度的長度最大不超過輸入圖像對(duì)應(yīng)像素矩陣的兩個(gè)維度長度。

4、進(jìn)一步優(yōu)選地，當(dāng)非線性卷積核中的系數(shù)項(xiàng)在二階微分算子核的基礎(chǔ)上對(duì)核中心的最高權(quán)重增加或減小，且非線性函數(shù)為亞線性或超線性時(shí)，非線性卷積核用于實(shí)現(xiàn)亮盲或暗盲的銳化。

5、進(jìn)一步優(yōu)選地，一個(gè)非線性卷積核內(nèi)的非線性單元包括兩個(gè)可重構(gòu)非線性光伏異質(zhì)結(jié)器件，非線性單元輸出電流的總和作為非線性卷積核的輸出。

6、進(jìn)一步優(yōu)選地，可重構(gòu)非線性光伏異質(zhì)結(jié)器件為n-si/p-agox異質(zhì)結(jié)；其中，0.4＜x＜1.2；n-si層厚度為10nm~500um；p-agox層厚度為10nm~100nm。

7、進(jìn)一步優(yōu)選地，非線性單元的可重構(gòu)非線性光伏異質(zhì)結(jié)器件的p-agox方向輸出正電流，n-si方向輸出負(fù)電流，兩個(gè)可重構(gòu)非線性光伏異質(zhì)結(jié)器件反向并聯(lián)，p-agox方向輸出的正電流和n-si方向輸出的負(fù)電流相加即為正負(fù)可調(diào)的非線性單元輸出，所有的非線性單元的輸出之和為非線性卷積核的輸出。

8、第二方面，本申請(qǐng)?zhí)峁┝艘环N非線性卷積視覺獲取方法，具體包括以下步驟：

9、確定非線性卷積核的大小，以實(shí)現(xiàn)對(duì)圖像的高通濾波或低通濾波為目標(biāo)，調(diào)節(jié)非線性卷積核中的系數(shù)項(xiàng)；根據(jù)圖像的預(yù)設(shè)對(duì)比度，調(diào)節(jié)非線性卷積核中的指數(shù)項(xiàng)或底數(shù)項(xiàng)；

10、對(duì)圖像矩陣所有元素依次按非線性卷積核大小輸入至非線性卷積核進(jìn)行非線性映射，非線性卷積核上每個(gè)非線性單元映射輸出的結(jié)果相加得到一次卷積后圖像的元素輸出，以此類推，對(duì)圖像元素依次進(jìn)行卷積并排列輸出后的元素為非線性卷積處理后的圖像。

11、進(jìn)一步優(yōu)選地，將非線性卷積核的系數(shù)項(xiàng)在二階微分算子核的基礎(chǔ)上對(duì)核中心的最高權(quán)重增加或減小，并使非線性函數(shù)為亞線性或超線性后，實(shí)現(xiàn)非線性卷積核對(duì)圖像執(zhí)行亮盲或暗盲的銳化。

12、進(jìn)一步優(yōu)選地，非線性卷積核中的系數(shù)項(xiàng)和指數(shù)項(xiàng)調(diào)節(jié)方法為：

13、基于負(fù)向電壓越大且持續(xù)時(shí)間越長，電離程度越高，可重構(gòu)非線性光伏異質(zhì)結(jié)器件的光電指數(shù)響應(yīng)函數(shù)中的系數(shù)項(xiàng)增加而指數(shù)項(xiàng)下降的特性，在可重構(gòu)非線性光伏異質(zhì)結(jié)器件的p-agox上施加負(fù)向電壓，使陷阱中心進(jìn)行電離；其中，可重構(gòu)非線性光伏異質(zhì)結(jié)器件為n-si/p-agox異質(zhì)結(jié)；

14、基于正向電壓越大且持續(xù)時(shí)間越長，去電離程度越高，可重構(gòu)非線性光伏異質(zhì)結(jié)器件的光電指數(shù)響應(yīng)函數(shù)中的系數(shù)項(xiàng)下降而指數(shù)項(xiàng)增加的特性，在可重構(gòu)非線性光伏異質(zhì)結(jié)器件的p-agox上施加正向電壓，使陷阱中心進(jìn)行去電離。

15、總體而言，通過本申請(qǐng)所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下有益效果：

16、本申請(qǐng)?zhí)峁┝艘环N非線性卷積視覺獲取方法，該獲取方法利用了非線性單元中線性的系數(shù)項(xiàng)和非線性項(xiàng)（指數(shù)項(xiàng)或底數(shù)項(xiàng)）以進(jìn)行計(jì)算，可以在一個(gè)非線性卷積核的計(jì)算過程中既實(shí)現(xiàn)基于非線性項(xiàng)的對(duì)比度提升以完成暗部圖像的增強(qiáng)，又實(shí)現(xiàn)基于系數(shù)項(xiàng)的低通濾波和高通濾波功能完成高斯去噪和邊緣提取等功能；特別是其能執(zhí)行亮盲和暗盲銳化這一傳統(tǒng)線性核無法執(zhí)行的功能。非線性是一種器件的非理想特性，此前并沒有太大的應(yīng)用價(jià)值，而本申請(qǐng)?zhí)峁┑姆蔷€性卷積視覺獲取方法適用于大多數(shù)非線性的光電器件，是一種硬件友好型的卷積視覺算法，擴(kuò)寬了非理想器件的使用場(chǎng)景。

17、本申請(qǐng)?zhí)峁┝艘环N非線性卷積視覺系統(tǒng)，利用了可重構(gòu)非線性光伏異質(zhì)結(jié)n-si/p-agox的光電響應(yīng)呈指數(shù)函數(shù)可調(diào)的特性，將器件受陷阱調(diào)控的一種非線性光伏電池作為光電計(jì)算單元；同時(shí)，將器件p-agox端口輸出的正電流與另一器件n-si端口輸出的負(fù)電流相加得到一個(gè)正負(fù)可調(diào)的非線性卷積核單元輸出，最后將其拓展得到非線性卷積視覺系統(tǒng)。

技術(shù)特征：

1.一種非線性卷積視覺系統(tǒng)，其特征在于，包括若干由非線性單元構(gòu)成的非線性卷積核；非線性單元為將輸入信號(hào)以一種非線性函數(shù)的形式轉(zhuǎn)化為輸出信號(hào)的處理單元；一個(gè)非線性單元作為一個(gè)卷積核像素單元；非線性函數(shù)為包括系數(shù)項(xiàng)和指數(shù)項(xiàng)的指數(shù)函數(shù)，或包括系數(shù)項(xiàng)和底數(shù)項(xiàng)的對(duì)數(shù)函數(shù)；非線性卷積核用于對(duì)圖像進(jìn)行非線性卷積處理；非線性單元中的系數(shù)項(xiàng)的選取用于實(shí)現(xiàn)對(duì)圖像的高通或低通濾波；底數(shù)項(xiàng)或指數(shù)項(xiàng)的選取用于實(shí)現(xiàn)對(duì)圖像的對(duì)比度調(diào)節(jié)；

2.根據(jù)權(quán)利要求1所述的非線性卷積視覺系統(tǒng)，其特征在于，當(dāng)非線性卷積核中的系數(shù)項(xiàng)在二階微分算子核的基礎(chǔ)上對(duì)核中心的最高權(quán)重增加或減小，且非線性函數(shù)為亞線性或超線性時(shí)，非線性卷積核用于實(shí)現(xiàn)亮盲或暗盲的銳化。

3.根據(jù)權(quán)利要求1所述的非線性卷積視覺系統(tǒng)，其特征在于，一個(gè)非線性卷積核內(nèi)的非線性單元包括兩個(gè)可重構(gòu)非線性光伏異質(zhì)結(jié)器件，非線性單元輸出的電流總和作為非線性卷積核的輸出。

4.根據(jù)權(quán)利要求3所述的非線性卷積視覺系統(tǒng)，其特征在于，可重構(gòu)非線性光伏異質(zhì)結(jié)器件為n-si/p-agox異質(zhì)結(jié)；其中，0.4＜x＜1.2；n-si層厚度為10nm~500um；p-agox層厚度為10nm~100nm。

5.根據(jù)權(quán)利要求4所述的非線性卷積視覺系統(tǒng)，其特征在于，非線性單元的可重構(gòu)非線性光伏異質(zhì)結(jié)器件的p-agox方向輸出正電流，n-si方向輸出負(fù)電流，兩個(gè)可重構(gòu)非線性光伏異質(zhì)結(jié)器件反向并聯(lián)，p-agox方向輸出的正電流和n-si方向輸出的負(fù)電流相加即為正負(fù)可調(diào)的非線性單元輸出，所有的非線性單元的輸出之和為非線性卷積核的輸出。

6.一種基于權(quán)利要求1至5任一所述的非線性卷積視覺系統(tǒng)的非線性卷積視覺獲取方法，其特征在于，具體包括以下步驟：

7.根據(jù)權(quán)利要求6所述的非線性卷積視覺獲取方法，其特征在于，將非線性卷積核的系數(shù)項(xiàng)在二階微分算子核的基礎(chǔ)上對(duì)核中心的最高權(quán)重增加或減小，并使非線性函數(shù)為亞線性或超線性后，實(shí)現(xiàn)非線性卷積核對(duì)圖像執(zhí)行亮盲或暗盲的銳化。

8.根據(jù)權(quán)利要求6或7所述的非線性卷積視覺獲取方法，其特征在于，非線性卷積核中的系數(shù)項(xiàng)和指數(shù)項(xiàng)調(diào)節(jié)方法為：

技術(shù)總結(jié)
本申請(qǐng)屬于半導(dǎo)體光電器件與智能視覺領(lǐng)域，具體公開了一種非線性卷積視覺獲取方法及系統(tǒng)；系統(tǒng)包括若干由非線性單元構(gòu)成的非線性卷積核；非線性單元為將輸入信號(hào)以一種非線性函數(shù)的形式轉(zhuǎn)化為輸出信號(hào)的處理單元；一個(gè)非線性單元作為一個(gè)卷積核像素單元；非線性函數(shù)為包括系數(shù)項(xiàng)和指數(shù)項(xiàng)的指數(shù)函數(shù)，或包括系數(shù)項(xiàng)和底數(shù)項(xiàng)的對(duì)數(shù)函數(shù)；非線性單元中的系數(shù)項(xiàng)的選取用于實(shí)現(xiàn)對(duì)圖像的高通或低通濾波；底數(shù)項(xiàng)或指數(shù)項(xiàng)的選取用于實(shí)現(xiàn)對(duì)圖像的對(duì)比度調(diào)節(jié)。本申請(qǐng)可以在一個(gè)非線性卷積核的計(jì)算過程中既實(shí)現(xiàn)基于非線性項(xiàng)的對(duì)比度提升以完成暗部圖像的增強(qiáng)，又實(shí)現(xiàn)基于系數(shù)項(xiàng)的低通濾波和高通濾波功能完成高斯去噪和邊緣提取等功能。

技術(shù)研發(fā)人員：程曉敏,羅云皓,閆森浩,曹麗娟,繆向水
受保護(hù)的技術(shù)使用者：華中科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15