本發(fā)明涉及計算機(jī)視覺和人工智能，具體為基于光電混合計算架構(gòu)的圖像分類方法及系統(tǒng)。

背景技術(shù)：

1、圖像分類是一種基于圖像特征識別的技術(shù)，它利用計算機(jī)視覺和機(jī)器學(xué)習(xí)的方法，將輸入的圖像分為不同的類別或標(biāo)簽，在安防監(jiān)控、自動駕駛、金融支付等多個領(lǐng)域具有廣泛的應(yīng)用前景。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（convolutional?neuralnetwork,?cnn）成為主流的圖像分類方法之一。卷積神經(jīng)網(wǎng)絡(luò)通過多層卷積運(yùn)算和池化操作提取圖像特征，并利用全連接層進(jìn)行分類，具有自適應(yīng)學(xué)習(xí)能力、高效的特征提取能力和較強(qiáng)的泛化能力，大幅提升了圖像分類的準(zhǔn)確性和計算效率。

2、在卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展過程中，研究人員提出了多種改進(jìn)結(jié)構(gòu)，以提升分類性能。例如，殘差網(wǎng)絡(luò)（residual?network,?resnet）通過引入殘差學(xué)習(xí)和跳躍連接，緩解了深度網(wǎng)絡(luò)訓(xùn)練中的梯度消失和退化問題，使得更深層的網(wǎng)絡(luò)能夠穩(wěn)定訓(xùn)練，并在多個計算機(jī)視覺任務(wù)中展現(xiàn)出優(yōu)異的性能。然而，隨著網(wǎng)絡(luò)深度的增加，計算復(fù)雜度顯著提升，使得訓(xùn)練和推理過程需要消耗大量的計算資源，計算時間變長，能耗增加，限制了其在資源受限場景下的應(yīng)用。

3、目前，深度學(xué)習(xí)模型主要依賴于電子計算芯片進(jìn)行計算，但電子芯片的性能受限于摩爾定律的放緩，傳統(tǒng)電子計算架構(gòu)在計算速度、功耗和帶寬方面逐漸遇到瓶頸，難以滿足大規(guī)模數(shù)據(jù)處理的需求。因此，如何在保證計算精度的同時，降低計算負(fù)擔(dān)，提高計算效率，成為深度學(xué)習(xí)領(lǐng)域亟待解決的問題。

4、光計算芯片作為一種基于光子學(xué)原理的新型計算硬件，為突破電子計算的瓶頸提供了新的解決方案。光計算芯片利用光子作為信息載體，通過光學(xué)器件（如光調(diào)制器、光電探測器、光源等）進(jìn)行計算，相較于傳統(tǒng)電子計算方式，光計算具備高速傳輸、低能耗、高帶寬和抗干擾能力強(qiáng)等優(yōu)勢。近年來，基于衍射神經(jīng)網(wǎng)絡(luò)（diffractive?neural?network,dnn）的光計算方法受到廣泛關(guān)注，衍射神經(jīng)網(wǎng)絡(luò)通過光的干涉和衍射效應(yīng)模擬生物神經(jīng)網(wǎng)絡(luò)的信息處理過程，實現(xiàn)無能耗的并行計算。該方法利用光學(xué)元件（如透鏡、衍射光柵等）對輸入光場進(jìn)行傅里葉變換、卷積等數(shù)學(xué)運(yùn)算，并最終通過光電探測器將計算結(jié)果轉(zhuǎn)換為電信號。然而，全光計算系統(tǒng)在實際應(yīng)用中仍然存在諸多挑戰(zhàn)，例如缺乏非線性計算能力、存儲單元受限等問題，使得其獨立應(yīng)用于復(fù)雜深度學(xué)習(xí)任務(wù)時存在較大的局限性。

5、基于此，研究者們開始探索光計算與電子計算結(jié)合的混合計算架構(gòu)，以充分利用光計算的高速、低能耗優(yōu)勢，同時結(jié)合電子計算的高精度和存儲能力，以突破傳統(tǒng)計算架構(gòu)的性能瓶頸。光電混合計算架構(gòu)已逐步成為計算硬件發(fā)展的重要方向，并在計算機(jī)視覺、模式識別等領(lǐng)域展現(xiàn)出良好的應(yīng)用潛力。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于光電混合計算架構(gòu)的圖像分類方法及系統(tǒng)，解決了現(xiàn)有電子計算架構(gòu)在深度神經(jīng)網(wǎng)絡(luò)計算中的高計算量、高能耗和計算速度受限的問題。

2、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：基于光電混合計算架構(gòu)的圖像分類方法，包括以下步驟：

3、將輸入圖像進(jìn)行上采樣操作，以符合光學(xué)衍射網(wǎng)絡(luò)的輸入要求；

4、使用光學(xué)衍射網(wǎng)絡(luò)對上采樣后的圖像進(jìn)行光學(xué)衍射計算，得到光學(xué)特征；

5、將光學(xué)特征轉(zhuǎn)化為電信號，并輸入至電子神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取；

6、在電子神經(jīng)網(wǎng)絡(luò)中使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并輸出圖像分類結(jié)果。

7、優(yōu)選的，所述上采樣操作采用基于“area”插值的上采樣方法，所述上采樣方法通過對輸入圖像進(jìn)行區(qū)域插值，計算每個像素點的鄰域平均值，從而生成與原圖像大小匹配的上采樣圖像。

8、優(yōu)選的，所述光學(xué)衍射計算的步驟包括：

9、對上采樣后的圖像進(jìn)行傅里葉變換，將圖像從空間域轉(zhuǎn)換為頻域表示；

10、對頻域信息應(yīng)用角譜傳遞函數(shù)，通過逐元素乘法操作對頻域信號的相位和振幅進(jìn)行調(diào)制；

11、對調(diào)制后的頻域信號進(jìn)行逆傅里葉變換，將頻域信號恢復(fù)為空間域的圖像特征。

12、優(yōu)選的，所述角譜傳遞函數(shù)為預(yù)設(shè)的角譜濾波函數(shù)，其根據(jù)輸入圖像的頻域特征，針對不同的振幅和相位信息進(jìn)行加權(quán)，調(diào)節(jié)頻域信號的傳播特性，從而增強(qiáng)或抑制特定頻率成分，得到調(diào)制后的頻域信號。

13、優(yōu)選的，所述電子神經(jīng)網(wǎng)絡(luò)使用深度卷積神經(jīng)網(wǎng)絡(luò)resnet50進(jìn)行特征提取。

14、優(yōu)選的，所述卷積神經(jīng)網(wǎng)絡(luò)resnet50包括多個殘差模塊，每個殘差模塊由至少兩層卷積層組成，并通過跳躍連接將輸入信號與輸出信號相加。

15、優(yōu)選的，所述方法還包括：基于圖像分類結(jié)果計算損失并進(jìn)行模型訓(xùn)練。

16、優(yōu)選的，所述計算損失的步驟采用交叉熵?fù)p失函數(shù)，該損失函數(shù)根據(jù)圖像分類結(jié)果的預(yù)測概率與真實標(biāo)簽之間的差異計算損失值，其中，所述預(yù)測概率通過對網(wǎng)絡(luò)輸出進(jìn)行softmax激活得到，交叉熵?fù)p失函數(shù)通過對每個類別的預(yù)測概率取對數(shù)并與真實標(biāo)簽進(jìn)行乘法操作，最終計算整個數(shù)據(jù)集的總損失。

17、優(yōu)選的，所述基于圖像分類結(jié)果計算損失并進(jìn)行模型訓(xùn)練，具體包括以下步驟：

18、將電子神經(jīng)網(wǎng)絡(luò)輸出的預(yù)測類別與真實標(biāo)簽進(jìn)行比較，計算交叉熵?fù)p失；

19、通過反向傳播算法，根據(jù)損失值計算梯度；

20、使用優(yōu)化算法對網(wǎng)絡(luò)參數(shù)進(jìn)行更新，以最小化損失函數(shù)，從而優(yōu)化圖像分類模型。

21、本發(fā)明還提供基于光電混合計算架構(gòu)的圖像分類系統(tǒng)，包括：

22、數(shù)據(jù)輸入模塊，用于接收輸入圖像并對其進(jìn)行上采樣操作，以符合光學(xué)衍射網(wǎng)絡(luò)的輸入要求；

23、光學(xué)衍射計算模塊，用于對上采樣后的圖像進(jìn)行光學(xué)衍射計算，得到光學(xué)特征；

24、光電轉(zhuǎn)換模塊，用于將光學(xué)特征轉(zhuǎn)化為電信號并傳遞給電子神經(jīng)網(wǎng)絡(luò)；

25、電子神經(jīng)網(wǎng)絡(luò)模塊，用于接收光電轉(zhuǎn)換后的電信號，并使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，輸出圖像分類結(jié)果；

26、損失計算與優(yōu)化模塊，用于根據(jù)圖像分類結(jié)果計算損失，并通過優(yōu)化算法更新電子神經(jīng)網(wǎng)絡(luò)的參數(shù)，從而優(yōu)化圖像分類模型。

27、本發(fā)明提供了基于光電混合計算架構(gòu)的圖像分類方法及系統(tǒng)。具備以下有益效果：

28、1、本發(fā)明通過光學(xué)衍射計算實現(xiàn)部分特征提取，相比純電子計算架構(gòu)減少了大量矩陣運(yùn)算的計算負(fù)擔(dān)。由于光學(xué)計算的并行處理能力強(qiáng)且無需額外能耗，系統(tǒng)整體計算效率得到提升，同時降低了電子計算部分的功耗，使得該方法在高效能計算任務(wù)中具有較大的優(yōu)勢。

29、2、本發(fā)明光學(xué)衍射計算能夠提取高維空間信息，并結(jié)合電子神經(jīng)網(wǎng)絡(luò)進(jìn)行深度特征學(xué)習(xí)，使得圖像分類任務(wù)兼具光學(xué)計算的高分辨特性和深度學(xué)習(xí)的強(qiáng)表達(dá)能力。

30、3、傳統(tǒng)電子計算在處理高維度、大規(guī)模數(shù)據(jù)時容易受到存儲帶寬和計算資源的限制。本發(fā)明創(chuàng)新性地引入光學(xué)計算作為預(yù)處理手段，減少了電子計算部分的計算量，從而突破了傳統(tǒng)電子計算架構(gòu)的計算瓶頸，為大規(guī)模圖像分類任務(wù)提供了一種新的解決方案。

31、4、本發(fā)明的光電混合計算架構(gòu)可以無縫對接現(xiàn)有的深度學(xué)習(xí)框架，電子神經(jīng)網(wǎng)絡(luò)部分可采用標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)（cnn）架構(gòu)，并結(jié)合主流優(yōu)化算法進(jìn)行訓(xùn)練。這種兼容性使得本系統(tǒng)可以快速集成到現(xiàn)有的ai推理平臺，并適用于不同應(yīng)用場景，如醫(yī)學(xué)影像分析、目標(biāo)檢測和遙感圖像分類等。