實施例總體上涉及數(shù)據(jù)處理，且更具體地涉及經由通用圖形處理單元進行的數(shù)據(jù)處理。

背景技術：

1、當前的并行圖形數(shù)據(jù)處理包括被開發(fā)用于對圖形數(shù)據(jù)執(zhí)行特定操作的系統(tǒng)和方法，這些特定操作如例如線性內插、曲面細分、柵格化、紋理映射、深度測試等。傳統(tǒng)上，圖形處理器使用固定功能計算單元來處理圖形數(shù)據(jù)；然而，最近，圖形處理器的多個部分已變得可編程，從而使得這樣的處理器能夠支持用于處理頂點和片段數(shù)據(jù)的更廣泛種類的操作。

2、為進一步提高性能，圖形處理器通常實施處理技術(比如，流水線操作)，這些處理技術試圖貫穿圖形流水線的不同部分來并行處理盡可能多的圖形數(shù)據(jù)。具有單指令多線程(simt)架構的并行圖形處理器被設計成最大化圖形流水線中的并行處理量。在simt架構中，多組并行線程試圖盡可能經常地一起同步執(zhí)行程序指令，以提高處理效率。用于simt架構的軟件和硬件的一般性概述可以在以下兩者中找到：shane?cook的cuda編程(cudaprogramming)，第3章，第37-51頁(2013年)；和/或nicholas?wilt的cuda手冊(gpu編程的綜合指南(a?comprehensive?guide?to?gpu?programming))，章節(jié)2.6.2到3.1.2(2013年6月)。

技術實現(xiàn)思路

技術特征：

1.一種用于加速機器學習操作的圖形處理單元，所述圖形處理單元包括：

2.如權利要求1所述的圖形處理單元，其中，所述解碼器電路與所述存儲器耦合，并且被配置成將經解碼的權重數(shù)據(jù)提供給所述通用圖形計算單元。

3.如權利要求1所述的圖形處理單元，其中，所述解碼器電路被包括在所述通用圖形計算單元內。

4.如權利要求3所述的圖形處理單元，其中，所述通用圖形計算單元被配置成接受來自所述存儲器的所述經編碼的數(shù)據(jù)和所述編碼簡檔以執(zhí)行計算，而不對所述經編碼的數(shù)據(jù)進行預先解碼。

5.如權利要求4所述的圖形處理單元，其中，所述通用圖形計算單元被配置成經由所述解碼器電路對所述經編碼的數(shù)據(jù)進行解碼以執(zhí)行所述神經網(wǎng)絡層計算。

6.如權利要求1-5中任一項所述的圖形處理單元，其中，所述經編碼的數(shù)據(jù)經由權重數(shù)據(jù)剖析系統(tǒng)被生成，所述權重數(shù)據(jù)剖析系統(tǒng)被配置成：

7.如權利要求6所述的圖形處理單元，其中，所述權重數(shù)據(jù)剖析系統(tǒng)被配置成將所述經編碼的數(shù)據(jù)和所述編碼簡檔存儲在所述存儲器中。

8.一種用于執(zhí)行神經網(wǎng)絡處理的方法，所述方法包括：

9.如權利要求8所述的方法，包括經由權重解碼器電路對所述經編碼的數(shù)據(jù)進行解碼，所述權重解碼器電路邏輯地位于所述存儲器與所述通用圖形處理器的通用計算單元之間。

10.如權利要求8所述的方法，包括經由解碼器電路對所述經編碼的數(shù)據(jù)進行解碼，所述解碼器電路被包括在所述通用圖形處理器的通用計算單元內。

11.如權利要求8所述的方法，其中，剖析所述經訓練的神經網(wǎng)絡的所述數(shù)據(jù)包括將所述通用圖形處理器配置成剖析經訓練的神經網(wǎng)絡的權重。

12.如權利要求11所述的方法，其中，將所述通用圖形處理器配置成剖析經訓練的神經網(wǎng)絡的權重包括將權重數(shù)據(jù)剖析系統(tǒng)配置成生成用于所述經訓練的神經網(wǎng)絡的權重數(shù)據(jù)的權重簡檔。

13.如權利要求12所述的方法，其中，所述經編碼的數(shù)據(jù)包括經編碼的權重，所述經編碼的權重基于常用的權重值或出現(xiàn)在所述權重數(shù)據(jù)內的模式被編碼。

14.一種數(shù)據(jù)處理系統(tǒng)，包括：

15.如權利要求14所述的數(shù)據(jù)處理系統(tǒng)，其中，所述解碼器電路與所述存儲器耦合，并且被配置成將經解碼的數(shù)據(jù)提供給所述通用圖形計算單元。

16.如權利要求14所述的數(shù)據(jù)處理系統(tǒng)，其中，所述解碼器電路被包括在所述通用圖形計算單元內。

17.如權利要求16所述的數(shù)據(jù)處理系統(tǒng)，其中，所述通用圖形計算單元被配置成接受來自所述存儲器的所述經編碼的數(shù)據(jù)和所述編碼簡檔以執(zhí)行計算，而不對所述經編碼的數(shù)據(jù)進行預先解碼。

18.如權利要求17所述的數(shù)據(jù)處理系統(tǒng)，其中，所述通用圖形計算單元被配置成經由所述解碼器電路對所述經編碼的數(shù)據(jù)進行解碼以執(zhí)行所述神經網(wǎng)絡層計算。

19.如權利要求14-18中任一項所述的數(shù)據(jù)處理系統(tǒng)，其中，所述經編碼的數(shù)據(jù)經由權重數(shù)據(jù)剖析系統(tǒng)被生成，所述權重數(shù)據(jù)剖析系統(tǒng)被配置成：

20.如權利要求19所述的數(shù)據(jù)處理系統(tǒng)，其中，所述權重數(shù)據(jù)剖析系統(tǒng)被配置成將所述頻率編碼的權重數(shù)據(jù)和所述編碼簡檔存儲在所述存儲器中。

技術總結
本申請公開了使用低精度和高精度的混合推理。一個實施例提供了一種用于執(zhí)行機器學習操作的計算設備，所述計算設備包括：指令解碼邏輯，所述指令解碼邏輯用于將包括多個操作數(shù)的單個指令解碼成單個經解碼指令，所述多個操作數(shù)具有不同的精度；以及包括第一邏輯單元和第二邏輯單元的通用圖形計算單元，所述通用圖形計算單元用于執(zhí)行所述單個經解碼指令，其中，執(zhí)行所述單個經解碼指令包括以第一精度對所述多個操作數(shù)中的第一組操作數(shù)執(zhí)行第一指令操作，并且同時以第二精度對所述多個操作數(shù)中的第二組操作數(shù)執(zhí)行第二指令操作。

技術研發(fā)人員：E·烏爾德-阿邁德-瓦爾,B·拉克舍瑪南,T·史佩斯曼,J·雷,P·T·唐,M·斯特里克蘭德,陳曉明,姚安邦,B·J·阿什博,L·L·赫德,馬立偉
受保護的技術使用者：英特爾公司
技術研發(fā)日：
技術公布日：2025/5/15