本技術(shù)涉及人工智能，特別是涉及基于國產(chǎn)神威處理器的pytorch移植方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)框架已經(jīng)成為研究和開發(fā)人工智能應(yīng)用的核心工具之一。特別是，pytorch作為一個(gè)開源的深度學(xué)習(xí)框架，由于其靈活性、易用性以及豐富的api和模型庫，已經(jīng)成為全球研究人員和開發(fā)者的首選。pytorch能夠高效地支持深度學(xué)習(xí)模型的構(gòu)建、訓(xùn)練、調(diào)試以及推理等任務(wù)，極大地提升了人工智能技術(shù)的研究和應(yīng)用效率。

2、然而，隨著深度學(xué)習(xí)模型復(fù)雜度的不斷增加，尤其是在大規(guī)模數(shù)據(jù)集的訓(xùn)練和推理任務(wù)中，傳統(tǒng)的計(jì)算資源（如cpu和gpu）往往面臨性能瓶頸。尤其是在高計(jì)算負(fù)載的深度學(xué)習(xí)任務(wù)中，cpu和gpu的性能在數(shù)據(jù)處理和計(jì)算能力上的限制，逐漸成為制約深度學(xué)習(xí)發(fā)展的關(guān)鍵因素。

3、現(xiàn)有的pytorch框架，特別是在硬件加速方面，主要針對x86架構(gòu)的cpu和nvidia的gpu進(jìn)行優(yōu)化。這些硬件平臺(tái)具有特定的指令集和編程模型，pytorch在這些硬件平臺(tái)上實(shí)現(xiàn)了高效的計(jì)算庫和優(yōu)化算法。這些計(jì)算庫如cudnn、nccl等，利用nvidia?gpu的并行計(jì)算能力，顯著提升了深度學(xué)習(xí)任務(wù)的計(jì)算效率。

4、然而，針對神威處理器平臺(tái)，pytorch框架在現(xiàn)有技術(shù)上存在一定的局限性。神威處理器具有獨(dú)特的架構(gòu)和指令集，其編程環(huán)境和工具鏈與x86架構(gòu)和nvidia?gpu完全不同?，F(xiàn)有的pytorch框架中的許多高性能計(jì)算庫和模塊是針對特定硬件平臺(tái)（如nvidia?gpu）開發(fā)的，這使得這些計(jì)算庫在神威處理器上可能無法直接兼容，進(jìn)而影響pytorch框架在該平臺(tái)上的運(yùn)行性能。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種基于國產(chǎn)神威處理器的pytorch移植方法，以實(shí)現(xiàn)pytorch框架在神威處理器上的高效運(yùn)行，提升深度學(xué)習(xí)任務(wù)的計(jì)算效率和性能。

2、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例提供了一種基于國產(chǎn)神威處理器的pytorch移植方法，包括：

3、架構(gòu)適配層搭建步驟，在pytorch框架和神威處理器之間配置一架構(gòu)適配層swmath，所述架構(gòu)適配層swmath設(shè)置有多個(gè)適配接口，為每個(gè)pytorch框架的pytorch算子定義一個(gè)對應(yīng)的神威實(shí)現(xiàn)，實(shí)現(xiàn)所述多個(gè)適配接口與pytorch框架的pytorch算子一一映射，且所述適配接口被調(diào)用時(shí)可調(diào)用神威處理器進(jìn)行算子運(yùn)算，以借助該架構(gòu)適配層swmath將pytorch框架橋接神威處理器，以橋接兩者架構(gòu)差異。

4、基于此步驟，執(zhí)行相應(yīng)算子運(yùn)算時(shí)，pytorch會(huì)調(diào)用相應(yīng)的算子的適配接口，在神威處理器上進(jìn)行計(jì)算，將pytorch的標(biāo)準(zhǔn)算子運(yùn)算直接映射到針對神威處理器的優(yōu)化后實(shí)現(xiàn)上。

5、高性能計(jì)算庫移植步驟，識(shí)別pytorch框架中依賴cuda平臺(tái)的高性能計(jì)算庫，實(shí)現(xiàn)所述高性能計(jì)算庫并基于神威處理器進(jìn)行優(yōu)化，得到優(yōu)化后的高性能計(jì)算庫，所述優(yōu)化后的高性能計(jì)算庫包括基礎(chǔ)數(shù)學(xué)運(yùn)算庫swblas、深度學(xué)習(xí)算子庫swdnn及張量運(yùn)算庫swtensor，將所述基礎(chǔ)數(shù)學(xué)運(yùn)算庫swblas、深度學(xué)習(xí)算子庫swdnn及張量運(yùn)算庫swtensor整合為統(tǒng)一的動(dòng)態(tài)鏈接庫libswmath.so并修改pytorch的連接配置將動(dòng)態(tài)鏈接庫libswmath.so與pytorch框架的libtorch.so庫鏈接，實(shí)現(xiàn)正確鏈接神威平臺(tái)特定的系統(tǒng)庫和運(yùn)行時(shí)庫；

6、編譯適配步驟，在x86平臺(tái)上使用針對神威處理器的交叉編譯器sw-gcc和sw-g++編譯c/c++庫文件代碼，生成神威處理器可執(zhí)行文件并在神威處理器上運(yùn)行。具體的，利用cmake工具修改cmakelists.txt增加交叉編譯配置，實(shí)現(xiàn)在x86平臺(tái)上交叉編譯c/c++庫文件，并在神威平臺(tái)上完成python擴(kuò)展模塊的構(gòu)建和注冊，通過自動(dòng)化腳本控制x86平臺(tái)和神威平臺(tái)之間的文件傳輸和編譯過程。

7、在其中一些實(shí)施例中，所述架構(gòu)適配層搭建步驟中，為每一所述pytorch算子配置一環(huán)境變量，通過對環(huán)境變量的配置使pytorch算子調(diào)用默認(rèn)cpu進(jìn)行計(jì)算或調(diào)用神威處理器進(jìn)行計(jì)算，以利用神威處理器的并行計(jì)算能力。其中，所述環(huán)境變量的值為0時(shí)，調(diào)用pytorch架構(gòu)默認(rèn)的cpu實(shí)現(xiàn)，所述環(huán)境變量的值為1時(shí)，通過調(diào)用pytorch算子對應(yīng)的適配接口在神威處理器上執(zhí)行運(yùn)算，以控制算子的執(zhí)行路徑。

8、在其中一些實(shí)施例中，所述高性能計(jì)算庫移植步驟進(jìn)一步包括：

9、基礎(chǔ)數(shù)學(xué)運(yùn)算庫優(yōu)化步驟，將矩陣運(yùn)算拆分為基礎(chǔ)計(jì)算單元，利用神威處理器的simd指令進(jìn)行向量化處理，實(shí)現(xiàn)單指令多數(shù)據(jù)并行，并通過使用dma方法直接在神威處理器的主存和從核處理器之間傳輸數(shù)據(jù)，減少數(shù)據(jù)傳輸開銷，提升運(yùn)算速度。

10、在其中一些實(shí)施例中，所述高性能計(jì)算庫移植步驟進(jìn)一步包括：

11、深度學(xué)習(xí)算子庫優(yōu)化步驟，將輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)分成多個(gè)數(shù)據(jù)塊后執(zhí)行運(yùn)算操作，其中，每一數(shù)據(jù)塊的大小與神威處理器的緩存大小相匹配，從而可以在計(jì)算過程中，盡量使用緩存中的數(shù)據(jù)，減少內(nèi)存訪問次數(shù)，提高計(jì)算效率，并將深度學(xué)習(xí)算子庫swdnn中的計(jì)算密集型算子的運(yùn)算操作劃分為多個(gè)運(yùn)算子任務(wù)，每個(gè)子任務(wù)獨(dú)立的在神威處理器的從核上并行執(zhí)行，并通過流水線技術(shù)，實(shí)現(xiàn)計(jì)算與數(shù)據(jù)傳輸?shù)闹丿B，減少等待時(shí)間。其中，計(jì)算密集型算子包括但不限于卷積算子conv2d、池化算子pooling。

12、在其中一些實(shí)施例中，所述子任務(wù)執(zhí)行過程中，使用神威處理器的并行編程模型（如openmp、mpi等）實(shí)現(xiàn)多核之間的通信和同步。

13、在其中一些實(shí)施例中，所述高性能計(jì)算庫移植步驟進(jìn)一步包括：

14、張量運(yùn)算庫優(yōu)化步驟，開發(fā)swtensor庫實(shí)現(xiàn)張量操作，并基于神威處理器進(jìn)行內(nèi)存訪問優(yōu)化及向量化加速，所述張量操作包括但不限于轉(zhuǎn)置操作、切片操作、拼接操作。

15、基于上述步驟，針對神威處理器的內(nèi)存訪問特征優(yōu)化數(shù)據(jù)布局和存儲(chǔ)方式，通過向量化和并行化技術(shù)提升基礎(chǔ)張量運(yùn)算的性能。

16、在其中一些實(shí)施例中，該方法還包括：配置一性能計(jì)數(shù)器接口，通過神威平臺(tái)提供的硬件抽象層hal讀取核心性能數(shù)據(jù)，以收集神威處理器核心的性能數(shù)據(jù)。

17、相比于相關(guān)技術(shù)，本技術(shù)實(shí)施例提供的基于國產(chǎn)神威處理器的pytorch移植方法，本技術(shù)實(shí)施例克服神威處理器與傳統(tǒng)cpu和gpu在架構(gòu)和指令集上的差異，確保pytorch框架能夠在神威處理器上順利運(yùn)行；針對神威處理器的內(nèi)存訪問模式和并行計(jì)算模型，優(yōu)化pytorch的底層實(shí)現(xiàn)，以提高pytorch框架在神威處理器上的計(jì)算性能；重新實(shí)現(xiàn)或優(yōu)化pytorch框架中依賴于特定硬件平臺(tái)的高性能計(jì)算庫和組件，實(shí)現(xiàn)pytorch框架和神威處理器的匹配度，以提高pytorch框架的工作性能；簡化神威處理器的編程環(huán)境和工具鏈的使用，降低pytorch移植到神威處理器上的技術(shù)門檻；確保移植后的pytorch框架在神威處理器上的穩(wěn)定性和可靠性，同時(shí)保持與原有pytorch生態(tài)的兼容性，實(shí)現(xiàn)了pytorch框架在國產(chǎn)神威處理器的高效移植和運(yùn)行，為深度學(xué)習(xí)模型提供強(qiáng)大的計(jì)算支持。

18、本技術(shù)的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在以下附圖和描述中提出，以使本技術(shù)的其他特征、目的和優(yōu)點(diǎn)更加簡明易懂。