技術(shù)編號：41950903
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細信息。本發(fā)明屬于模型壓縮，具體涉及一種可變內(nèi)存環(huán)境下細料度尺寸控制的大型語言模型壓縮方法。背景技術(shù)、大型語言模型(llms)在各類基準(zhǔn)測試中表現(xiàn)出卓越性能，并逐漸在日常生活中得到應(yīng)用，如通用語言助手、搜索引擎和代碼助手。隨著規(guī)模的擴大，大型語言模型的部署從性能的提升逐漸轉(zhuǎn)向可用性的提升，例如內(nèi)存占用問題成為瓶頸。加載大型模型需要顯著的內(nèi)存資源，這對低資源設(shè)備的部署構(gòu)成挑戰(zhàn)。、大型語言模型的壓縮方法主要包含量化、剪枝、知識蒸餾、權(quán)重分解四種。其中，量化、剪枝、知識蒸餾等傳統(tǒng)壓縮方法需要預(yù)設(shè)壓縮比，適...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。