技術(shù)編號：41954911
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細信息。本發(fā)明屬于信息，具體涉及一種滑動柵欄乘積量化方法和裝置。背景技術(shù)、在大語言模型llm(large?language?model)如chatgpt的開發(fā)與應用中，矩陣的存儲和計算效率是一個關(guān)鍵的問題。這些模型的參數(shù)量巨大，大矩陣的存儲和運算帶來了很高的計算負擔。矩陣量化技術(shù)用更緊湊的形式來記錄矩陣的數(shù)值信息，以減少存儲需求，在使用時可以通過反量化恢復原始矩陣。這一過程在llm權(quán)重量化、kv(key-value，鍵值)緩存量化、向量數(shù)據(jù)庫管理、圖壓縮以及圖像壓縮等應用中具有重要作用。、rtn量化...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學習研究技術(shù)思路。