最新的毛片基地免费,国产国语一级毛片,免费国产成人高清在线电影,中天堂国产日韩欧美,中国国产aa一级毛片,国产va欧美va在线观看,成人不卡在线

滑動?xùn)艡诔朔e量化方法和裝置

文檔序號:41954911發(fā)布日期:2025-05-16 14:20閱讀:來源:國知局

技術(shù)特征:

1.一種滑動?xùn)艡诔朔e量化方法,其特征在于,包括以下步驟:

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述初始分割還包括:設(shè)任意元素在原始矩陣中的位置為(a,b),則其在小值矩陣或大值矩陣中的對應(yīng)位置為(a,[b/2]),指示變量存儲在第一指示矩陣的(a,[b/2]),其中[·]代表取整函數(shù);按順序遍歷整個矩陣的元素對,生成小值矩陣、大值矩陣和大小為n×d/2的第一指示矩陣。

3.根據(jù)權(quán)利要求1所述的方法,其特征在于,通過指定所述遞歸分割的次數(shù),形成樹狀分割結(jié)構(gòu),設(shè)遞歸分割的次數(shù)為l,則第一指示矩陣的總大小為l×n×d/2。

4.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述通過滑窗的方式對合并后的矩陣劃分子空間,包括:設(shè)定窗口大小和每次滑動的距離,將每個滑窗內(nèi)的向量作為一個子空間,將合并后的矩陣的每一個元素被映射到不同的子空間,形成該元素的副本,合并后的矩陣的每一個元素?fù)碛卸鄠€副本。

5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述count-min操作包括:對合并后的矩陣的每一個元素,計算該元素和其每一個副本所在的子空間的簇中心的距離,在第二指數(shù)矩陣的對應(yīng)位置記錄下離該元素最近的副本所在的子空間編號,將與該元素最近的副本的編碼作為該元素的最終編碼。

6.一種基于滑動?xùn)艡诔朔e量化的圖像壓縮方法,其特征在于,包括以下步驟:

7.一種基于滑動?xùn)艡诔朔e量化的大語言模型權(quán)重量化存儲方法,其特征在于,包括以下步驟:

8.一種滑動?xùn)艡诔朔e量化裝置,其特征在于,包括:

9.一種計算機(jī)設(shè)備,其特征在于,包括存儲器和處理器,所述存儲器存儲計算機(jī)程序,所述計算機(jī)程序被配置為由所述處理器執(zhí)行,所述計算機(jī)程序包括用于執(zhí)行權(quán)利要求1~7中任一項所述方法的指令。

10.一種計算機(jī)可讀存儲介質(zhì),其特征在于,所述計算機(jī)可讀存儲介質(zhì)存儲計算機(jī)程序,所述計算機(jī)程序被計算機(jī)執(zhí)行時,實現(xiàn)權(quán)利要求1~7中任一項所述的方法。


技術(shù)總結(jié)
本發(fā)明屬于信息技術(shù)領(lǐng)域,具體涉及一種滑動?xùn)艡诔朔e量化方法和裝置。該方法包括:獲取將輸入的N個D維向量視為N×D矩陣并進(jìn)行初始分割,得到小值矩陣、大值矩陣、指示矩陣;然后進(jìn)行遞歸分割,將遞歸分割后得到的小值矩陣、大值矩陣合并成一個新的矩陣,并通過滑窗的方式劃分子空間;在各個子空間內(nèi)執(zhí)行K?means聚類,將簇中心作為碼本對子空間內(nèi)的所有向量進(jìn)行編碼;通過Count?min操作得到每一個元素的最終編碼,合并后得到量化結(jié)果。本發(fā)明實現(xiàn)了乘積量化算法的改進(jìn)和優(yōu)化,可在保證精度的前提下有效減小內(nèi)存開銷,可廣泛應(yīng)用于大語言模型權(quán)重量化、向量數(shù)據(jù)庫管理、KV緩存優(yōu)化、圖壓縮、圖像壓縮等需要高效矩陣量化的領(lǐng)域。

技術(shù)研發(fā)人員:楊仝,李旺,王硯舒
受保護(hù)的技術(shù)使用者:北京大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2025/5/15
當(dāng)前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1