本技術(shù)涉及無線接入網(wǎng)領(lǐng)域,并且,更具體地,涉及一種模型訓(xùn)練方法和裝置。
背景技術(shù):
1、人工智能(artificial?intelligence,ai)是模仿人類認(rèn)知、學(xué)習(xí)和推理能力的技術(shù)。機(jī)器學(xué)習(xí)(machine?learning,ml)是人工智能領(lǐng)域的一個重要技術(shù)手段,其核心思想是:學(xué)習(xí)大量的已知數(shù)據(jù)從而獲得數(shù)據(jù)之間的關(guān)系,并最終實現(xiàn)對未知數(shù)據(jù)的預(yù)測和分析。常見的ai或ml技術(shù)可以包括:監(jiān)督學(xué)習(xí),無監(jiān)督學(xué)習(xí),半監(jiān)督學(xué)習(xí),強(qiáng)化學(xué)習(xí)等。在無線接入網(wǎng)(radio?access?network,ran)領(lǐng)域,ai或ml也具有廣泛的應(yīng)用,例如,基于ai或ml技術(shù)進(jìn)行的業(yè)務(wù)預(yù)測、資源調(diào)度和網(wǎng)絡(luò)管理等。
2、然而,在ran領(lǐng)域中應(yīng)用ai或ml技術(shù),由于接入網(wǎng)設(shè)備的成本、無線環(huán)境和應(yīng)用需求等客觀原因的限制,接入網(wǎng)設(shè)備能夠采集到的數(shù)據(jù)量以及可獲取的計算資源、存儲資源十分有限,可能導(dǎo)致模型的訓(xùn)練失敗(例如,模型性能不達(dá)標(biāo)和模型訓(xùn)練超時)以及計算資源的浪費(fèi)等情況的發(fā)生。
技術(shù)實現(xiàn)思路
1、本技術(shù)提供一種模型訓(xùn)練方法和裝置,能夠提高模型訓(xùn)練的成功率,降低模型訓(xùn)練時資源浪費(fèi)的情況發(fā)生。
2、第一方面,提供了一種模型訓(xùn)練方法,所述方法應(yīng)用于第一功能實體,所述方法包括:接收第二功能實體發(fā)送的模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下至少一項信息:模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;根據(jù)所述模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練。
3、可選地,第一功能實體可以是移動智能功能(mobile?intelligent?function,mif),進(jìn)一步地,第一功能實體可以是集中式mif。
4、可選地,第二功能實體可以是接入網(wǎng)設(shè)備或mif,進(jìn)一步地,當(dāng)?shù)诙δ軐嶓w是mif時,其可以是分布式mif。
5、可選地,上述第一功能實體和/或第二功能實體可以位于無線接入網(wǎng)中。
6、本技術(shù)實施例中,第一功能實體可以接收第二功能實體發(fā)送的模型訓(xùn)練需求信息,并根據(jù)該模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練,通過這樣的方式,第一功能實體能夠有針對性地進(jìn)行模型訓(xùn)練,能夠提高模型訓(xùn)練的成功率,降低模型訓(xùn)練時資源浪費(fèi)的情況發(fā)生。
7、結(jié)合第一方面,在第一方面的某些實現(xiàn)方式中,所述方法還包括:向所述第二功能實體發(fā)送第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
8、本技術(shù)實施例中,第一功能實體基于模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練后,第一功能實體可以通過第一信息將模型訓(xùn)練的結(jié)果告知第二功能實體,通過這樣的方式,能夠確保第二功能實體及時獲知模型的訓(xùn)練結(jié)果,從而增強(qiáng)第一功能實體和第二功能實體的協(xié)作性。
9、結(jié)合第一方面,在第一方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括:第一模型。
10、其中,該第一模型可以理解為第一功能實體基于模型訓(xùn)練需求信息訓(xùn)練得到的模型。
11、結(jié)合第一方面,在第一方面的某些實現(xiàn)方式中,所述根據(jù)所述模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練,包括:接收所述第二功能實體發(fā)送的第一數(shù)據(jù)集;根據(jù)所述第一數(shù)據(jù)集和所述模型訓(xùn)練需求信息訓(xùn)練第二模型,得到所述第一模型。
12、可選地,第二模型也可以稱為初始模型,第二模型可以是參數(shù)為初始值的模型,也可以是根據(jù)其他數(shù)據(jù)集訓(xùn)練得到的模型。
13、本技術(shù)實施例中,第一功能實體可以根據(jù)第二功能實體發(fā)送的第一數(shù)據(jù)集和模型訓(xùn)練需求信息訓(xùn)練第二模型,并得到第一模型。這樣,能夠更有效率地得到第一模型,并且能夠提高第二模型訓(xùn)練的成功率。
14、結(jié)合第一方面,在第一方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
15、可選地,失敗原因值可以用數(shù)字的形式指示失敗的原因,例如,當(dāng)失敗原因值為01時,可以表示第一功能實體進(jìn)行模型訓(xùn)練時的算力不足,當(dāng)失敗原因值為10時,可以表示第一功能實體進(jìn)行模型訓(xùn)練時的訓(xùn)練樣本不足,當(dāng)失敗原因值為11時,可以表示第一模型的性能未滿足要求。
16、可選地,訓(xùn)練后的模型性能未滿足要求例如可以是:準(zhǔn)確率低于門限值,或者均方誤差高于門限值等。
17、本技術(shù)實施例中,當(dāng)?shù)谝还δ軐嶓w進(jìn)行模型訓(xùn)練失敗后,第一信息中可以包括失敗原因值,這樣,可以便于第二功能實體基于失敗原因值快速地確定模型訓(xùn)練失敗的原因,并調(diào)整模型訓(xùn)練的策略。
18、結(jié)合第一方面,在第一方面的某些實現(xiàn)方式中,在所述根據(jù)所述模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練之前,所述方法還包括:向所述第二功能實體發(fā)送模型訓(xùn)練需求信息確認(rèn)信息,所述模型訓(xùn)練需求確認(rèn)信息用于指示所述第一功能實體確認(rèn)所述模型訓(xùn)練需求信息。
19、可替換地,第一功能實體可以向第二功能實體發(fā)送模型訓(xùn)練需求更改信息,并使用更改后的模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練。
20、第二方面,提供了一種模型訓(xùn)練方法,所述方法應(yīng)用于第二功能實體,所述方法包括:確定模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下至少一項信息:模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;向第一功能實體發(fā)送所述模型訓(xùn)練需求信息。
21、本技術(shù)實施例中,第二功能實體可以確認(rèn)模型訓(xùn)練需求信息,并向第一功能實體發(fā)送該模型訓(xùn)練需求信息,以便于第一功能實體可以基于該模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練,通過這樣的方式,可以便于第一功能實體能夠有針對性地進(jìn)行模型訓(xùn)練,能夠提高模型訓(xùn)練的成功率,降低模型訓(xùn)練時資源浪費(fèi)的情況發(fā)生。
22、結(jié)合第二方面,在第二方面的某些實現(xiàn)方式中,所述方法還包括:接收所述第一功能實體發(fā)送的第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
23、本技術(shù)實施例中,第二功能實體能夠根據(jù)第一信息獲知模型訓(xùn)練的結(jié)果,通過這樣的方式,能夠確保第二功能實體及時獲知模型的訓(xùn)練結(jié)果,從而增強(qiáng)第一功能實體和第二功能實體的協(xié)作性。
24、結(jié)合第二方面,在第二方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括第一模型;在所述接收第一功能實體發(fā)送的第一信息之前,所述方法還包括:獲取第一數(shù)據(jù)集;向所述第一功能實體發(fā)送所述第一數(shù)據(jù)集;所述方法還包括:根據(jù)所述第一數(shù)據(jù)集訓(xùn)練所述第一模型,得到第三模型。
25、可替換地,第二功能實體可以采集第二數(shù)據(jù)集,并根據(jù)第二數(shù)據(jù)集訓(xùn)練第一模型,得到第三模型,其中,第一數(shù)據(jù)集和第二數(shù)據(jù)集的數(shù)據(jù)內(nèi)容可以不同。
26、可選地,在此種實現(xiàn)方式中,第二功能實體可以是分布式mif。
27、本技術(shù)實施例中,第二功能實體可以采集第一數(shù)據(jù)集,并將第一數(shù)據(jù)集發(fā)送給第一功能實體,以便于第一功能實體進(jìn)行模型訓(xùn)練得到第一模型。并且,當(dāng)?shù)谝还δ軐嶓w將訓(xùn)練得到的第一模型發(fā)送給第二功能實體后,第二功能實體可以基于第一數(shù)據(jù)集再次對第一模型進(jìn)行訓(xùn)練,并得到第三模型。通過這樣的方式,增強(qiáng)了第一功能實體和第二功能實體在模型訓(xùn)練過程中的協(xié)作性,從而進(jìn)一步提高了訓(xùn)練得到的模型的推理性能。
28、結(jié)合第二方面,在第二方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
29、本技術(shù)實施例中,當(dāng)?shù)谝还δ軐嶓w進(jìn)行模型訓(xùn)練失敗后,第一信息中可以包括失敗原因值,這樣,可以便于第二功能實體基于失敗原因值快速地確定模型訓(xùn)練失敗的原因,并調(diào)整模型訓(xùn)練的策略。
30、結(jié)合第二方面,在第二方面的某些實現(xiàn)方式中,所述方法還包括:接收所述第一功能實體發(fā)送的模型訓(xùn)練需求信息確認(rèn)信息,所述模型訓(xùn)練需求確認(rèn)信息用于指示所述第一功能實體確認(rèn)所述模型訓(xùn)練需求信息。
31、第三方面,提供了一種模型訓(xùn)練方法,其特征在于,所述方法應(yīng)用于第一功能實體,所述方法包括:確定模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下內(nèi)容至少一項信息:模型標(biāo)識、模型的結(jié)構(gòu)信息、模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;向第二功能實體發(fā)送所述模型訓(xùn)練需求信息。
32、可選地,第一功能實體可以是mif,進(jìn)一步地,第一功能實體可以是集中式mif。
33、可選地,第二功能實體可以是mif,進(jìn)一步地,第二功能實體可以是分布式mif。
34、可選地,上述第一功能實體和/或第二功能實體可以位于無線接入網(wǎng)中。
35、本技術(shù)實施例中,第一功能實體可以確定模型訓(xùn)練需求信息,并向第二功能實體發(fā)送該模型訓(xùn)練需求信息,以便于第二功能實體可以基于該模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練,通過這樣的方式,第二功能實體能夠有針對性地進(jìn)行模型訓(xùn)練,能夠提高模型訓(xùn)練的成功率,降低模型訓(xùn)練時資源浪費(fèi)的情況發(fā)生。
36、結(jié)合第三方面,在第三方面的某些實現(xiàn)方式中,所述方法還包括:接收所述第二功能實體發(fā)送的第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
37、本技術(shù)實施例中,第一功能實體能夠接收第二功能實體發(fā)送的第一信息,從而獲知第二功能實體進(jìn)行模型訓(xùn)練的結(jié)果,通過這樣的方式,能夠確保第一功能實體及時獲知模型的訓(xùn)練結(jié)果,從而增強(qiáng)第一功能實體和第二功能實體的協(xié)作性。
38、結(jié)合第三方面,在第三方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括第一模型。
39、其中,該第一模型可以理解為第二功能實體基于模型訓(xùn)練需求信息訓(xùn)練得到的模型。
40、結(jié)合第三方面,在第三方面的某些實現(xiàn)方式中,在所述接收第二功能實體發(fā)送的第一信息之前,所述方法還包括:接收第二功能實體發(fā)送的第一數(shù)據(jù)集;根據(jù)所述第一數(shù)據(jù)集進(jìn)行模型訓(xùn)練,得到第二模型,所述第一模型是根據(jù)所述模型訓(xùn)練需求信息訓(xùn)練所述第二模型得到的;向所述第二功能實體發(fā)送所述第二模型。
41、具體地,第一數(shù)據(jù)集可以由第二功能實體采集,第一數(shù)據(jù)集中的數(shù)據(jù)可以是有標(biāo)簽的數(shù)據(jù),也可以是無標(biāo)簽的數(shù)據(jù)。其中,有標(biāo)簽的數(shù)據(jù)可以包括數(shù)據(jù)本身和對應(yīng)的標(biāo)簽。例如,用于ai定位的第一數(shù)據(jù)集為{(cir1,tod1),(cir2,toa2)},則在每個數(shù)據(jù)中,信道脈沖響應(yīng)(channel?impulse?response,cir)為數(shù)據(jù)本身,到達(dá)時間(time?of?arrival,toa)為數(shù)據(jù)對應(yīng)的標(biāo)簽。無標(biāo)簽的數(shù)據(jù)可以僅包括數(shù)據(jù)本身,不包括數(shù)據(jù)對應(yīng)的標(biāo)簽。例如,用于ai信道壓縮的數(shù)據(jù)集為{csi1,csi2},則每個數(shù)據(jù)僅包括數(shù)據(jù)本身,即信道狀態(tài)信息(channel?state?information,csi)。
42、本技術(shù)實施例中,第一功能實體可以基于第一數(shù)據(jù)集進(jìn)行模型訓(xùn)練得到第二模型,并向第二功能實體發(fā)送該第二模型,以便于第二功能實體基于模型訓(xùn)練需求信息訓(xùn)練該第二模型。這樣,增強(qiáng)了第一功能實體和第二功能實體進(jìn)行模型訓(xùn)練的協(xié)作性,能夠提高模型訓(xùn)練的精確度。
43、結(jié)合第三方面,在第三方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
44、本技術(shù)實施例中,當(dāng)?shù)诙δ軐嶓w進(jìn)行模型訓(xùn)練失敗后,第一信息中可以包括失敗原因值,這樣,可以便于第一功能實體基于失敗原因值快速地確定模型訓(xùn)練失敗的原因,并調(diào)整模型訓(xùn)練的策略。
45、結(jié)合第三方面,在第三方面的某些實現(xiàn)方式中,在所述確定模型訓(xùn)練需求信息之前,所述方法還包括:接收所述第二功能實體發(fā)送的模型訓(xùn)練能力信息,所述模型訓(xùn)練能力信息用于指示所述第二功能實體對應(yīng)的以下內(nèi)容至少一項:算力余量、內(nèi)存余量、顯存余量或顯存帶寬;所述確定模型訓(xùn)練需求信息,包括:根據(jù)所述模型訓(xùn)練能力信息,確定所述模型訓(xùn)練需求信息。
46、本技術(shù)實施例中,第一功能實體可以基于第二功能實體發(fā)送的模型訓(xùn)練能力信息,確定模型訓(xùn)練需求信息,這樣,第一功能實體確定的模型訓(xùn)練需求信息更能夠貼近第二功能實體進(jìn)行模型訓(xùn)練的實際情況,從而進(jìn)一步提高了第二功能實體進(jìn)行模型訓(xùn)練的效率。
47、第四方面,提供了一種模型訓(xùn)練方法,所述方法應(yīng)用于第二功能實體,所述方法包括:接收第一功能實體發(fā)送的模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下至少一項信息:模型標(biāo)識、模型的結(jié)構(gòu)信息、模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;根據(jù)所述模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練。
48、本技術(shù)實施例中,第二功能實體可以根據(jù)第一功能實體發(fā)送的模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練,通過這樣的方式,第二功能實體能夠有針對性地進(jìn)行模型訓(xùn)練,能夠提高模型訓(xùn)練的成功率,降低模型訓(xùn)練時資源浪費(fèi)的情況發(fā)生。
49、結(jié)合第四方面,在第四方面的某些實現(xiàn)方式中,所述方法還包括:向所述第一功能實體發(fā)送第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
50、本技術(shù)實施例中,第二功能實體可以向第一功能實體發(fā)送第一信息,以便于第一功能實體能夠及時獲知第二功能實體的模型訓(xùn)練結(jié)果,從而增強(qiáng)第一功能實體和第二功能實體的協(xié)作性。
51、結(jié)合第四方面,在第四方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括:第一模型。
52、其中,該第一模型可以理解為第二功能實體基于模型訓(xùn)練需求信息訓(xùn)練得到的模型。
53、結(jié)合第四方面,在第四方面的某些實現(xiàn)方式中,所述根據(jù)所述模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練,包括:獲取第一數(shù)據(jù)集;向所述第一功能實體發(fā)送所述第一數(shù)據(jù)集;接收所述第一功能實體發(fā)送的第二模型,所述第二模型是基于所述第一數(shù)據(jù)集訓(xùn)練得到的;根據(jù)所述第一數(shù)據(jù)集和所述模型訓(xùn)練需求信息訓(xùn)練第二模型,得到所述第一模型。
54、本技術(shù)實施例中,第二功能實體根據(jù)第一數(shù)據(jù)集訓(xùn)練第二模型得到第一模型,這樣,增強(qiáng)第一功能實體和第二功能實體進(jìn)行模型訓(xùn)練的協(xié)作性,能夠提高模型訓(xùn)練的精確度。
55、結(jié)合第四方面,在第四方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
56、本技術(shù)實施例中,當(dāng)?shù)诙δ軐嶓w進(jìn)行模型訓(xùn)練失敗后,第一信息中可以包括失敗原因值,這樣,可以便于第一功能實體基于失敗原因值快速地確定模型訓(xùn)練失敗的原因,并調(diào)整模型訓(xùn)練的策略。
57、結(jié)合第四方面,在第四方面的某些實現(xiàn)方式中,在所述接收模型訓(xùn)練需求信息之前,所述方法包括:向所述第一功能實體發(fā)送模型訓(xùn)練能力信息,所述模型訓(xùn)練能力信息用于指示所述第二功能實體對應(yīng)的以下內(nèi)容至少一項:算力余量、內(nèi)存余量、顯存余量或顯存帶寬。
58、本技術(shù)實施例中,第二功能實體可以向第一功能實體發(fā)送模型訓(xùn)練能力信息,以便于第一功能實體根據(jù)模型訓(xùn)練能力信息確定模型訓(xùn)練需求信息,這樣,第一功能實體確定的模型訓(xùn)練需求信息更能夠貼近第二功能實體進(jìn)行模型訓(xùn)練的實際情況,能夠進(jìn)一步提高了第二功能實體進(jìn)行模型訓(xùn)練的效率。
59、第五方面,提供了一種模型訓(xùn)練方法,所述方法應(yīng)用于第一功能實體,所述方法包括:向多個第二功能實體發(fā)送模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下內(nèi)容至少一項:單輪模型訓(xùn)練的時間最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;接收所述多個第二功能實體發(fā)送的多個第一模型訓(xùn)練參數(shù),所述多個第一模型訓(xùn)練參數(shù)是基于多個第一模型訓(xùn)練得到的;根據(jù)所述多個模型訓(xùn)練參數(shù),確定全局模型訓(xùn)練參數(shù);向所述多個第二功能實體發(fā)送所述全局模型訓(xùn)練參數(shù)。
60、其中,該模型訓(xùn)練方法可以是分布式訓(xùn)練方法,即多個第二功能實體可以分別根據(jù)第一功能實體發(fā)送的模型訓(xùn)練需求進(jìn)行模型訓(xùn)練,得到多個模型訓(xùn)練結(jié)果。最終,可以將多個模型訓(xùn)練結(jié)果進(jìn)行匯總,得到訓(xùn)練好的模型。
61、可選地,第一功能實體可以是mif,進(jìn)一步地,第一功能實體可以是集中式mif。
62、可選地,第二功能實體可以是mif,進(jìn)一步地,第二功能實體可以是分布式mif。
63、可選地,上述第一功能實體和/或第二功能實體可以位于無線接入網(wǎng)中。
64、可選地,第一模型訓(xùn)練參數(shù)可以是梯度值,全局模型訓(xùn)練參數(shù)可以理解為:模型訓(xùn)練過程中用于在整個數(shù)據(jù)集上進(jìn)行訓(xùn)練的參數(shù),這些參數(shù)會對整個模型的學(xué)習(xí)過程產(chǎn)生影響。
65、本技術(shù)實施例中,第一功能實體可以向多個第二功能實體發(fā)送模型訓(xùn)練需求信息,在接收到多個第二功能實體發(fā)送的第一模型訓(xùn)練參數(shù)后,第一功能實體能夠基于該多個第一模型訓(xùn)練參數(shù),確定全局訓(xùn)練參數(shù),并將該全局訓(xùn)練參數(shù)發(fā)送給多個第二功能實體,以便于該多個第二功能實體可以基于全局訓(xùn)練參數(shù)進(jìn)行模型訓(xùn)練,通過這樣的方式,能夠提高第一功能實體和多個第二功能實體的協(xié)作性,從而能夠提高模型訓(xùn)練的成功率。此外,通過上述分布式的訓(xùn)練方法,還可以提高模型訓(xùn)練的效率。
66、結(jié)合第五方面,在第五方面的某些實現(xiàn)方式中,在所述向多個第二功能實體發(fā)送模型訓(xùn)練需求信息之前,所述方法還包括:接收所述多個第二功能實體發(fā)送的多個模型訓(xùn)練能力信息,所述多個模型訓(xùn)練能力信息用于指示所述多個第二功能實體對應(yīng)的以下內(nèi)容至少一項:單輪訓(xùn)練時間預(yù)估值、算力余量、內(nèi)存余量、顯存余量或顯存帶寬;所述向多個第二功能實體發(fā)送模型訓(xùn)練需求信息,包括:根據(jù)所述多個模型訓(xùn)練能力信息向所述多個第二功能實體發(fā)送模型訓(xùn)練需求信息。
67、本技術(shù)實施例中,第一功能實體可以基于多個第二功能實體發(fā)送的多個模型訓(xùn)練能力信息,確定模型訓(xùn)練需求信息,這樣,第一功能實體確定的模型訓(xùn)練需求信息更能夠貼近多個第二功能實體進(jìn)行模型訓(xùn)練的實際情況,從而進(jìn)一步提高了第二功能實體進(jìn)行模型訓(xùn)練的效率。
68、結(jié)合第五方面,在第五方面的某些實現(xiàn)方式中,在所述向多個第二功能實體發(fā)送模型訓(xùn)練需求信息之前,所述方法包括:向所述多個第二功能實體發(fā)送所述多個第一模型。
69、第六方面,提供了一種模型訓(xùn)練方法,所述方法應(yīng)用于第二功能實體,所述方法包括:接收第一功能實體發(fā)送的模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下內(nèi)容至少一項:單輪模型訓(xùn)練的時間最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;根據(jù)所述模型訓(xùn)練需求信息訓(xùn)練第一模型,得到第一模型訓(xùn)練參數(shù);向所述第一功能實體發(fā)送所述第一模型訓(xùn)練參數(shù)。
70、本技術(shù)實施例中,第二功能實體可以基于第一功能實體發(fā)送的模型訓(xùn)練需求信息訓(xùn)練第一模型得到第一模型訓(xùn)練參數(shù),并向第二功能實體發(fā)送該第一模型訓(xùn)練參數(shù),以便于第一功能實體基于多個第一模型訓(xùn)練參數(shù)確定全局訓(xùn)練參數(shù)。通過這樣的方式,能夠提高第一功能實體和第二功能實體之間的協(xié)作性,從而提高最終模型進(jìn)行推理的精確度。此外,通過上述分布式的訓(xùn)練方法,還可以提高模型訓(xùn)練的效率。
71、結(jié)合第六方面,在第六方面的某些實現(xiàn)方式中,所述方法還包括:向所述第一功能實體發(fā)送模型訓(xùn)練能力信息,所述模型訓(xùn)練能力信息用于指示所述第二功能實體對應(yīng)的以下內(nèi)容至少一項:單輪訓(xùn)練時間預(yù)估值、算力余量、內(nèi)存余量、顯存余量或顯存帶寬。
72、本技術(shù)實施例中,第二功能實體可以向第一功能實體發(fā)送模型訓(xùn)練需求信息,以便于第一功能實體確定的模型訓(xùn)練需求信息更能夠貼近第二功能實體進(jìn)行模型訓(xùn)練的實際情況,從而進(jìn)一步提高了第二功能實體進(jìn)行模型訓(xùn)練的效率。
73、結(jié)合第六方面,在第六方面的某些實現(xiàn)方式中,在所述接收第一功能實體發(fā)送的模型訓(xùn)練需求信息之前,所述方法還包括:接收所述第一功能實體發(fā)送的所述第一模型。
74、第七方面,提供了一種模型訓(xùn)練裝置,該裝置應(yīng)用于第一功能實體中,該裝置包括:收發(fā)單元和處理單元,所述收發(fā)單元,用于:接收第二功能實體發(fā)送的模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下至少一項信息:模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;所述處理單元,用于根據(jù)所述模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練。
75、結(jié)合第七方面,在第七方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于向所述第二功能實體發(fā)送第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
76、結(jié)合第七方面,在第七方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括:第一模型。
77、結(jié)合第七方面,在第七方面的某些實現(xiàn)方式中,所述收發(fā)單元,具體用于接收所述第二功能實體發(fā)送的第一數(shù)據(jù)集;所述處理單元,還用于根據(jù)所述第一數(shù)據(jù)集和所述模型訓(xùn)練需求信息訓(xùn)練第二模型,得到所述第一模型。
78、結(jié)合第七方面,在第七方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
79、結(jié)合第七方面,在第七方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于向所述第二功能實體發(fā)送模型訓(xùn)練需求信息確認(rèn)信息,所述模型訓(xùn)練需求確認(rèn)信息用于指示所述第一功能實體確認(rèn)所述模型訓(xùn)練需求信息。
80、第八方面,提供了一種模型訓(xùn)練裝置,該裝置應(yīng)用于第二功能實體中,該裝置包括:收發(fā)單元和處理單元,所述處理單元,用于確定模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下至少一項信息:模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;所述收發(fā)單元,用于向第一功能實體發(fā)送所述模型訓(xùn)練需求信息。
81、結(jié)合第八方面,在第八方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于接收所述第一功能實體發(fā)送的第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
82、結(jié)合第八方面,在第八方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括第一模型;所述處理單元,具體用于:獲取第一數(shù)據(jù)集;向所述第一功能實體發(fā)送所述第一數(shù)據(jù)集;根據(jù)所述第一數(shù)據(jù)集訓(xùn)練所述第一模型,得到第三模型。
83、結(jié)合第八方面,在第八方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
84、結(jié)合第八方面,在第八方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于接收所述第一功能實體發(fā)送的模型訓(xùn)練需求信息確認(rèn)信息,所述模型訓(xùn)練需求確認(rèn)信息用于指示所述第一功能實體確認(rèn)所述模型訓(xùn)練需求信息。
85、第九方面,提供了一種模型訓(xùn)練裝置,該裝置應(yīng)用于第一功能實體中,該裝置包括:收發(fā)單元和處理單元,所述處理單元,用于:確定模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下內(nèi)容至少一項信息:模型標(biāo)識、模型的結(jié)構(gòu)信息、模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;所述收發(fā)單元,用于向第二功能實體發(fā)送所述模型訓(xùn)練需求信息。
86、結(jié)合第九方面,在第九方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于接收所述第二功能實體發(fā)送的第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
87、結(jié)合第九方面,在第九方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括第一模型。
88、結(jié)合第九方面,在第九方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于接收第二功能實體發(fā)送的第一數(shù)據(jù)集;所述處理單元,還用于根據(jù)所述第一數(shù)據(jù)集進(jìn)行模型訓(xùn)練,得到第二模型,所述第一模型是根據(jù)所述模型訓(xùn)練需求信息訓(xùn)練所述第二模型得到的;所述收發(fā)單元,還用于向所述第二功能實體發(fā)送所述第二模型。
89、結(jié)合第九方面,在第九方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
90、結(jié)合第九方面,在第九方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于接收所述第二功能實體發(fā)送的模型訓(xùn)練能力信息,所述模型訓(xùn)練能力信息用于指示所述第二功能實體對應(yīng)的以下內(nèi)容至少一項:算力余量、內(nèi)存余量、顯存余量或顯存帶寬;所述處理單元,具體用于根據(jù)所述模型訓(xùn)練能力信息,確定所述模型訓(xùn)練需求信息。
91、第十方面,提供了一種模型訓(xùn)練裝置,該裝置應(yīng)用于第二功能實體中,該裝置包括:收發(fā)單元和處理單元,所述收發(fā)單元,用于接收第一功能實體發(fā)送的模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下至少一項信息:模型標(biāo)識、模型的結(jié)構(gòu)信息、模型訓(xùn)練的層數(shù)信息、模型訓(xùn)練所用時間的最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;所述處理單元,用于根據(jù)所述模型訓(xùn)練需求信息進(jìn)行模型訓(xùn)練。
92、結(jié)合第十方面,在第十方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于向所述第一功能實體發(fā)送第一信息,所述第一信息用于指示訓(xùn)練后的模型信息,或者所述第一信息用于指示模型訓(xùn)練失敗。
93、結(jié)合第十方面,在第十方面的某些實現(xiàn)方式中,所述第一信息用于指示訓(xùn)練后的模型信息,所述第一信息包括:第一模型。
94、結(jié)合第十方面,在第十方面的某些實現(xiàn)方式中,所述處理單元,還用于獲取第一數(shù)據(jù)集;所述收發(fā)單元還用于:向所述第一功能實體發(fā)送所述第一數(shù)據(jù)集;接收所述第一功能實體發(fā)送的第二模型,所述第二模型是基于所述第一數(shù)據(jù)集訓(xùn)練得到的;所述處理單元,還用于根據(jù)所述第一數(shù)據(jù)集和所述模型訓(xùn)練需求信息訓(xùn)練第二模型,得到所述第一模型。
95、結(jié)合第十方面,在第十方面的某些實現(xiàn)方式中,所述第一信息用于指示模型訓(xùn)練失敗,所述第一信息包括失敗原因值,所述失敗原因值用于指示以下內(nèi)容至少一項:算力不足、訓(xùn)練樣本不足或訓(xùn)練后的模型性能未滿足要求。
96、結(jié)合第十方面,在第十方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于向所述第一功能實體發(fā)送模型訓(xùn)練能力信息,所述模型訓(xùn)練能力信息用于指示所述第二功能實體對應(yīng)的以下內(nèi)容至少一項:算力余量、內(nèi)存余量、顯存余量或顯存帶寬。
97、結(jié)合第十一方面,提供了一種模型訓(xùn)練裝置,該裝置應(yīng)用于第一功能實體中,該裝置包括:收發(fā)單元和處理單元,所述收發(fā)單元,用于:向多個第二功能實體發(fā)送模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下內(nèi)容至少一項:單輪模型訓(xùn)練的時間最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;接收所述多個第二功能實體發(fā)送的多個第一模型訓(xùn)練參數(shù),所述多個第一模型訓(xùn)練參數(shù)是基于多個第一模型訓(xùn)練得到的;所述處理單元,用于根據(jù)所述多個第一模型訓(xùn)練參數(shù),確定全局模型訓(xùn)練參數(shù);所述收發(fā)單元,還用于向所述多個第二功能實體發(fā)送所述全局模型訓(xùn)練參數(shù)。
98、結(jié)合第十一方面,在第十一方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于接收所述多個第二功能實體發(fā)送的多個模型訓(xùn)練能力信息,所述多個模型訓(xùn)練能力信息用于指示所述多個第二功能實體對應(yīng)的以下內(nèi)容至少一項:單輪訓(xùn)練時間預(yù)估值、算力余量、內(nèi)存余量、顯存余量或顯存帶寬;所述處理單元,還用于根據(jù)所述多個模型訓(xùn)練能力信息,向所述多個第二功能實體發(fā)送模型訓(xùn)練需求信息。
99、結(jié)合第十一方面,在第十一方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于向所述多個第二功能實體發(fā)送所述多個第一模型。
100、第十二方面,提供了一種模型訓(xùn)練裝置,該裝置應(yīng)用于第二功能實體中,該裝置包括:收發(fā)單元和處理單元,所述收發(fā)單元,用于接收第一功能實體發(fā)送的模型訓(xùn)練需求信息,所述模型訓(xùn)練需求信息包括以下內(nèi)容至少一項:單輪模型訓(xùn)練的時間最大值、模型訓(xùn)練所用的數(shù)據(jù)量、模型訓(xùn)練所用的數(shù)據(jù)量的最大值、模型訓(xùn)練所用的數(shù)據(jù)量的最小值或模型訓(xùn)練的性能門限值;所述處理單元,用于根據(jù)所述模型訓(xùn)練需求信息訓(xùn)練第一模型,得到第一模型訓(xùn)練參數(shù);所述收發(fā)單元,還用于向所述第一功能實體發(fā)送所述第一模型訓(xùn)練參數(shù)。
101、結(jié)合第十二方面,在第十二方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于向所述第一功能實體發(fā)送模型訓(xùn)練能力信息,所述模型訓(xùn)練能力信息用于指示所述第二功能實體對應(yīng)的以下內(nèi)容至少一項:單輪訓(xùn)練時間預(yù)估值、算力余量、內(nèi)存余量、顯存余量或顯存帶寬。
102、結(jié)合第十二方面,在第十二方面的某些實現(xiàn)方式中,所述收發(fā)單元,還用于接收所述第一功能實體發(fā)送的所述第一模型。
103、第十三方面,提供了一種模型訓(xùn)練裝置,該模型訓(xùn)練裝置可以為第一裝置,也可以是第一裝置中執(zhí)行第一方面至第六方面任一種方法/操作/動作所一一對應(yīng)的模塊或單元(例如,芯片、芯片系統(tǒng)、或者電路)。
104、結(jié)合第十三方面,在第十三方面的某些實現(xiàn)方式中,該第一裝置可以為接入網(wǎng)設(shè)備、集中式mif、分布式mif或者其他形態(tài)。
105、第十四方面,提供一種模型訓(xùn)練裝置,包括:存儲器和至少一個處理器,所述至少一個處理器與存儲耦合,用于讀取并執(zhí)行所述存儲器中的指令,以使得該裝置實現(xiàn)上述第一方面至第六方面中任意一種實現(xiàn)方式中的方法。
106、第十五方面,提供一種芯片,該芯片包括電路,該電路用于執(zhí)行上述第一方面至第六方面中任意一種實現(xiàn)方式中的方法。
107、第十六方面,提供一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)存儲有程序代碼,當(dāng)所述計算機(jī)程序代碼在計算機(jī)上運(yùn)行時,使得計算機(jī)執(zhí)行上述第一方面至第六方面中任意一種實現(xiàn)方式中的方法。
108、第十七方面,提供一種計算機(jī)程序產(chǎn)品,該計算機(jī)產(chǎn)品包括計算機(jī)程序,當(dāng)所述計算機(jī)程序被運(yùn)行時,使得計算機(jī)執(zhí)行上述第一方面至第六方面中任意一種實現(xiàn)方式中的方法。
109、第十八方面,提供了一種系統(tǒng),該系統(tǒng)包括第一功能實體和第二功能實體,該第一功能實體用于執(zhí)行上述第一方面、第三方面或第五方面中任意一種實現(xiàn)方式中的方法,該第二功能實體用于執(zhí)行上述第二方面、第四方面或第六方面中任意一種實現(xiàn)方式中的方法。