本發(fā)明屬于圖算法,具體為一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法。
背景技術(shù):
1、推薦系統(tǒng)以復(fù)雜場(chǎng)景、豐富用戶和海量特征為基石,旨在通過(guò)大數(shù)據(jù)理解用戶行為更好地服務(wù)用戶。其相關(guān)技術(shù)發(fā)展歷程如下:1992年施樂(lè)公司提出基于協(xié)同過(guò)濾算法的推薦系統(tǒng)用于垃圾郵件過(guò)濾,2003年amazon將其用于電商,這是真正意義上推薦系統(tǒng)的開(kāi)端。協(xié)同過(guò)濾分用戶和商品兩種,amazon采用基于商品的itemcf,因其用戶行為數(shù)據(jù)稀疏,但協(xié)同過(guò)濾可解釋性強(qiáng)卻泛化不足,易使尾部商品不被推薦。2006年netflix提出矩陣分解技術(shù)增強(qiáng)泛化能力,邏輯回歸可解決協(xié)同過(guò)濾問(wèn)題,計(jì)算復(fù)雜度小、可解釋性強(qiáng)且涵蓋更多特征。2010年大阪大學(xué)提出fm模型捕捉二階交叉特征,2012年后成為主流。2014年facebook提出gbdt+lr方案,使推薦算法進(jìn)入特征工程模型化階段,但gbdt無(wú)法很好并行計(jì)算。2015年深度學(xué)習(xí)技術(shù)用于推薦系統(tǒng),如deep&crossing及其變體pnn。wide&deep兼具“記憶能力”和泛化能力。此外,序列建模用于捕捉時(shí)序信息,如din、dien、mimn,在特殊場(chǎng)景如會(huì)話推薦、匿名推薦中有重要意義。而現(xiàn)有的技術(shù)有明顯不足,協(xié)同過(guò)濾技術(shù)是推薦系統(tǒng)開(kāi)端,雖實(shí)現(xiàn)簡(jiǎn)單、可解釋性強(qiáng),但泛化能力弱、對(duì)行為稀疏用戶無(wú)法個(gè)性化推薦。矩陣分解也有不足,其泛化能力不夠強(qiáng),非線性特征無(wú)法完全擬合,可解釋性差,且和協(xié)同過(guò)濾一樣,僅依賴用戶行為數(shù)據(jù),未利用用戶和物料屬性特征,邏輯回歸可解決部分問(wèn)題,但無(wú)法進(jìn)行特征交叉,表達(dá)能力弱,像性別和年齡組合這種重要特征模式無(wú)法捕捉。特征交叉技術(shù)經(jīng)歷多個(gè)階段,有優(yōu)勢(shì),但忽略了序列信息。而序列建模開(kāi)辟新信息獲取渠道,不過(guò)仍未充分利用數(shù)據(jù)。2016年后基于圖的推薦研究興起,它能包含序列信息,還可構(gòu)建用戶、物料社交網(wǎng)絡(luò),實(shí)現(xiàn)更個(gè)性化推薦,這是本發(fā)明專利的技術(shù)改進(jìn)基礎(chǔ)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,以解決上述背景技術(shù)中提出的問(wèn)題。
2、為了實(shí)現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法的具體步驟如下:
3、s1:用戶點(diǎn)擊數(shù)據(jù)進(jìn)行表示:令v={v1,v2,…,vm}表示所有item物品,用表示每個(gè)匿名會(huì)話session,匿名會(huì)話由按時(shí)間順序排列的用戶點(diǎn)擊項(xiàng)目組成,其中表示在會(huì)話s中被點(diǎn)擊的item,s有長(zhǎng)度l;
4、s2:構(gòu)造會(huì)話圖:將每個(gè)會(huì)話序列構(gòu)造為會(huì)話圖graph,給定會(huì)話設(shè)gs=(vs,es)為其對(duì)應(yīng)會(huì)話圖;
5、s3:構(gòu)造全局圖相關(guān)定義:通過(guò)會(huì)話圖構(gòu)造全局圖,其中全局圖相關(guān)定義為定義鄰居集和全局級(jí)項(xiàng)目轉(zhuǎn)換定義;
6、s4:改良鄰接矩陣:為每個(gè)節(jié)點(diǎn)vi,相鄰邊生成權(quán)重區(qū)分vj鄰居重要性,只保留前n條邊并進(jìn)行最短路徑轉(zhuǎn)換,將權(quán)重信息改良為距離信息;
7、s5:基于會(huì)話注意力評(píng)分的項(xiàng)目線性組合:根據(jù)會(huì)話注意力評(píng)分對(duì)項(xiàng)目進(jìn)行線性組合,公式為其中π(vi,vj)表示不同重要性權(quán)重,為項(xiàng)目vi在圖g中的鄰居集,且全局圖中邊(vi,vj)的權(quán)重是可訓(xùn)練參數(shù);
8、s6:利用注意力機(jī)制學(xué)習(xí)節(jié)點(diǎn)間權(quán)重:鑒于會(huì)話圖中項(xiàng)目的鄰居對(duì)其自身重要性不同,通過(guò)注意力機(jī)制來(lái)學(xué)習(xí)不同節(jié)點(diǎn)之間的權(quán)重,eij表示節(jié)點(diǎn)的vj特征對(duì)節(jié)點(diǎn)vj的重要性,這里采用leakyrelu作為激活函數(shù);
9、s7:結(jié)合上下文獲得并計(jì)算會(huì)話表示:對(duì)每個(gè)項(xiàng)目,先結(jié)合全局上下文和會(huì)話上下文獲取其表示,再通過(guò)總和池計(jì)算最終的會(huì)話表示。
10、優(yōu)選地,所述s1中用戶點(diǎn)擊數(shù)據(jù)進(jìn)行表示指的是令v={v1,v2,…,vm}表示所有item物品,用表示每個(gè)匿名會(huì)話session,匿名會(huì)話由按時(shí)間順序排列的用戶點(diǎn)擊項(xiàng)目組成,其中表示在會(huì)話s中被點(diǎn)擊的item,s有長(zhǎng)度l。
11、優(yōu)選地,所述s2中構(gòu)造會(huì)話圖指的是將每個(gè)會(huì)話序列構(gòu)造為會(huì)話圖graph,用于通過(guò)gnn學(xué)習(xí)當(dāng)前會(huì)話中項(xiàng)目的embeddings給定會(huì)話設(shè)gs=(vs,es)為其對(duì)應(yīng)會(huì)話圖,其中vs為s中被點(diǎn)擊的item(商品)的集合,表示邊集,其中每條邊表示s中相鄰的兩個(gè)
12、優(yōu)選地,所述s3中構(gòu)造全局圖相關(guān)定義指的是有兩個(gè)定義,分為定義鄰居集:其中i'是會(huì)話sq中,物品所在的次序,ε是一個(gè)用于控制會(huì)話模型的物品短距離轉(zhuǎn)換的超參數(shù);全局級(jí)項(xiàng)目轉(zhuǎn)換定義:{(vi,vj)|vi,vj∈v;vj∈nε(vi)}。
13、優(yōu)選地,所述s4中改良鄰接矩陣指的是基于最短路徑改良的鄰接矩陣為每個(gè)節(jié)點(diǎn)vi,相鄰邊生成權(quán)重區(qū)分vj鄰居重要性,只保留前n條邊并進(jìn)行最短路徑轉(zhuǎn)換,將權(quán)重信息改良為距離信息。
14、優(yōu)選地,所述s5中基于會(huì)話注意力評(píng)分的項(xiàng)目線性組合指的根據(jù)會(huì)話注意力評(píng)分對(duì)項(xiàng)目進(jìn)行線性組合,公式為:其中π(vi,vj)表示不同重要性權(quán)重,為項(xiàng)目vi在圖g中的鄰居集,且全局圖中邊(vi,vj)的權(quán)重是可訓(xùn)練參數(shù)。
15、優(yōu)選地,所述s6中利用注意力機(jī)制學(xué)習(xí)節(jié)點(diǎn)間權(quán)重指的是鑒于會(huì)話圖中項(xiàng)目的鄰居對(duì)其自身重要性不同,通過(guò)注意力機(jī)制來(lái)學(xué)習(xí)不同節(jié)點(diǎn)之間的權(quán)重,eij表示節(jié)點(diǎn)的vj特征對(duì)節(jié)點(diǎn)vj的重要性,這里采用leakyrelu作為激活函數(shù)。
16、優(yōu)選地,所述s7中結(jié)合上下文獲得并計(jì)算會(huì)話表示指的是對(duì)每個(gè)項(xiàng)目,先結(jié)合全局上下文和會(huì)話上下文獲取其表示,再通過(guò)總和池計(jì)算最終的會(huì)話表示,具體是將會(huì)話序列輸入圖神經(jīng)網(wǎng)絡(luò)得到會(huì)話中項(xiàng)目的表示,即我們通過(guò)軟注意力機(jī)制學(xué)習(xí)相應(yīng)的權(quán)重:最后根據(jù)線性組合項(xiàng)目來(lái)獲得會(huì)話表示:
17、本發(fā)明的有益效果如下:
18、1、本發(fā)明通過(guò)優(yōu)化數(shù)據(jù)利用與挖掘關(guān)聯(lián)模式針對(duì)序列推薦在利用數(shù)據(jù)信息和挖掘關(guān)聯(lián)模式方面的不足,基于會(huì)話推薦(匿名推薦)場(chǎng)景和序列推薦技術(shù)提出改良方案,使推薦系統(tǒng)能更好地挖掘數(shù)據(jù)價(jià)值,發(fā)現(xiàn)潛在關(guān)聯(lián),提升推薦的精準(zhǔn)性和有效性。
19、2、本發(fā)明通過(guò)改良鄰接矩陣提升信息表達(dá)將單一的0/1鄰接矩陣改良為以最短距離為權(quán)重的帶權(quán)鄰接矩陣,利用最短路徑算法豐富了鄰接矩陣的信息表達(dá)能力,有助于捕捉潛在的關(guān)系模式,為更精準(zhǔn)的推薦提供更多依據(jù)。
20、3、本發(fā)明通過(guò)改善gcn3-rank因簡(jiǎn)單鄰接節(jié)點(diǎn)信息聚合方式在層數(shù)加深時(shí)導(dǎo)致的節(jié)點(diǎn)信息趨同、失去特征抽取能力的問(wèn)題,通過(guò)在信息聚合時(shí)加入attention,維持并提升了系統(tǒng)的特征抽取能力,保證推薦系統(tǒng)的性能。
1.一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:該基于圖算法的會(huì)話推薦系統(tǒng)改良方法的具體步驟如下:
2.根據(jù)權(quán)利要求1所述的一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:所述s1中用戶點(diǎn)擊數(shù)據(jù)進(jìn)行表示指的是令v={v1,v2,…,vm}表示所有item物品,用表示每個(gè)匿名會(huì)話session,匿名會(huì)話由按時(shí)間順序排列的用戶點(diǎn)擊項(xiàng)目組成,其中表示在會(huì)話s中被點(diǎn)擊的item,s有長(zhǎng)度l。
3.根據(jù)權(quán)利要求1所述的一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:所述s2中構(gòu)造會(huì)話圖指的是將每個(gè)會(huì)話序列構(gòu)造為會(huì)話圖graph,用于通過(guò)gnn學(xué)習(xí)當(dāng)前會(huì)話中項(xiàng)目的embeddings給定會(huì)話設(shè)gs=(vs,es)為其對(duì)應(yīng)會(huì)話圖,其中vs為s中被點(diǎn)擊的item(商品)的集合,表示邊集,其中每條邊表示s中相鄰的兩個(gè)item:
4.根據(jù)權(quán)利要求1所述的一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:所述s3中構(gòu)造全局圖相關(guān)定義指的是有兩個(gè)定義,分為定義鄰居集:其中i'是會(huì)話sq中,物品所在的次序,ε是一個(gè)用于控制會(huì)話模型的物品短距離轉(zhuǎn)換的超參數(shù);全局級(jí)項(xiàng)目轉(zhuǎn)換定義:{(vi,vj)|vi,vj∈v;vj∈nε(vi)}。
5.根據(jù)權(quán)利要求1所述的一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:所述s4中改良鄰接矩陣指的是基于最短路徑改良的鄰接矩陣為每個(gè)節(jié)點(diǎn)vi,相鄰邊生成權(quán)重區(qū)分vj鄰居重要性,只保留前n條邊并進(jìn)行最短路徑轉(zhuǎn)換,將權(quán)重信息改良為距離信息。
6.根據(jù)權(quán)利要求1所述的一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:所述s5中基于會(huì)話注意力評(píng)分的項(xiàng)目線性組合指的根據(jù)會(huì)話注意力評(píng)分對(duì)項(xiàng)目進(jìn)行線性組合,公式為:其中π(vi,vj)表示不同重要性權(quán)重,為項(xiàng)目vi在圖g中的鄰居集,且全局圖中邊(vi,vj)的權(quán)重是可訓(xùn)練參數(shù)。
7.根據(jù)權(quán)利要求1所述的一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:所述s6中利用注意力機(jī)制學(xué)習(xí)節(jié)點(diǎn)間權(quán)重指的是鑒于會(huì)話圖中項(xiàng)目的鄰居對(duì)其自身重要性不同,通過(guò)注意力機(jī)制來(lái)學(xué)習(xí)不同節(jié)點(diǎn)之間的權(quán)重,eij表示節(jié)點(diǎn)的vj特征對(duì)節(jié)點(diǎn)vj的重要性,這里采用leakyrelu作為激活函數(shù)。
8.根據(jù)權(quán)利要求1所述的一種基于圖算法的會(huì)話推薦系統(tǒng)改良方法,其特征在于:所述s7中結(jié)合上下文獲得并計(jì)算會(huì)話表示指的是對(duì)每個(gè)項(xiàng)目,先結(jié)合全局上下文和會(huì)話上下文獲取其表示,再通過(guò)總和池計(jì)算最終的會(huì)話表示,具體是將會(huì)話序列輸入圖神經(jīng)網(wǎng)絡(luò)得到會(huì)話中項(xiàng)目的表示,即我們通過(guò)軟注意力機(jī)制學(xué)習(xí)相應(yīng)的權(quán)重:最后根據(jù)線性組合項(xiàng)目來(lái)獲得會(huì)話表示: