本發(fā)明屬于電數(shù)據(jù)處理，具體涉及基于句向量循環(huán)的檢索相關(guān)性模型及其構(gòu)建方法。

背景技術(shù)：

1、在一個(gè)檢索系統(tǒng)中，重排是將查詢與粗排篩選出的文檔進(jìn)行重新打分排序，其中相關(guān)性是衡量查詢與文檔語(yǔ)義的最為重要的一個(gè)指標(biāo)，相關(guān)性模型通過(guò)對(duì)查詢與不同文檔的語(yǔ)義相關(guān)性進(jìn)行打分，判斷當(dāng)前查詢對(duì)應(yīng)的哪一個(gè)文檔更為滿足用戶的需求。

2、隨著檢索增強(qiáng)生成任務(wù)的興起，如何在大量文檔中找到與用戶查詢相關(guān)性更高的文檔變得日益重要起來(lái)，使得重排序技術(shù)重新進(jìn)入人們的視野。重排任務(wù)在檢索增強(qiáng)生成中扮演了一個(gè)智能垃圾文本過(guò)濾器的角色，將不相關(guān)文檔篩除，將最為相關(guān)的幾個(gè)文檔作為大模型前置提示詞輸入到大模型中去。

3、重排技術(shù)主要有基于規(guī)則的重排、機(jī)器學(xué)習(xí)重排模型、線性模型、樹模型、端到端的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型等；例如，基于bert模型加一層分類層，分類層主要有基于cnn將相鄰詞進(jìn)行一個(gè)特征提取的textmatching模型、利用查詢與文檔之間相互表示來(lái)提升結(jié)果準(zhǔn)確性的esim模型?；陬A(yù)訓(xùn)練的重排技術(shù)，例如，在掩碼語(yǔ)言模型預(yù)訓(xùn)練的基礎(chǔ)上進(jìn)行詞嵌入語(yǔ)義相似性的二次預(yù)訓(xùn)練，如unilm、simbert、sentence?bert、ernie-gram、bge等，都可以將查詢與文檔映射成句向量，然后通過(guò)歐氏距離、余弦相似度、編輯距離等文本距離的計(jì)算方式，給出兩者之間的相似性分?jǐn)?shù)，進(jìn)而進(jìn)行重排序。

4、但是，現(xiàn)有技術(shù)存在以下技術(shù)問(wèn)題：

5、以查詢與文檔的交互匹配為主，與原有基座模型的訓(xùn)練形式不匹配，容易破壞原有基座模型經(jīng)預(yù)訓(xùn)練后得到的基礎(chǔ)語(yǔ)義信息；

6、基于雙塔結(jié)構(gòu)的相關(guān)性模型推理時(shí)占用計(jì)算資源(gpu)更多；

7、現(xiàn)有檢索式預(yù)訓(xùn)練模型只能利用并挖掘基座模型經(jīng)預(yù)訓(xùn)練得到的語(yǔ)義知識(shí)，無(wú)法對(duì)下游任務(wù)(例如，相關(guān)性任務(wù))進(jìn)行特定于這一下游任務(wù)的訓(xùn)練；

8、現(xiàn)有相關(guān)性模型多在詞向量級(jí)別上進(jìn)行交互運(yùn)算，缺乏對(duì)于整體句向量上與句向量與句向量之間的語(yǔ)義計(jì)算，而檢索重排階段多是查詢與文檔之間按其相關(guān)性分?jǐn)?shù)進(jìn)行排序，容易使得排序陷入局部最優(yōu)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，一些實(shí)施例公開(kāi)了基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，包括：

2、s1、獲取查詢與對(duì)應(yīng)的文檔；文檔包括網(wǎng)頁(yè)的標(biāo)題和從網(wǎng)頁(yè)中抽取的內(nèi)容；

3、s2、標(biāo)注文檔的檔位標(biāo)識(shí)；

4、s3、基于查詢與文檔生成序列文本；

5、s4、將序列文本輸入預(yù)訓(xùn)練模型，得到序列文本的向量化表示，得到文本分類向量、查詢向量、標(biāo)題向量、標(biāo)題結(jié)尾向量、內(nèi)容向量和內(nèi)容結(jié)尾向量；

6、s5、新建對(duì)齊預(yù)訓(xùn)練模型輸出隱藏層維度的向量，作為檢索任務(wù)第一向量；

7、s6、將檢索任務(wù)第一向量與查詢向量做交叉注意力機(jī)制交互處理：將檢索任務(wù)第一向量作為交叉注意力機(jī)制的查詢，將查詢向量作為交叉注意力機(jī)制的鍵和值，得到檢索任務(wù)第二向量；

8、s7、將檢索任務(wù)第二向量與文檔向量做交叉注意力機(jī)制交互處理：將標(biāo)題向量與內(nèi)容向量拼接為文檔向量，將檢索任務(wù)第二向量作為交叉注意力機(jī)制的查詢，將文檔向量作為交叉注意力機(jī)制的鍵和值，得到檢索任務(wù)第三向量；

9、s8、將檢索任務(wù)第三向量與文本分類向量拼接，乘以任務(wù)加權(quán)權(quán)重，得到計(jì)算分?jǐn)?shù)的未歸一化對(duì)數(shù)概率，利用sigmoid函數(shù)映射得到浮點(diǎn)分?jǐn)?shù)，該浮點(diǎn)分?jǐn)?shù)即為相關(guān)性計(jì)算分?jǐn)?shù)；具體表示為：

10、score＝sigmoid(wfinal·concat([cls]′；v3))

11、其中，wfinal為正態(tài)分布隨機(jī)初始化的任務(wù)加權(quán)權(quán)重，[cls]′為文本分類向量，v3為檢索任務(wù)第三向量，score為浮點(diǎn)分?jǐn)?shù)，取值在0～1之間，concat為向量拼接操作。

12、進(jìn)一步，一些實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，步驟s2中，對(duì)查詢與文檔的標(biāo)題和內(nèi)容進(jìn)行標(biāo)注，分為優(yōu)秀、中等、較差和不相關(guān)四個(gè)檔位，得到文檔對(duì)應(yīng)的檔位標(biāo)識(shí)，所述檔位標(biāo)識(shí)為0～1之間的值。

13、一些實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，步驟s3中，生成的序列文本表示為：[cls]查詢[sep]標(biāo)題[sep]內(nèi)容[sep]；同時(shí)，賦予[cls]、查詢[sep]、標(biāo)題[sep]、內(nèi)容[sep]不同的文本類型id，以區(qū)別不同的文本類型；其中，[cls]是序列語(yǔ)義符號(hào)，[sep]是序列結(jié)尾符號(hào)。

14、一些實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，步驟s4中，將序列文本[cls]查詢[sep]標(biāo)題[sep]內(nèi)容[sep]輸入檢索式預(yù)訓(xùn)練模型，得到序列文本的向量化表示，即文本分類向量[cls]’、查詢向量query’、標(biāo)題向量title’、標(biāo)題結(jié)尾向量[sep1]’、內(nèi)容向量snippet’、內(nèi)容結(jié)尾向量[sep2]’。

15、一些實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，步驟s6中，交叉注意力機(jī)制為多頭交叉注意力機(jī)制，包括三個(gè)部分：查詢序列、鍵序列、值序列；步驟s6具體包括：

16、初始化正態(tài)分布的權(quán)重wq、wk、wv、w；

17、依照下述公式計(jì)算q、k、v：

18、q＝wq·v1

19、k＝wk·query′

20、v＝wv·query′

21、其中，q為查詢向量，k為鍵向量，v為值向量，v1為檢索任務(wù)第一向量，wq為q的權(quán)重，wk為k的權(quán)重，wv為v的權(quán)重；query′為查詢向量；

22、將q、k、v分成多頭，此處為n頭，分別計(jì)算單頭注意力；計(jì)算方法包括：

23、q與k的點(diǎn)積放縮向量除以隱藏維度d的開(kāi)方，計(jì)算得到檢索任務(wù)第一向量與查詢向量每一個(gè)分詞之間的相似度得分；

24、經(jīng)過(guò)softmax處理，得到檢索任務(wù)第一向量對(duì)查詢向量每一個(gè)分詞的注意力權(quán)重；

25、將對(duì)應(yīng)分詞的注意力權(quán)重與值向量v相乘后相加，得到最終的單頭向量表達(dá)式headi；單頭計(jì)算過(guò)程表示為：

26、

27、將所有的單頭向量headi拼接，乘以空間加權(quán)權(quán)重w，得到輸出向量v2，表示為：

28、v2＝concat(head1；…；headi)·w

29、其中，v2作為檢索任務(wù)第二向量。

30、一些實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，步驟s7具體包括：

31、初始化正態(tài)分布的權(quán)重wq、wk、wv、w；

32、依照下述公式計(jì)算q、k、v：

33、q＝wq·v2

34、k＝wk·concat(title′；snippet′)

35、v＝wv·concat(title′；snippet′)

36、其中，q為查詢向量，k為鍵向量，v為值向量，v2為檢索任務(wù)第二向量，wq為q的權(quán)重，wk為k的權(quán)重，wv為v的權(quán)重，title’為標(biāo)題向量，snippet’為內(nèi)容向量，concat為向量拼接操作；

37、將q、k、v分成多頭，此處為n頭，分別計(jì)算單頭注意力，包括：

38、q與k的點(diǎn)積放縮向量除以隱藏維度d的開(kāi)方，計(jì)算得到檢索任務(wù)第二向量關(guān)于文檔向量每一個(gè)分詞之間的相似度得分；

39、經(jīng)過(guò)softmax處理，得到檢索任務(wù)第二向量關(guān)于文檔向量每一個(gè)分詞的注意力權(quán)重；

40、將對(duì)應(yīng)分詞的注意力權(quán)重與值向量相乘后相加，得到最終的單頭向量表達(dá)式headi；計(jì)算過(guò)程表示為：

41、

42、將所有的headi拼接，乘以空間加權(quán)權(quán)重w,得到輸出向量v3，表示為：

43、v3＝concat(head1；…；headi)·w

44、其中，v3作為檢索任務(wù)第三向量，concat為向量拼接操作。

45、一些實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，還包括步驟s9、損失函數(shù)計(jì)算，具體包括：采用概率計(jì)算的二分類交叉墑?chuàng)p失函數(shù)bceloss，計(jì)算公式為：

46、

47、其中，li是文檔的檔位標(biāo)識(shí)，取值在0到1之間，si是相關(guān)性模型輸出的浮點(diǎn)分?jǐn)?shù)score。

48、一些實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法，步驟s3包括：

49、固定查詢的長(zhǎng)度；

50、將查詢、文檔的標(biāo)題和摘要輸送到只有編碼器的基礎(chǔ)模型中，交互得到序列文本。

51、另一方面，一些實(shí)施例公開(kāi)了基于句向量循環(huán)的檢索相關(guān)性模型，由本發(fā)明實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法得到。

52、本發(fā)明實(shí)施例公開(kāi)的基于句向量循環(huán)的檢索相關(guān)性模型構(gòu)建方法得到的檢索相關(guān)性模型是基于單塔結(jié)構(gòu)的模型，在查詢與文檔充分交互的情況下，引入新的任務(wù)特定的任務(wù)嵌入向量，總結(jié)查詢，將查詢總結(jié)成一個(gè)單分詞的向量--查詢句向量，然后利用這個(gè)查詢句向量去搜尋文檔，計(jì)算文檔與查詢句向量相關(guān)程度，給出相應(yīng)的相關(guān)性分?jǐn)?shù)。