本技術(shù)涉及人工智能,尤其涉及一種答案生成方法、知識(shí)問(wèn)答系統(tǒng)和電子設(shè)備。
背景技術(shù):
1、在現(xiàn)有技術(shù)中,檢索式增強(qiáng)生成(retrieval-augmented?generation,rag)模型通常使用固定的策略進(jìn)行檢索和生成,無(wú)法根據(jù)查詢的復(fù)雜性動(dòng)態(tài)調(diào)整。對(duì)于簡(jiǎn)單查詢,使用復(fù)雜的多步方法會(huì)導(dǎo)致不必要的計(jì)算開(kāi)銷,而對(duì)于復(fù)雜查詢,使用簡(jiǎn)單的方法則可能無(wú)法提供準(zhǔn)確的答案。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例的主要目的在于提出一種答案生成方法、知識(shí)問(wèn)答系統(tǒng)和電子設(shè)備,旨在根據(jù)查詢問(wèn)題的復(fù)雜性自動(dòng)選擇合適的檢索和答案生成策略來(lái)生成答案,從而提高答案生成的靈活性和效率。
2、為實(shí)現(xiàn)上述目的,本技術(shù)實(shí)施例的第一方面提出了一種答案生成方法,所述方法包括:
3、獲取用戶的查詢問(wèn)題和對(duì)應(yīng)的歷史交互記錄,并對(duì)所述查詢問(wèn)題和對(duì)應(yīng)的歷史交互記錄進(jìn)行多維特征提取,得到多維特征集;
4、對(duì)所述多維特征集中的各個(gè)特征進(jìn)行分析,識(shí)別出核心特征,并構(gòu)建核心特征集,其中,所述核心特征為最能體現(xiàn)問(wèn)題復(fù)雜度的特征;
5、使用自適應(yīng)聚合策略,將所述核心特征集中的各個(gè)核心特征進(jìn)行聚合,得到聚合特征向量;
6、將所述聚合特征向量輸入至分層復(fù)雜度分流器中進(jìn)行處理,得到所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí),其中,所述分層復(fù)雜度分流器包括輕量分類層和深度分類層,在所述輕量分類層無(wú)法確定出所述查詢問(wèn)題的復(fù)雜度等級(jí)時(shí),由所述深度分類層采用多頭復(fù)雜度解碼器確定所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí);
7、根據(jù)所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí),選擇對(duì)應(yīng)的檢索和答案生成策略,以生成所述查詢問(wèn)題的答案。
8、在本技術(shù)的一個(gè)實(shí)施例中,對(duì)所述查詢問(wèn)題和對(duì)應(yīng)的歷史交互記錄進(jìn)行多維特征提取,得到多維特征集,包括:
9、通過(guò)雙向注意力機(jī)制,將所述查詢問(wèn)題與所述歷史交互記錄進(jìn)行融合,生成上下文信息;
10、根據(jù)所述上下文信息,對(duì)不同類型的特征進(jìn)行提取,得到候選多維特征集,其中,所述候選多維特征集包括語(yǔ)法特征、語(yǔ)義特征和檢索信息特征;
11、通過(guò)多個(gè)復(fù)雜度感知注意力頭,分別計(jì)算不同復(fù)雜度等級(jí)下的注意力權(quán)重,并根據(jù)所述注意力權(quán)重調(diào)整所述候選多維特征集中各個(gè)特征的權(quán)重;
12、對(duì)所述候選多維特征集進(jìn)行特征變換、過(guò)濾、重構(gòu)和補(bǔ)全處理,得到多維特征集。
13、在本技術(shù)的一個(gè)實(shí)施例中,所述對(duì)所述多維特征集中的各個(gè)特征進(jìn)行分析,識(shí)別出核心特征,并構(gòu)建核心特征集,包括:
14、構(gòu)建復(fù)雜度錨點(diǎn),所述復(fù)雜度錨點(diǎn)為用于衡量復(fù)雜度的基準(zhǔn);
15、將所述多維特征集中的各個(gè)特征分別與所述復(fù)雜度錨點(diǎn)進(jìn)行對(duì)照,以篩選出核心特征;
16、集合篩選出的核心特征,得到核心特征集。
17、在本技術(shù)的一個(gè)實(shí)施例中,所述使用自適應(yīng)聚合策略,將所述核心特征集中的各個(gè)核心特征進(jìn)行聚合,得到聚合特征向量包括:
18、根據(jù)核心特征集中各個(gè)核心特征之間的相對(duì)重要性及核心特征與所述復(fù)雜度錨點(diǎn)的匹配度,確定各個(gè)核心特征對(duì)應(yīng)的權(quán)重;
19、根據(jù)各個(gè)核心特征對(duì)應(yīng)的權(quán)重,使用自適應(yīng)聚合策略將各個(gè)核心特征進(jìn)行聚合,得到聚合特征向量。
20、在本技術(shù)的一個(gè)實(shí)施例中,所述將所述聚合特征向量輸入至分層復(fù)雜度分流器中進(jìn)行處理,得到所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí)包括:
21、將所述聚合特征向量輸入至分層復(fù)雜度分流器中,由所述輕量分類層獲取所述聚合特征向量,并判斷出所述查詢問(wèn)題的復(fù)雜度;
22、若所述輕量分類層無(wú)法判斷出所述查詢問(wèn)題的復(fù)雜度,由所述深度分類層采用多頭復(fù)雜度解碼器判斷所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí)并輸出;
23、利用所述深度分類層預(yù)測(cè)子問(wèn)題數(shù)量、領(lǐng)域知識(shí)調(diào)用標(biāo)記和知識(shí)驗(yàn)證標(biāo)記。
24、在本技術(shù)的一個(gè)實(shí)施例中,所述復(fù)雜度等級(jí)包括第一等級(jí)、第二等級(jí)、第三等級(jí)和第四等級(jí),其中,所述第一等級(jí)、第二等級(jí)、第三等級(jí)和第四等級(jí)分別表征的復(fù)雜度依次增大,所述根據(jù)所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí),選擇對(duì)應(yīng)的檢索和答案生成策略,以生成所述查詢問(wèn)題的答案,包括:
25、若所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí)為第一等級(jí),則利用大語(yǔ)言模型的內(nèi)部知識(shí)生成對(duì)應(yīng)的答案;
26、若所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度為第二等級(jí),則從外部知識(shí)庫(kù)中檢索與所述查詢問(wèn)題相關(guān)的文檔,并將所述查詢問(wèn)題和檢索到的文檔輸入到大語(yǔ)言模型中生成所述查詢問(wèn)題的答案;
27、若所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度為第三等級(jí),則將所述查詢問(wèn)題分解為多個(gè)子問(wèn)題,并分別對(duì)每個(gè)所述子問(wèn)題進(jìn)行檢索和生成各個(gè)所述子問(wèn)題的子答案,以根據(jù)所有所述子答案生成所述查詢問(wèn)題的答案;
28、若所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度為第四等級(jí),則檢索與所述查詢問(wèn)題相關(guān)的多源信息,并根據(jù)所述多源信息生成所述查詢問(wèn)題的答案。
29、在本技術(shù)的一個(gè)實(shí)施例中,在根據(jù)所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí),選擇對(duì)應(yīng)的檢索和答案生成策略,以生成所述查詢問(wèn)題的答案之后,所述方法還包括:
30、獲取用戶反饋,所述用戶反饋包括用戶對(duì)生成的所述查詢問(wèn)題的答案的反饋;
31、根據(jù)所述用戶反饋對(duì)檢索和答案生成策略進(jìn)行優(yōu)化。
32、為實(shí)現(xiàn)上述目的,本技術(shù)實(shí)施例的第二方面提出了一種知識(shí)問(wèn)答系統(tǒng),包括上下文感知多維特征提取模型、多層次復(fù)雜度感知融合網(wǎng)絡(luò)和改進(jìn)的檢索式增強(qiáng)生成模型,其中:
33、所述上下文感知多維特征提取模型用于執(zhí)行以下步驟:
34、獲取用戶的查詢問(wèn)題和對(duì)應(yīng)的歷史交互記錄,并對(duì)所述查詢問(wèn)題和對(duì)應(yīng)的歷史交互記錄進(jìn)行多維特征提取,得到多維特征集;
35、所述多層次復(fù)雜度感知融合網(wǎng)絡(luò)用于執(zhí)行以下步驟:
36、對(duì)所述多維特征集中的各個(gè)特征進(jìn)行分析,識(shí)別出核心特征,并構(gòu)建核心特征集,其中,所述核心特征為最能體現(xiàn)問(wèn)題復(fù)雜度的特征;
37、使用自適應(yīng)聚合策略,將所述核心特征集中的各個(gè)核心特征進(jìn)行聚合,得到聚合特征向量;
38、將所述聚合特征向量輸入至分層復(fù)雜度分流器中進(jìn)行處理,得到所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí),其中,所述分層復(fù)雜度分流器包括輕量分類層和深度分類層,在所述輕量分類層無(wú)法確定出所述查詢問(wèn)題的復(fù)雜度等級(jí)時(shí),由所述深度分類層采用多頭復(fù)雜度解碼器確定所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí);
39、所述改進(jìn)的檢索式增強(qiáng)生成模型用于執(zhí)行以下步驟:
40、根據(jù)所述查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí),選擇對(duì)應(yīng)的檢索和答案生成策略,以生成所述查詢問(wèn)題的答案。
41、在本技術(shù)的一個(gè)實(shí)施例中,所述上下文感知多維特征提取模型包括:
42、動(dòng)態(tài)上下文融合模塊,用于通過(guò)雙向注意力機(jī)制,將所述查詢問(wèn)題與所述歷史交互記錄進(jìn)行融合,生成上下文信息;
43、多維特征自適應(yīng)提取模塊,用于根據(jù)所述上下文信息,對(duì)不同類型的特征進(jìn)行提取,得到候選多維特征集,其中,所述多維特征包括語(yǔ)法特征、語(yǔ)義特征和檢索信息特征;
44、層級(jí)復(fù)雜度注意力機(jī)制,用于通過(guò)多個(gè)復(fù)雜度感知注意力頭,分別計(jì)算不同復(fù)雜度等級(jí)下的注意力權(quán)重,并根據(jù)所述注意力權(quán)重調(diào)整所述候選多維特征集中各個(gè)特征的權(quán)重;
45、自適應(yīng)特征增強(qiáng)層,用于對(duì)所述候選多維特征集進(jìn)行特征變換、過(guò)濾、重構(gòu)和補(bǔ)全處理,得到多維特征集。
46、為實(shí)現(xiàn)上述目的,本技術(shù)實(shí)施例的第三方面提出了一種電子設(shè)備,所述電子設(shè)備包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本技術(shù)任一實(shí)施例所述的方法。
47、在本技術(shù)一實(shí)施例提供的技術(shù)方案中,先對(duì)查詢問(wèn)題和對(duì)應(yīng)的歷史交互記錄進(jìn)行多維特征提取,得到多維特征集。通過(guò)結(jié)合對(duì)應(yīng)的歷史交互記錄進(jìn)行特征提取,能夠提升對(duì)查詢問(wèn)題理解的準(zhǔn)確度。通過(guò)多維特征提取,能夠提取到不同維度下的特征用于后續(xù)復(fù)雜度分類的判斷,為后續(xù)復(fù)雜度的準(zhǔn)確分類奠定基礎(chǔ)。接著,對(duì)多維特征集中的各個(gè)特征進(jìn)行分析,識(shí)別出核心特征,并構(gòu)建核心特征集,其中,核心特征為最能體現(xiàn)問(wèn)題復(fù)雜度的特征。即通過(guò)從多維特征集中篩選出最能體現(xiàn)問(wèn)題復(fù)雜度的核心特征,能夠提高復(fù)雜度分類的準(zhǔn)確性,并降低后續(xù)處理的復(fù)雜度,提高后續(xù)處理效率。再使用自適應(yīng)聚合策略,將核心特征集中的各個(gè)核心特征進(jìn)行聚合,得到聚合特征向量。其中,得到的聚合特征向量不僅包含查詢問(wèn)題的語(yǔ)義與語(yǔ)法特征,還隱含了對(duì)查詢問(wèn)題復(fù)雜度的預(yù)判與偏好,便于后續(xù)的復(fù)雜度分類。再將聚合特征向量輸入至分層復(fù)雜度分流器中進(jìn)行處理,可得到查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí)。其中,分層復(fù)雜度分流器包括輕量分類層和深度分類層,在輕量分類層無(wú)法確定出查詢問(wèn)題的復(fù)雜度等級(jí)時(shí),由深度分類層采用多頭復(fù)雜度解碼器確定查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí)。即對(duì)于復(fù)雜度等級(jí)較低的查詢問(wèn)題(即較為簡(jiǎn)單的問(wèn)題)可由輕量分類層直接輸出復(fù)雜度等級(jí),而對(duì)于復(fù)雜度等級(jí)較高的查詢問(wèn)題(即較為復(fù)雜的問(wèn)題)可由深度分類層輸出復(fù)雜度等級(jí),能夠保證復(fù)雜度分類的準(zhǔn)確性的同時(shí),還能夠提高復(fù)雜度分類的效率。最后,再根據(jù)查詢問(wèn)題對(duì)應(yīng)的復(fù)雜度等級(jí),選擇對(duì)應(yīng)的檢索和答案生成策略,以生成查詢問(wèn)題的答案,能夠提高答案生成的靈活性和效率。