本公開整體涉及自然語言處理。例如，本公開的各方面涉及用于生成并使用自然語言生成模型的系統(tǒng)和技術(shù)，該自然語言生成模型緩解幻覺或自然語言生成模型變得確信不真實事實并基于不真實事實生成文本或語音的情況。

背景技術(shù)：

1、機(jī)器學(xué)習(xí)模型(例如，諸如神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型)可用于執(zhí)行各種任務(wù)，包括深度估計、檢測和/或識別(例如，場景或?qū)ο髾z測和/或識別)、姿態(tài)估計、圖像重建、分類、三維(3d)建模、密集回歸任務(wù)、數(shù)據(jù)壓縮和/或解壓縮、圖像處理等等。機(jī)器學(xué)習(xí)模型可通用，并且可在各種任務(wù)中實現(xiàn)高質(zhì)量結(jié)果。

技術(shù)實現(xiàn)思路

1、本文描述了用于使用自然語言生成基于輸入內(nèi)容生成輸出文本的系統(tǒng)和技術(shù)。在一些示例中，該系統(tǒng)和技術(shù)被配置為使用貪婪搜索、束搜索或它們的組合來搜索將在該輸出文本中使用的可能的令牌(例如，詞或其部分)，例如考慮到該輸出文本中先前生成的詞以及/或者考慮到該輸入內(nèi)容，基于令牌將被使用的概率來對這些可能的令牌進(jìn)行排序。該系統(tǒng)和技術(shù)被配置為包括自然語言推理(nli)評分系統(tǒng)，該自然語言推理(nli)評分系統(tǒng)針對給定的可能令牌生成nli得分以標(biāo)識該令牌對該輸入內(nèi)容的忠實程度，例如根據(jù)該輸入內(nèi)容來確定在該輸出文本中使用該令牌是否導(dǎo)致真、假或中性(例如，未確定)的陳述。該系統(tǒng)和技術(shù)可基于該nli得分對該可能的令牌進(jìn)行重排序，或者可按照其他方式將該nli得分作為因素計入該可能的令牌的排序中。該系統(tǒng)和技術(shù)可基于該排序來選擇令牌，以基于該排序來生成該輸出文本。通過使用該nli評分系統(tǒng)，該系統(tǒng)和技術(shù)被配置為緩解幻覺(例如，在該輸出文本中基于該輸入內(nèi)容不為真的“事實”)。

2、提供了用于自然語言處理的系統(tǒng)和技術(shù)。系統(tǒng)基于輸入內(nèi)容(例如，文本和/或語音)生成多個令牌(例如，詞或其部分)。該系統(tǒng)搜索該多個令牌以基于概率生成該多個令牌的第一排序。該系統(tǒng)生成該多個令牌的自然語言推理(nli)得分，以基于對該輸入內(nèi)容的忠實度(例如，這些令牌是否基于該輸入內(nèi)容產(chǎn)生為真的陳述)來生成該多個令牌的第二排序。該系統(tǒng)生成輸出文本，該輸出文本包括基于該第一排序和該第二排序從該多個令牌中選擇的至少一個令牌。

3、根據(jù)至少一個示例，提供了一種用于自然語言處理的方法。該處理器實現(xiàn)的方法包括：基于輸入內(nèi)容生成令牌序列；基于與該令牌序列中的每個令牌相關(guān)聯(lián)的相應(yīng)置信水平來確定與該令牌序列相關(guān)聯(lián)的置信水平；生成包括該令牌序列的完整語句；基于該完整語句對該輸入內(nèi)容的忠實度來生成該完整語句的自然語言推理(nli)得分；以及基于該完整語句的該nli得分來調(diào)整該令牌序列的該置信水平，以生成該令牌序列的更新的置信水平。

4、在另一示例中，提供了一種用于自然語言處理的裝置，該裝置包括至少一個存儲器和至少一個處理器，該至少一個處理器耦合到該至少一個存儲器。該至少一個處理器被配置為：基于輸入內(nèi)容生成令牌序列；基于與該令牌序列中的每個令牌相關(guān)聯(lián)的相應(yīng)置信水平來確定與該令牌序列相關(guān)聯(lián)的置信水平；生成包括該令牌序列的完整語句；基于該完整語句對該輸入內(nèi)容的忠實度來生成該完整語句的自然語言推理(nli)得分；以及基于該完整語句的該nli得分來調(diào)整該令牌序列的該置信水平，以生成該令牌序列的更新的置信水平。

5、在另一示例中，提供了一種非暫態(tài)計算機(jī)可讀介質(zhì)，該非暫態(tài)計算機(jī)可讀介質(zhì)在其上存儲有指令，這些指令在由一個或多個處理器執(zhí)行時使該一個或多個處理器：基于輸入內(nèi)容生成令牌序列；基于與該令牌序列中的每個令牌相關(guān)聯(lián)的相應(yīng)置信水平來確定與該令牌序列相關(guān)聯(lián)的置信水平；生成包括該令牌序列的完整語句；基于該完整語句對該輸入內(nèi)容的忠實度來生成該完整語句的自然語言推理(nli)得分；以及基于該完整語句的該nli得分來調(diào)整該令牌序列的該置信水平，以生成該令牌序列的更新的置信水平。

6、在另一示例中，提供了一種用于自然語言處理的裝置。該裝置包括：用于基于輸入內(nèi)容生成令牌序列的部件；用于基于與該令牌序列中的每個令牌相關(guān)聯(lián)的相應(yīng)置信水平來確定與該令牌序列相關(guān)聯(lián)的置信水平的部件；用于生成包括該令牌序列的完整語句的部件；用于基于該完整語句對該輸入內(nèi)容的忠實度來生成該完整語句的自然語言推理(nli)得分的部件；和用于基于該完整語句的該nli得分來調(diào)整該令牌序列的該置信水平，以生成該令牌序列的更新的置信水平的部件。

7、在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于該輸入內(nèi)容使用束搜索來生成該令牌序列。在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于該令牌序列使用貪婪搜索來生成該完整語句。

8、在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于候選令牌的相應(yīng)顯著性值是否超過顯著性閾值來限制該候選令牌用于生成該完整語句。在一些方面，該顯著性閾值基于該候選令牌的該相應(yīng)顯著性值的平均值。

9、在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于與該令牌序列相關(guān)聯(lián)的該置信水平和與第二令牌序列相關(guān)聯(lián)的第二置信水平，對照該第二令牌序列對該令牌序列進(jìn)行排序。在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于與該令牌序列相關(guān)聯(lián)的該更新的置信水平和與該第二令牌序列相關(guān)聯(lián)的第二更新的置信水平，對照該第二令牌序列對該令牌序列進(jìn)行重排序，其中該第二更新的置信水平基于第二完整語句的第二nli得分，該第二完整語句是基于該第二令牌序列生成的。在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于對照該第二令牌序列對該令牌序列進(jìn)行重排序，從至少該令牌序列和該第二令牌序列中選擇排序最高的令牌序列；以及生成包括該排序最高的令牌序列的輸出文本。在一些方面，該輸出文本被配置為對該輸入內(nèi)容進(jìn)行摘要生成。

10、在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于該令牌序列的該更新的置信水平超過第二令牌序列的第二更新的置信水平，生成包括該令牌序列的輸出文本。在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于該輸入內(nèi)容生成該第二令牌序列；基于與該第二令牌序列中的每個令牌相關(guān)聯(lián)的次要相應(yīng)置信水平來確定與該第二令牌序列相關(guān)聯(lián)的第二置信水平；生成包括該第二令牌序列的第二完整語句；基于該第二完整語句對該輸入內(nèi)容的忠實度來生成該第二完整語句的第二nli得分；以及基于該第二完整語句的該第二nli得分來調(diào)整該第二令牌序列的該第二置信水平，以生成該第二令牌序列的該第二更新的置信水平。在一些方面，該輸出文本被配置為對該輸入內(nèi)容進(jìn)行摘要生成。

11、在一些方面，該nli得分標(biāo)識該完整語句的至少一部分為真、假還是中性。

12、在一些方面，該輸入內(nèi)容包括輸入文本。在一些方面，該令牌序列中的每個令牌是相應(yīng)詞的至少一部分。

13、在一些方面，該令牌序列被配置為跟隨在該完整語句中的先前確定的令牌序列之后，其中該完整語句包括該先前確定的令牌序列、該令牌序列和至少一個附加令牌。

14、在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：基于該輸入內(nèi)容使用貪婪搜索來生成該令牌序列。

15、在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：輸出包括該令牌序列的輸出文本。在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：使顯示器顯示包括該令牌序列的輸出文本。在一些方面，上文所述的方法、裝置和計算機(jī)可讀介質(zhì)中的一者或多者還包括：使通信接口向接收方設(shè)備發(fā)送包括該令牌序列的輸出文本。

16、在一些方面，本文所描述的裝置中的一個或多個裝置是并且/或者包括以下內(nèi)容并且/或者作為以下內(nèi)容的一部分：擴(kuò)展現(xiàn)實(xr)設(shè)備或系統(tǒng)(例如，虛擬現(xiàn)實(vr)設(shè)備、增強(qiáng)現(xiàn)實(ar)設(shè)備或混合現(xiàn)實(mr)設(shè)備)、移動設(shè)備或無線通信設(shè)備(例如，移動電話或其他移動設(shè)備)、可穿戴設(shè)備(例如，聯(lián)網(wǎng)手表或其他可穿戴設(shè)備)、相機(jī)、個人計算機(jī)、膝上型計算機(jī)、交通工具或交通工具的計算設(shè)備或組件、服務(wù)器計算機(jī)或服務(wù)器設(shè)備(例如，基于邊緣或云的服務(wù)器、充當(dāng)服務(wù)器設(shè)備的個人計算機(jī)、諸如充當(dāng)服務(wù)器設(shè)備的移動電話的移動設(shè)備、充當(dāng)服務(wù)器設(shè)備的xr設(shè)備、充當(dāng)服務(wù)器設(shè)備的交通工具、網(wǎng)絡(luò)路由器或充當(dāng)服務(wù)器設(shè)備的其他設(shè)備)、另一設(shè)備或它們的組合。在一些方面，該裝置包括用于捕獲一個或多個圖像的一個相機(jī)或多個相機(jī)。在一些方面，該裝置還包括用于顯示一個或多個圖像、通知和/或其他可顯示數(shù)據(jù)的顯示器。在一些方面，上述裝置可包括一個或多個傳感器(例如，一個或多個慣性測量單元(imu)，諸如一個或多個陀螺儀、一個或多個陀螺測試儀、一個或多個加速度計、它們的任何組合和/或其他傳感器)。

17、該
技術(shù)實現(xiàn)要素：
不旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵或必要特征，其也不旨在單獨(dú)用于確定所要求保護(hù)的主題的范圍。本主題應(yīng)當(dāng)參考本專利的整個說明書的合適部分、任何或所有附圖、以及每項權(quán)利要求來理解。

18、前述內(nèi)容以及其他特征和實施方案將在參考以下說明書、權(quán)利要求書和附圖時變得更明顯。