背景技術(shù)：

1、本說明書涉及機器學習。

2、機器學習模型接收輸入并基于所接收到的輸入來生成輸出，例如預測輸出。一些機器學習模型是參數(shù)模型，并且基于接收到的輸入和模型參數(shù)的值生成輸出。

3、一些機器學習模型是深度模型，深度模型采用多層模型來為接收到的輸入生成輸出。例如，深度神經(jīng)網(wǎng)絡是一種深度機器學習模型，該深度機器學習模型包括輸出層和一個或多個隱藏層，一個或多個隱藏層各自將非線性變換應用于接收到的輸入以生成輸出。

技術(shù)實現(xiàn)思路

1、本公開描述了使用語言模型神經(jīng)網(wǎng)絡的中間嵌入來選擇數(shù)字組件。一種系統(tǒng)可以被實現(xiàn)為在處于一個或多個位置的一個或多個計算機上的計算機程序，該系統(tǒng)使用在處理提示以生成輸出期間生成的語言模型神經(jīng)網(wǎng)絡的中間嵌入來選擇目標數(shù)字組件以進行呈現(xiàn)。例如，語言模型神經(jīng)網(wǎng)絡可以是基于transformer(變換器)的語言模型神經(jīng)網(wǎng)絡或基于遞歸神經(jīng)網(wǎng)絡的語言模型。

2、根據(jù)一方面，提供了一種由一個或多個計算機執(zhí)行的方法，該方法包括：從用戶接收自然語言提示；由語言模型神經(jīng)網(wǎng)絡處理自然語言提示，以生成對自然語言提示的響應；獲得由語言模型神經(jīng)網(wǎng)絡在處理自然語言提示以生成響應期間生成的中間嵌入；基于中間嵌入來從用戶旅程中包括的多個不同階段當中確定一個或多個目標階段，在該用戶旅程期間，用戶執(zhí)行不同動作來執(zhí)行計算機實現(xiàn)的任務；從被映射到一個或多個目標階段的相應候選數(shù)字組件中選擇一個或多個目標數(shù)字組件；以及呈現(xiàn)一個或多個目標數(shù)字組件以及已經(jīng)由語言模型神經(jīng)網(wǎng)絡生成的對自然語言提示的響應以顯示給用戶。

3、這個方面的其他實施例包括記錄在一個或多個計算機存儲裝置上的對應系統(tǒng)和計算機程序，這些對應系統(tǒng)和計算機程序各自被配置為執(zhí)行以上方法方面的動作。

4、前述和其他實施例可以各自可選地單獨或組合地包括以下特征中的一者或多者。特別地，一個實施例組合地包括所有以下特征。

5、計算機實現(xiàn)的任務可以包括：從源網(wǎng)頁導覽通過多個網(wǎng)頁，以到達登錄網(wǎng)頁，其中登錄網(wǎng)頁表示對由源網(wǎng)頁表示的問題的解決方案。

6、多個不同階段可以是不同階段的進展，這些不同階段包括問題意識階段，接著是解決方案提供者意識階段，接著是解決方案考慮階段，接著是解決方案比較階段，接著是解決方案實現(xiàn)階段。

7、中間嵌入可以包括：語言模型神經(jīng)網(wǎng)絡的中間神經(jīng)網(wǎng)絡層的輸出。

8、從包括在用戶旅程中的多個不同階段當中確定一個或多個目標階段可以包括：計算潛在空間中中間嵌入和多個參考嵌入中的每個參考嵌入之間的距離，其中多個參考嵌入由語言模型神經(jīng)網(wǎng)絡基于處理由不同用戶在包括在相應參考用戶旅程中的不同參考階段處提供的歷史自然語言提示來生成；選擇具有滿足距離閾值的距離的一個或多個參考嵌入；標識相應參考用戶旅程內(nèi)的一個或多個參考階段，在這些相應參考用戶旅程期間，由語言模型神經(jīng)網(wǎng)絡生成了一個或多個參考嵌入；以及使用一個或多個參考階段作為一個或多個目標階段。

9、該方法可以包括：使用語言模型神經(jīng)網(wǎng)絡以基于登陸網(wǎng)頁上可用的信息來生成附加歷史自然語言提示，這些附加歷史自然語言提示表示將由不同用戶在相應參考用戶旅程中包括的不同參考階段處提供的歷史自然語言提示。

10、選擇一個或多個目標數(shù)字組件可以包括：從數(shù)字組件提供者并且針對用戶旅程中包括的多個不同階段中的每個階段接收與每個階段相關(guān)聯(lián)的相應候選數(shù)字組件。

11、可以實現(xiàn)本說明書中描述的主題的特定實施例，以便實現(xiàn)以下優(yōu)點中的一個或多個優(yōu)點。

12、通過使用已經(jīng)在處理提示以生成輸出期間生成的語言模型神經(jīng)網(wǎng)絡的中間嵌入，可以使得選擇附加內(nèi)容(例如，數(shù)字組件)以與輸出一起呈現(xiàn)比基于在生成輸出之后隨后分析輸出來選擇附加內(nèi)容快得多，即，因為對附加內(nèi)容的選擇可以至少部分地與輸出的生成同時執(zhí)行。這減少了提供和呈現(xiàn)內(nèi)容方面的時延，這也可以減少在等待附加內(nèi)容的同時可能發(fā)生的錯誤。

13、通過測量潛在空間中被映射到相應用戶旅程內(nèi)的已知階段的中間嵌入和參考嵌入之間的距離，該系統(tǒng)可以更靈活和準確地分析提示的上下文，這促進標識更合適的數(shù)字組件以進行呈現(xiàn)。在一些示例中，這些數(shù)字組件在被呈現(xiàn)給用戶時將幫助用戶例如在隨后的對話輪次中以可以縮減完成特定任務原本需要的對話輪次的總數(shù)的方式提供提示。因此，與語言模型處理額外提示所需的計算資源(例如，存儲器、存儲、數(shù)據(jù)傳輸和計算能力)相關(guān)聯(lián)的成本也被降低。進一步地，可以降低響應于提示而顯示不合適的內(nèi)容的可能性，而不在顯示合適的內(nèi)容時引入顯著的時延。

14、附圖和以下描述中闡述本說明書的主題的一個或多個實施例的細節(jié)。根據(jù)描述、附圖和權(quán)利要求，該主題的其他特征、方面和優(yōu)點將變得顯而易見。

技術(shù)特征：

1.一種由一個或多個計算機執(zhí)行的方法，包括：

2.如權(quán)利要求1所述的方法，其中，所述計算機實現(xiàn)的任務包括：

3.如權(quán)利要求1至2中任一項所述的方法，其中，所述多個不同階段是不同階段的進展，所述不同階段包括問題意識階段，接著是解決方案提供者意識階段，接著是解決方案考慮階段，接著是解決方案比較階段，以及接著是解決方案實施階段。

4.如權(quán)利要求1至3中任一項所述的方法，其中，所述中間嵌入包括：

5.如權(quán)利要求1至4中任一項所述的方法，其中，從包括在所述用戶旅程中的所述多個不同階段當中確定所述一個或多個目標階段包括：

6.如權(quán)利要求5所述的方法，包括：

7.如權(quán)利要求1至6中任一項所述的方法，其中，選擇所述一個或多個目標數(shù)字組件包括：

8.一種系統(tǒng)，包括一個或多個計算機和存儲指令的一個或多個存儲裝置，當由一個或多個計算機執(zhí)行時，所述指令能夠操作以致使所述一個或多個計算機執(zhí)行如任一項前述權(quán)利要求所述的相應方法的操作。

9.一種編碼有指令的計算機存儲介質(zhì)，所述指令在由一個或多個計算機執(zhí)行時，致使所述一個或多個計算機執(zhí)行如任一項前述權(quán)利要求所述的相應方法的操作。

技術(shù)總結(jié)
描述了包括編碼在計算機存儲介質(zhì)上的計算機程序的、用于使用語言模型神經(jīng)網(wǎng)絡的中間嵌入來選擇數(shù)字組件的方法、系統(tǒng)和設備。從用戶接收自然語言提示，并且由語言模型神經(jīng)網(wǎng)絡處理該自然語言提示以生成響應。獲得中間嵌入?；谥虚g嵌入來從用戶旅程中包括的多個不同階段當中確定一個或多個目標階段，在該用戶旅程期間，用戶執(zhí)行不同動作來執(zhí)行計算機實現(xiàn)的任務。從映射到一個或多個目標階段的相應候選數(shù)字組件中選擇一個或多個目標數(shù)字組件。呈現(xiàn)一個或多個目標數(shù)字組件，以與已經(jīng)由語言模型神經(jīng)網(wǎng)絡生成的對自然語言提示的響應一起顯示給用戶。

技術(shù)研發(fā)人員：N·J·瑞德
受保護的技術(shù)使用者：谷歌有限責任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15