本說明書涉及圖像處理，尤其是一種基于拓展現(xiàn)實(shí)的ui風(fēng)格化方法及裝置。

背景技術(shù)：

1、在用戶使用拓展現(xiàn)實(shí)（extended?reality,?xr）設(shè)備進(jìn)入沉浸式場景中（比如，用戶玩xr游戲）時，仍然需要接收到用戶所處場景之外的提示信息，例如重要的信息提示、設(shè)備電量消息提示及其他應(yīng)用的提示等。然而，用戶所處場景之外的提示信息只具備原有的默認(rèn)風(fēng)格，在當(dāng)前用戶所處的沉浸式場景中有些突兀，特別是強(qiáng)提醒的提示甚至?xí)?dǎo)致用戶的體驗(yàn)中斷，因此，需要將用戶所處場景之外的提示信息風(fēng)格化為用戶當(dāng)前所處的場景，實(shí)現(xiàn)提示信息的風(fēng)格化。

2、傳統(tǒng)ui風(fēng)格化方案中依賴sdk接口，存在功能性與視覺風(fēng)格分離以及風(fēng)格化不足的問題。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中提示信息和沉浸式應(yīng)用風(fēng)格不匹配導(dǎo)致的體驗(yàn)差距的問題，本說明書實(shí)施例提供了一種基于拓展現(xiàn)實(shí)的ui風(fēng)格化方法及裝置，所述方法包括：獲取用戶視野中的拓展現(xiàn)實(shí)場景及待風(fēng)格化ui元素；根據(jù)所述拓展現(xiàn)實(shí)場景及所述待風(fēng)格化ui元素，生成針對所述待風(fēng)格化ui元素的風(fēng)格化描述指令，所述風(fēng)格化描述指令用于將所述待風(fēng)格化ui元素融入到所述拓展現(xiàn)實(shí)場景的視覺表達(dá)中；根據(jù)所述風(fēng)格化描述指令，確定所述風(fēng)格化描述指令中各單個風(fēng)格化后的目標(biāo)ui元素；將各單個風(fēng)格化后的目標(biāo)ui元素進(jìn)行重新排列，生成風(fēng)格化ui組件。

2、根據(jù)本說明書實(shí)施例的一個方面，根據(jù)所述拓展現(xiàn)實(shí)場景及所述待風(fēng)格化ui元素，生成針對所述待風(fēng)格化ui元素的風(fēng)格化描述指令包括：將所述拓展現(xiàn)實(shí)場景對應(yīng)的視覺表達(dá)及待風(fēng)格化ui元素輸入至大語言模型，得到大語言模型輸出的風(fēng)格化描述指令；其中，所述大語言模型通過預(yù)先訓(xùn)練得到。

3、根據(jù)本說明書實(shí)施例的一個方面，據(jù)所述風(fēng)格化描述指令，確定所述風(fēng)格化描述指令中各單個風(fēng)格化后的目標(biāo)ui元素，包括：將所述風(fēng)格化描述指令輸入至文本圖像模型，得到文本圖像模型輸出的單個風(fēng)格化后的目標(biāo)ui元素；所述文本圖像模型通過風(fēng)格化樣本描述指令訓(xùn)練初始文本圖像模型得到。

4、根據(jù)本說明書實(shí)施例的一個方面，根據(jù)所述風(fēng)格化描述指令，確定所述風(fēng)格化描述指令中各單個風(fēng)格化后的目標(biāo)ui元素，包括：將所述風(fēng)格化描述指令轉(zhuǎn)換為對應(yīng)的代碼；根據(jù)所述代碼確定所述風(fēng)格化描述指令中對應(yīng)的ui元素，得到多個風(fēng)格化后的單個風(fēng)格化后的目標(biāo)ui元素。

5、根據(jù)本說明書實(shí)施例的一個方面，所述文本圖像模型通過如下方式訓(xùn)練得到：獲取訓(xùn)練樣本集，所述訓(xùn)練樣本集包括：樣本文本及所述樣本文本對應(yīng)的標(biāo)簽ui元素；將所述樣本文本輸入至初始文本圖像模型，得到初始文本圖像模型輸出的單個預(yù)測ui元素；根據(jù)所述標(biāo)簽ui元素及所述預(yù)測ui元素，構(gòu)建損失函數(shù)，基于所述損失函數(shù)迭代更新所述初始文本圖像模型的參數(shù)，直到損失函數(shù)收斂至預(yù)設(shè)閾值，構(gòu)建得到文本圖像模型。

6、根據(jù)本說明書實(shí)施例的一個方面，在構(gòu)建得到文本圖像模型，且文本圖像模型輸出的單個風(fēng)格化后的目標(biāo)ui元素之后，所述方法還包括：根據(jù)各目標(biāo)ui元素的圖像特征及所述目標(biāo)ui元素對應(yīng)的文本特征，確定分塊圖文損失函數(shù)；根據(jù)目標(biāo)圖像的視覺特征及所述視覺表達(dá)中的場景圖像的視覺特征，確定視覺特征提取損失函數(shù)，其中，所述目標(biāo)圖像由所有目標(biāo)ui元素組合得到；根據(jù)目標(biāo)圖像的特征與場景圖像的場景描述，確定場景一致性損失函數(shù)；根據(jù)所述分塊圖文損失函數(shù)、所述視覺特征提取損失函數(shù)及所述場景一致性損失函數(shù)中的至少一種損失函數(shù)，指導(dǎo)大語言模型、文本圖像模型中的至少一種模型進(jìn)行微調(diào)。

7、根據(jù)本說明書實(shí)施例的一個方面，所述大語言模型進(jìn)一步輸出針對所述場景圖像及所述待風(fēng)格化ui元素的排列布局，所述將各單個風(fēng)格化后的目標(biāo)ui元素進(jìn)行重新排列，生成風(fēng)格化ui組件包括：根據(jù)所述場景圖像及所述待風(fēng)格化ui的排列布局，將各單個風(fēng)格化后的目標(biāo)ui元素進(jìn)行重新排列，生成風(fēng)格化ui組件。

8、根據(jù)本說明書實(shí)施例的一個方面，所述方法還包括：

9、利用如下公式構(gòu)建總損失函數(shù)：

10、++?；

11、其中，，，分別表示分塊圖文損失函數(shù)、場景一致性損失函數(shù)以及歸一化后的視覺特征提取損失函數(shù)的權(quán)重；表示分塊圖文損失函數(shù)，表示場景一致性損失函數(shù)，表示歸一化后的視覺特征提取損失函數(shù)。

12、本說明書實(shí)施例提供了一種基于拓展現(xiàn)實(shí)的ui風(fēng)格化裝置，所述裝置包括：獲取單元，用于獲取用戶視野中的拓展現(xiàn)實(shí)場景及待風(fēng)格化ui元素；第一生成單元，用于根據(jù)所述拓展現(xiàn)實(shí)場景及所述待風(fēng)格化ui元素，生成針對所述待風(fēng)格化ui元素的風(fēng)格化描述指令，所述風(fēng)格化描述指令用于將所述待風(fēng)格化ui元素融入到所述拓展現(xiàn)實(shí)場景的視覺表達(dá)中；確定單元，用于根據(jù)所述風(fēng)格化描述指令，確定所述風(fēng)格化描述指令中各單個目標(biāo)ui元素；第二生成單元，用于將各單個目標(biāo)ui元素進(jìn)行重新排列，生成風(fēng)格化ui組件。

13、本說明書實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)所述基于拓展現(xiàn)實(shí)的ui風(fēng)格化方法。

14、本說明書實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)所述基于拓展現(xiàn)實(shí)的ui風(fēng)格化方法。

15、本方案根據(jù)xr場景的特定風(fēng)格，實(shí)時調(diào)整ui的視覺表現(xiàn)，不中斷用戶在沉浸式場景中的體驗(yàn)。通過機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，訓(xùn)練模型識別和適應(yīng)不同的視覺風(fēng)格，使ui能夠自然融入各種沉浸式環(huán)境。

技術(shù)特征：

1.一種基于拓展現(xiàn)實(shí)的ui風(fēng)格化方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述拓展現(xiàn)實(shí)場景及所述待風(fēng)格化ui元素，生成針對所述待風(fēng)格化ui元素的風(fēng)格化描述指令包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述風(fēng)格化描述指令，確定所述風(fēng)格化描述指令中各單個風(fēng)格化后的目標(biāo)ui元素，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述風(fēng)格化描述指令，確定所述風(fēng)格化描述指令中各單個風(fēng)格化后的目標(biāo)ui元素進(jìn)一步包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述文本圖像模型通過如下方式訓(xùn)練得到：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在構(gòu)建得到文本圖像模型，且文本圖像模型輸出的單個風(fēng)格化后的目標(biāo)ui元素之后，所述方法還包括：

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述大語言模型進(jìn)一步輸出針對所述拓展現(xiàn)實(shí)場景及所述待風(fēng)格化ui元素的排列布局包括：根據(jù)所述拓展現(xiàn)實(shí)場景及所述待風(fēng)格化ui元素的排列布局，將各單個風(fēng)格化后的目標(biāo)ui元素進(jìn)行重新排列，生成風(fēng)格化ui組件。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，將各單個目標(biāo)ui元素進(jìn)行重新排列，生成風(fēng)格化ui組件包括：

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

10.一種基于拓展現(xiàn)實(shí)的ui風(fēng)格化裝置，其特征在于，所述裝置包括：

11.一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)權(quán)利要求1至9任意一項(xiàng)所述的方法。

12.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至9任意一項(xiàng)所述的方法。

技術(shù)總結(jié)
本說明書涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于拓展現(xiàn)實(shí)的UI風(fēng)格化方法及裝置，所述方法包括：獲取用戶視野中的場景及待風(fēng)格化UI元素；根據(jù)所述場景及所述待風(fēng)格化的UI元素，生成針對所述待風(fēng)格化UI元素的風(fēng)格化描述指令，所述風(fēng)格化描述指令用于將所述待風(fēng)格化的UI元素融入到拓展現(xiàn)實(shí)場景的視覺表達(dá)中；根據(jù)風(fēng)格化描述指令，確定風(fēng)格化描述指令中各單個目標(biāo)UI元素；將各單個目標(biāo)UI元素進(jìn)行重新排列生成風(fēng)格化UI組件。本方案根據(jù)XR場景的特定風(fēng)格實(shí)時調(diào)整待風(fēng)格化UI的視覺表現(xiàn)，不中斷用戶在沉浸式場景中的體驗(yàn)。通過機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，訓(xùn)練模型識別和適應(yīng)不同的場景風(fēng)格，使UI能夠自然融入用戶沉浸式環(huán)境。

技術(shù)研發(fā)人員：江曉云,岳雅婷,張馳
受保護(hù)的技術(shù)使用者：北京虹宇科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15