本公開(kāi)一般涉及基于一個(gè)或多個(gè)關(guān)鍵字在視頻流中插入一個(gè)或多個(gè)對(duì)象。

背景技術(shù)：

1、技術(shù)的進(jìn)步已經(jīng)導(dǎo)致更小和更強(qiáng)大的計(jì)算設(shè)備。例如，當(dāng)前存在多種便攜式個(gè)人計(jì)算設(shè)備，包含無(wú)線電話，諸如移動(dòng)及智能電話、平板及膝上型計(jì)算機(jī)，其體積小、重量輕且易于由用戶攜帶。這些設(shè)備可以通過(guò)無(wú)線網(wǎng)絡(luò)傳送語(yǔ)音和數(shù)據(jù)分組。此外，許多這樣的設(shè)備并入附加功能性，諸如數(shù)字靜態(tài)相機(jī)、數(shù)字?jǐn)z像機(jī)、數(shù)字記錄器及音頻文件播放器。此外，這樣的設(shè)備可以處理可執(zhí)行指令，包括可以用于接入互聯(lián)網(wǎng)的軟件應(yīng)用，諸如web瀏覽器應(yīng)用。因此，這些設(shè)備可以包括顯著的計(jì)算能力。

2、這樣的計(jì)算設(shè)備通常包含接收由麥克風(fēng)捕獲的音頻并經(jīng)由揚(yáng)聲器播放音頻的功能。設(shè)備通常還包含顯示由相機(jī)捕獲的視頻的功能。在一些示例中，設(shè)備包含接收媒體流并在顯示媒體流的視頻的同時(shí)經(jīng)由揚(yáng)聲器播放媒體流的音頻的功能。對(duì)于與接收或捕獲同時(shí)顯示的實(shí)況媒體流，通常沒(méi)有足夠的時(shí)間供用戶在顯示之前編輯視頻。因此，當(dāng)呈現(xiàn)實(shí)況媒體流時(shí)，可能以其他方式進(jìn)行以改善觀眾保留、添加相關(guān)內(nèi)容等的增強(qiáng)是不可用的，這可能導(dǎo)致觀看者體驗(yàn)降低。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)本公開(kāi)的一個(gè)實(shí)施方式，一種設(shè)備包括一個(gè)或多個(gè)處理器，該一個(gè)或多個(gè)處理器被配置為獲得音頻流并檢測(cè)音頻流中的一個(gè)或多個(gè)關(guān)鍵字。該一個(gè)或多個(gè)處理器還被配置為自適應(yīng)地對(duì)與該一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)。該一個(gè)或多個(gè)處理器還被配置為將該一個(gè)或多個(gè)對(duì)象插入到視頻流中。

2、根據(jù)本公開(kāi)的另一實(shí)施方式，一種方法包括在設(shè)備處獲得音頻流。該方法還包括在設(shè)備處檢測(cè)音頻流中的一個(gè)或多個(gè)關(guān)鍵字。該方法還包括在設(shè)備處自適應(yīng)地對(duì)與一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)。該方法還包括在設(shè)備處將一個(gè)或多個(gè)對(duì)象插入到視頻流中。

3、根據(jù)本公開(kāi)的另一實(shí)施方式，一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括指令，該指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使一個(gè)或多個(gè)處理器獲得音頻流并檢測(cè)音頻流中的一個(gè)或多個(gè)關(guān)鍵字。該指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)還使得該一個(gè)或多個(gè)處理器自適應(yīng)地對(duì)與一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)。該指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)還使得該一個(gè)或多個(gè)處理器將一個(gè)或多個(gè)對(duì)象插入到視頻流中。

4、根據(jù)本公開(kāi)的另一實(shí)施方式，一種裝置包括用于獲得音頻流的部件。裝置還包含用于檢測(cè)音頻流中的一個(gè)或多個(gè)關(guān)鍵字的部件。裝置還包括用于自適應(yīng)地對(duì)與一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)的部件。裝置還包括用于將一個(gè)或多個(gè)對(duì)象插入到視頻流中的部件。

5、在審閱整個(gè)申請(qǐng)之后，本公開(kāi)的其他方面、優(yōu)點(diǎn)和特征將變得顯而易見(jiàn)，包括以下部分：附圖說(shuō)明、具體實(shí)施方式和權(quán)利要求。

技術(shù)特征：

1.一種設(shè)備，包括：

2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為基于確定對(duì)象的集合中沒(méi)有對(duì)象被指示為與所述一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)，對(duì)與所述一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)的所述一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)。

3.根據(jù)權(quán)利要求1所述的設(shè)備，其中，對(duì)所述一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)包括使用對(duì)象生成神經(jīng)網(wǎng)絡(luò)基于所述一個(gè)或多個(gè)關(guān)鍵字來(lái)生成所述一個(gè)或多個(gè)對(duì)象。

4.根據(jù)權(quán)利要求3所述的設(shè)備，其中，所述對(duì)象生成神經(jīng)網(wǎng)絡(luò)包括堆疊生成對(duì)抗網(wǎng)絡(luò)（gan）。

5.根據(jù)權(quán)利要求1所述的設(shè)備，其中，對(duì)所述一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)包括使用對(duì)象分類(lèi)神經(jīng)網(wǎng)絡(luò)來(lái)確定所述一個(gè)或多個(gè)對(duì)象與所述一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)。

6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，所述對(duì)象分類(lèi)神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)（cnn）。

7.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為將關(guān)鍵字檢測(cè)神經(jīng)網(wǎng)絡(luò)應(yīng)用于所述音頻流以檢測(cè)所述一個(gè)或多個(gè)關(guān)鍵字。

8.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述關(guān)鍵字檢測(cè)神經(jīng)網(wǎng)絡(luò)包括遞歸神經(jīng)網(wǎng)絡(luò)（rnn）。

9.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為：

10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述位置神經(jīng)網(wǎng)絡(luò)包括殘差神經(jīng)網(wǎng)絡(luò)（resnet）。

11.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為至少基于所述一個(gè)或多個(gè)對(duì)象中的特定對(duì)象的文件類(lèi)型，將所述特定對(duì)象插入所述視頻流的前景或背景中。

12.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為響應(yīng)于確定所述視頻流的背景包括與所述一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)的至少一個(gè)對(duì)象，將所述一個(gè)或多個(gè)對(duì)象插入到所述視頻流的前景中。

13.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為在所述視頻流中執(zhí)行所述一個(gè)或多個(gè)對(duì)象的循環(huán)插入。

14.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被集成到移動(dòng)設(shè)備、車(chē)輛、增強(qiáng)現(xiàn)實(shí)設(shè)備、通信設(shè)備、回放設(shè)備、電視或計(jì)算機(jī)中的至少一個(gè)中。

15.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述音頻流和所述視頻流被包括在在所述一個(gè)或多個(gè)處理器處接收的實(shí)況媒體流中。

16.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為從網(wǎng)絡(luò)設(shè)備接收所述實(shí)時(shí)媒體流。

17.根據(jù)權(quán)利要求16所述的設(shè)備，還包括調(diào)制解調(diào)器，其中，所述一個(gè)或多個(gè)處理器被配置為經(jīng)由所述調(diào)制解調(diào)器接收所述實(shí)時(shí)媒體流。

18.根據(jù)權(quán)利要求1所述的設(shè)備，還包括一個(gè)或多個(gè)麥克風(fēng)，其中，所述一個(gè)或多個(gè)處理器被配置為從所述一個(gè)或多個(gè)麥克風(fēng)接收所述音頻流。

19.根據(jù)權(quán)利要求1所述的設(shè)備，還包括顯示設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為將所述視頻流提供到所述顯示設(shè)備。

20.根據(jù)權(quán)利要求1所述的設(shè)備，還包括一個(gè)或多個(gè)揚(yáng)聲器，其中，所述一個(gè)或多個(gè)處理器被配置為經(jīng)由所述一個(gè)或多個(gè)揚(yáng)聲器輸出所述音頻流。

21.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器集成在車(chē)輛中，其中，所述音頻流包括所述車(chē)輛的乘客的語(yǔ)音，并且其中，所述一個(gè)或多個(gè)處理器被配置為將所述視頻流提供給所述車(chē)輛的顯示設(shè)備。

22.根據(jù)權(quán)利要求21所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為：

23.根據(jù)權(quán)利要求22所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為：

24.根據(jù)權(quán)利要求21所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器被配置為將所述視頻流發(fā)送到一個(gè)或多個(gè)第二車(chē)輛的顯示設(shè)備。

25.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述一個(gè)或多個(gè)處理器集成在擴(kuò)展現(xiàn)實(shí)（xr）設(shè)備中，其中，所述音頻流包括所述xr設(shè)備的用戶的語(yǔ)音，并且其中，所述一個(gè)或多個(gè)處理器被配置為將所述視頻流提供到由至少所述xr設(shè)備顯示的共享環(huán)境。

26.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述音頻流包括用戶的語(yǔ)音，并且其中，所述一個(gè)或多個(gè)處理器被配置為將所述視頻流發(fā)送到一個(gè)或多個(gè)授權(quán)設(shè)備的顯示器。

27.一種方法，包括：

28.根據(jù)權(quán)利要求27所述的方法，其中，對(duì)所述一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)包括使用對(duì)象生成神經(jīng)網(wǎng)絡(luò)基于所述一個(gè)或多個(gè)關(guān)鍵字來(lái)生成所述一個(gè)或多個(gè)對(duì)象。

29.一種存儲(chǔ)指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使所述一個(gè)或多個(gè)處理器：

30.一種裝置，包括：

技術(shù)總結(jié)
一種設(shè)備包括一個(gè)或多個(gè)處理器，該一個(gè)或多個(gè)處理器被配置為獲得音頻流并檢測(cè)音頻流中的一個(gè)或多個(gè)關(guān)鍵字。該一個(gè)或多個(gè)處理器還被配置為自適應(yīng)地對(duì)與該一個(gè)或多個(gè)關(guān)鍵字相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)象進(jìn)行分類(lèi)。該一個(gè)或多個(gè)處理器還被配置為將該一個(gè)或多個(gè)對(duì)象插入到視頻流中。

技術(shù)研發(fā)人員：S·賽提亞,T·阿加瓦爾,R·波納甘提
受保護(hù)的技術(shù)使用者：高通股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/10