本發(fā)明涉及數(shù)字人，特別涉及一種2d視頻數(shù)字人手勢生成方法。

背景技術(shù)：

1、現(xiàn)有技術(shù)往往難以產(chǎn)生完全自然、流暢的手勢動作，特別是在復雜或細微的手勢上。這限制了虛擬角色在電影制作、游戲開發(fā)和vr/ar應用中的表現(xiàn)力，降低了用戶體驗。

2、現(xiàn)有技術(shù)中，生成的手勢可能缺乏足夠的細節(jié)來模擬真實人類手部的微妙變化，如手指關(guān)節(jié)的彎曲角度、手掌的紋理等。這種不真實感會影響觀眾對虛擬角色的信任感和沉浸感。

3、因此，有必要提供一種2d視頻數(shù)字人手勢生成方法，以創(chuàng)建更加自然、逼真的虛擬角色。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種2d視頻數(shù)字人手勢生成方法，以創(chuàng)建更加自然、逼真的虛擬角色。

2、為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種2d視頻數(shù)字人手勢生成方法，包括以下步驟：

3、s1：收集數(shù)據(jù)；

4、s2：使用有手勢運動的視頻和靜態(tài)圖片訓練手勢運動信號提取器和手勢生成解碼器；

5、s3：使用手勢運動信號提取器提取手勢視頻的運動信號，根據(jù)手勢視頻的運動信號和擴散模型訓練運動信號生成的手勢信號生成模型。

6、可選的，在所述2d視頻數(shù)字人手勢生成方法中，從公開數(shù)據(jù)集、社交媒體平臺以及私有錄制中收集數(shù)據(jù)。

7、可選的，在所述2d視頻數(shù)字人手勢生成方法中，靜態(tài)圖片為顯示人物上半身，處于自然坐姿，雙手保持放松并未做任何手勢動作的圖片。

8、可選的，在所述2d視頻數(shù)字人手勢生成方法中，手勢運動信號提取器的訓練方式如下：

9、采用圖像編碼器將輸入的靜態(tài)圖片編碼為用于神經(jīng)網(wǎng)絡(luò)的高維圖片特征；

10、圖片特征增強器利用多頭自注意力機制增強高維圖片特征的空間和上下文關(guān)聯(lián)性，增加時間的動態(tài)信息。

11、可選的，在所述2d視頻數(shù)字人手勢生成方法中，圖像編碼器基于深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計，輸出的高維圖片特征包含圖片的靜態(tài)視覺信息和姿態(tài)信息。

12、可選的，在所述2d視頻數(shù)字人手勢生成方法中，手勢生成解碼器的訓練方式如下：

13、采用隱式運動解碼器將增強后的圖片特征解碼為手勢運動信號，隱式運動解碼器的解碼過程基于運動信號的潛在空間分布，結(jié)合高維圖片特征生成手勢運動視頻的每一幀。

14、可選的，在所述2d視頻數(shù)字人手勢生成方法中，手勢信號生成模型的訓練方式如下：

15、擴散模型的輸入包括：擴散過程中時間步、文字描述動作特征，帶噪的運動特征，當前幀對應的手勢運動視頻特征和前序時間幀生成的手勢運動視頻特征、音頻及音頻對應文本；

16、擴散模型通過上述的輸入內(nèi)容，逐步去噪，生成清晰、連貫的手勢運動視頻；

17、重復輸入進行訓練，得到手勢信號生成模型。

18、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點：

19、本專利提出的2d視頻數(shù)字人手勢生成方法展示了顯著的技術(shù)優(yōu)勢和應用效果，通過引入潛在運動擴散模型，能夠在帶噪聲的運動特征中恢復出高質(zhì)量、清晰的手勢動作序列，顯著減少現(xiàn)有生成方法中常見的幀跳躍、模糊和抖動等問題。模型能夠生成自然流暢的手勢動作，保證視頻內(nèi)容在時間維度上的穩(wěn)定性和連貫性，提升了生成視頻的視覺效果和觀感體驗。利用前序時間幀生成的運動特征，確保生成的運動信號在時序上具備良好的連貫性。

技術(shù)特征：

1.一種2d視頻數(shù)字人手勢生成方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的2d視頻數(shù)字人手勢生成方法，其特征在于，從公開數(shù)據(jù)集、社交媒體平臺以及私有錄制中收集數(shù)據(jù)。

3.如權(quán)利要求1所述的2d視頻數(shù)字人手勢生成方法，其特征在于，靜態(tài)圖片為顯示人物上半身，處于自然坐姿，雙手保持放松并未做任何手勢動作的圖片。

4.如權(quán)利要求1所述的2d視頻數(shù)字人手勢生成方法，其特征在于，手勢運動信號提取器的訓練方式如下：

5.如權(quán)利要求4所述的2d視頻數(shù)字人手勢生成方法，其特征在于，圖像編碼器基于深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計，輸出的高維圖片特征包含圖片的靜態(tài)視覺信息和姿態(tài)信息。

6.如權(quán)利要求4所述的2d視頻數(shù)字人手勢生成方法，其特征在于，手勢生成解碼器的訓練方式如下：

7.如權(quán)利要求6所述的2d視頻數(shù)字人手勢生成方法，其特征在于，手勢信號生成模型的訓練方式如下：

技術(shù)總結(jié)
本發(fā)明涉及一種2D視頻數(shù)字人手勢生成方法，包括以下步驟：S1：收集數(shù)據(jù)；S2：使用有手勢運動的視頻和靜態(tài)圖片訓練手勢運動信號提取器和手勢生成解碼器；S3：使用手勢運動信號提取器提取手勢視頻的運動信號，根據(jù)手勢視頻的運動信號和擴散模型訓練運動信號生成的手勢信號生成模型。本發(fā)明可以創(chuàng)建更加自然、逼真的虛擬角色。

技術(shù)研發(fā)人員：楊歡,施潤華,丁超凡
受保護的技術(shù)使用者：巨人移動技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15