本發(fā)明屬于人工智能與泛元宇宙領(lǐng)域，涉及一種基于骨骼-肌肉互動模型的多人動作捕捉實(shí)時驅(qū)動數(shù)字人方法。

背景技術(shù)：

1、隨著虛擬現(xiàn)實(shí)技術(shù)的快速發(fā)展，虛擬數(shù)字人的動作捕捉技術(shù)逐漸成為了逐年的研究熱點(diǎn)，根據(jù)不同物理學(xué)原理可分為機(jī)械式、聲學(xué)式、電磁式、光學(xué)式和慣性式。在當(dāng)前工業(yè)界，動作捕捉通常采用慣性式和光學(xué)式兩種主要技術(shù)。慣性式設(shè)備雖然在克服vr設(shè)備常見的遮擋問題方面表現(xiàn)出色，并且能夠?qū)崿F(xiàn)多目標(biāo)捕捉，但由于其依賴于imu(慣性測量單元)和mems(微電機(jī)系統(tǒng))器件的物理屬性，慣性式動作捕捉系統(tǒng)在長時間對人體姿態(tài)進(jìn)行精確跟蹤方面存在局限。而光學(xué)式動捕設(shè)備由于具備更高的捕獲精度和器件穩(wěn)定性，逐漸成為動捕技術(shù)的主流方式，但在實(shí)際的生產(chǎn)生活中，人們更傾向于采用無標(biāo)記式動作捕捉方式，其主要依賴于圖像識別和分析技術(shù)，用戶無需穿戴任何設(shè)備，計(jì)算機(jī)則利用現(xiàn)代計(jì)算機(jī)圖形學(xué)理論和人工智能技術(shù)直接分析拍攝圖像以獲得虛擬角色。同時，針對多人場景中不同人物動作的精確捕捉，特定算法也能夠?qū)崿F(xiàn)并不斷優(yōu)化。因此，未來無標(biāo)記實(shí)時驅(qū)動數(shù)字人的多人動作捕捉技術(shù)在虛擬現(xiàn)實(shí)相關(guān)領(lǐng)域具有廣闊的應(yīng)用前景。

2、如今，如何驅(qū)動數(shù)字人做出和真人相應(yīng)的實(shí)時動作成為一個熱點(diǎn)問題，尤其在復(fù)雜場景下，例如在人群聚集或多人交互的環(huán)境中還會出現(xiàn)許多人-人和人-物之間的遮擋現(xiàn)象，導(dǎo)致關(guān)鍵點(diǎn)的識別精度顯著下降，使系統(tǒng)難以準(zhǔn)確判斷每個人體的姿態(tài)。此外，不同體型、服裝和姿勢的多樣性也增加了模型的訓(xùn)練難度，要求算法具備更高的魯棒性。因此，多人動作捕捉實(shí)時驅(qū)動數(shù)字人的技術(shù)依然是一個有待解決的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于骨骼-肌肉互動模型的多人動作捕捉實(shí)時驅(qū)動數(shù)字人方法。針對多人遮擋場景下根據(jù)人體運(yùn)動關(guān)節(jié)和遮擋情況分析，利用一種雙階段動態(tài)遮擋點(diǎn)補(bǔ)償方法獲取遮擋點(diǎn)的位置。然后利用多維專有-共享特征推理的方法重建三維坐標(biāo)，并提出了一種“真人-骨骼模型-數(shù)字人”實(shí)時映射方法，通過結(jié)合骨骼-肌肉互動模型的驅(qū)動方法，結(jié)合力學(xué)的作用和骨骼系統(tǒng)的關(guān)節(jié)運(yùn)動實(shí)時更新數(shù)字人頂點(diǎn)的位置，從頂點(diǎn)到關(guān)節(jié)、骨骼、肌肉的層層傳遞，使數(shù)字人在接受驅(qū)動的信號后準(zhǔn)確反映出真實(shí)的運(yùn)動姿態(tài)，從而實(shí)現(xiàn)多人動作捕捉實(shí)時驅(qū)動數(shù)字人的過程。

2、為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

3、基于骨骼-肌肉互動模型的多人動作捕捉實(shí)時驅(qū)動數(shù)字人方法，該方法包括以下步驟：

4、s1：利用yolo-pose檢測所有人體17個骨骼關(guān)鍵點(diǎn)的位置信息及全局置信度，將關(guān)鍵點(diǎn)劃分成可見點(diǎn)和遮擋點(diǎn)，并采用融合可見姿態(tài)和幀間一致性的雙階段動態(tài)遮擋點(diǎn)補(bǔ)償方法獲取遮擋點(diǎn)的位置；

5、s2：采用多維專有-共享特征推理的三維關(guān)鍵點(diǎn)深度提取器，結(jié)合mtranspose模型，輸出人體關(guān)鍵點(diǎn)的三維坐標(biāo)；

6、s3：將s2中獲得的人體三維關(guān)鍵點(diǎn)映射到標(biāo)準(zhǔn)人體骨架模型，通過權(quán)重映射算法將數(shù)字人角色與骨架模型綁定，并基于骨骼-肌肉互動模型，通過骨骼剛體動力學(xué)模型和肌肉力線模型的力學(xué)作用，使數(shù)字人準(zhǔn)確反映真實(shí)運(yùn)動姿態(tài)，實(shí)現(xiàn)多人動作捕捉實(shí)時驅(qū)動數(shù)字人的過程。

7、進(jìn)一步，所述s1中具體包括以下步驟：

8、s11：利用yolo-pose模型，針對人體17個骨骼關(guān)節(jié)點(diǎn)，自上而下的獲取所有人的關(guān)鍵點(diǎn)分布和全局置信度分?jǐn)?shù)；每個關(guān)鍵點(diǎn)的位置pi是通過yolo-pose模型最大化關(guān)鍵點(diǎn)熱圖的響應(yīng)值獲得的，每個關(guān)鍵點(diǎn)的置信度fi由該點(diǎn)熱圖中最大響應(yīng)值決定；若每個人17個關(guān)鍵點(diǎn)中的某個關(guān)鍵點(diǎn)i在當(dāng)前幀未被檢測到或者其置信度fi小于預(yù)定閾值θ，則該點(diǎn)為遮擋點(diǎn)pio；若該關(guān)鍵點(diǎn)檢測出來的置信度fi高于閾值θ則視為可見點(diǎn)piv；

9、s12：第一階段：基于可見姿態(tài)的遮擋點(diǎn)補(bǔ)償；首先通過可見姿態(tài)推測出遮擋點(diǎn)的大概位置pjo，然后計(jì)算每個潛在可見點(diǎn)piv與當(dāng)前遮擋點(diǎn)pjo位置的距離dij來判斷是否為鄰近點(diǎn)，進(jìn)一步通過遮擋點(diǎn)與周圍可見點(diǎn)的角度關(guān)系θij判斷遮擋點(diǎn)鄰近的可見點(diǎn)數(shù)量n，最后采取距離、骨架和幾何角度約束來推測遮擋點(diǎn)位置，從而獲取補(bǔ)償后的第j個遮擋點(diǎn)位置pjo′，如式(1)和(2)所示；

10、

11、其中表示可見點(diǎn)piv和遮擋點(diǎn)pjo之間的歐氏距離，如果小于距離閾值dh＝0.5m，則認(rèn)為piv是潛在的鄰近可見點(diǎn)，表示遮擋點(diǎn)pjo與可見點(diǎn)piv之間的角度，若小于角度閾值θh＝10°，則認(rèn)為遮擋點(diǎn)與該可見點(diǎn)之間的幾何約束得以滿足，表明兩者的相對位置和視角在幾何上具有關(guān)聯(lián)性，n表示遮擋點(diǎn)附近有效可見點(diǎn)數(shù)量，m表示潛在可見點(diǎn)的總數(shù)，i(·)表示指示函數(shù)，滿足條件返回1，否則返回0；pjo表示待補(bǔ)償?shù)牡趈個遮擋點(diǎn)位置，piv表示第i個可見點(diǎn)的位置，pis表示第i個標(biāo)準(zhǔn)骨架參考點(diǎn)的位置，wi表示每個可見點(diǎn)的權(quán)重系數(shù)，與距離成反比，越靠近遮擋點(diǎn)的可見點(diǎn)對補(bǔ)償結(jié)果的影響越大，λ1表示骨架約束的調(diào)節(jié)因子，用于控制骨架參考點(diǎn)對目標(biāo)函數(shù)的影響強(qiáng)度，cos(θ)表示角度約束，反映遮擋點(diǎn)與可見點(diǎn)之間的幾何關(guān)系，γ1表示角度約束的調(diào)節(jié)因子，用于控制角度優(yōu)化的強(qiáng)度；

12、s13：第二階段：基于幀間一致性的遮擋點(diǎn)補(bǔ)償；首先記錄如果遮擋點(diǎn)i在當(dāng)前幀t中的置信度fi(t)大于閾值θ，則該點(diǎn)從遮擋狀態(tài)轉(zhuǎn)為可見狀態(tài)；然后計(jì)算該點(diǎn)在連續(xù)幀之間的位移矢量vo，用來描述該點(diǎn)在t幀相對于t-n幀的位移；最后通過速度變化及置信度矯正推測出遮擋點(diǎn)的實(shí)際位置pio″(t)，如式(3)所示；

13、

14、其中pio″(t)表示補(bǔ)償后的遮擋點(diǎn)i的位置，pio′(t-n)表示前n幀的遮擋點(diǎn)i的位置，vi表示當(dāng)前幀t和前n幀之間的位移矢量，表示速度變化的修正項(xiàng)，反映了遮擋點(diǎn)速度的變化，γa表示速度調(diào)節(jié)系數(shù)，用來調(diào)整速度對補(bǔ)償?shù)挠绊懀膖表示當(dāng)前幀t與前n幀之間的時間間隔，fi(t)表示當(dāng)前幀t的遮擋點(diǎn)i的置信度，γc表示置信度調(diào)節(jié)系數(shù)，如果置信度高，意味著該遮擋點(diǎn)在當(dāng)前幀的可見性強(qiáng)。

15、進(jìn)一步，所述s2中具體包括以下步驟：

16、s21：專有特征局部推理；首先根據(jù)每一個關(guān)鍵點(diǎn)i的位置、運(yùn)動信息和姿態(tài)角度信息來獲取專有特征；具體來說，關(guān)鍵點(diǎn)i的二維空間坐標(biāo)提供了圖像中的位置，而相對運(yùn)動信息則描述了該關(guān)鍵點(diǎn)在不同幀之間的運(yùn)動軌跡，姿態(tài)角度信息則描述了關(guān)節(jié)之間的相對旋轉(zhuǎn)；然后將專有特征輸入到深度神經(jīng)網(wǎng)絡(luò)dnn中，通過學(xué)習(xí)關(guān)鍵點(diǎn)的專有特征與深度值之間的映射關(guān)系來預(yù)測關(guān)鍵點(diǎn)的深度值

17、s22：共享特征全局推理；基于幾何約束和骨架解剖學(xué)規(guī)律，通過獲取每個關(guān)鍵點(diǎn)i與鄰近點(diǎn)k的空間相對位置和拓?fù)浣Y(jié)構(gòu)關(guān)系，提取共享特征；然后，結(jié)合共享特征和初步深度值通過圖神經(jīng)網(wǎng)絡(luò)gnn捕捉關(guān)鍵點(diǎn)之間的空間依賴關(guān)系，以確保深度值符合身體的比例和對稱性要求，從而獲取到每個關(guān)鍵點(diǎn)i在全局空間中的深度值

18、s23：mtranspose建模；通過多層感知機(jī)和transformer聯(lián)合建模進(jìn)行深度特征融合來預(yù)測精確的三維坐標(biāo)；首先將專有特征獲取的局部深度值和共享特征獲取的全局深度值融合，通過加權(quán)平均得到最終融合的深度特征；接著，將融合后的深度特征輸入到mtranspose網(wǎng)絡(luò)中，一方面，mlp網(wǎng)絡(luò)負(fù)責(zé)局部深度微調(diào)，調(diào)整關(guān)鍵點(diǎn)之間偏離異常的深度值，另一方面，transformer網(wǎng)絡(luò)則通過自注意力機(jī)制處理關(guān)鍵點(diǎn)之間的空間關(guān)系，優(yōu)化每個關(guān)鍵點(diǎn)的深度預(yù)測，從而獲取每個關(guān)鍵點(diǎn)的真實(shí)三維坐標(biāo)。

19、進(jìn)一步，所述s3中具體包括以下步驟：

20、s31：人體骨骼模型構(gòu)建；首先，通過s2中獲取到的每個人體三維關(guān)鍵點(diǎn)計(jì)算關(guān)鍵點(diǎn)之間的骨骼段長度并映射到人體標(biāo)準(zhǔn)骨骼模型的每個關(guān)節(jié)中，人體骨骼是由n段骨段和m個關(guān)節(jié)組成的無向圖g(v,e),其中v表示關(guān)節(jié)集，e表示骨段連接集；然后，利用骨骼段長度和關(guān)節(jié)運(yùn)動角度，設(shè)定骨骼模型的運(yùn)動范圍，完成人體骨骼模型的初步構(gòu)建；

21、s32：基于體型特征的人體骨骼模型自適應(yīng)匹配；首先通過捕捉到的人體三維關(guān)節(jié)位置，提取人體的身高h(yuǎn)、肩寬w及腰圍m的體型特征，然后使用比例計(jì)算動態(tài)調(diào)整骨架模型的各部分比例，最后通過捕捉到的動態(tài)體型變化，實(shí)時更新調(diào)整后的關(guān)節(jié)點(diǎn)i的位置pia，如式(4)所示；

22、

23、其中pis是標(biāo)準(zhǔn)骨骼關(guān)節(jié)點(diǎn)的位置，pi(t)是當(dāng)前幀t的關(guān)節(jié)位置，αi＝(αh+αw+αm)βi是骨段關(guān)節(jié)點(diǎn)i的調(diào)整比例因子，和分別表示身高、肩寬和腰圍的比例因子，hs、ws、ms分別表示標(biāo)準(zhǔn)骨骼模型的身高、肩寬及腰圍特征，βi表示關(guān)節(jié)點(diǎn)i的體型特征調(diào)整系數(shù)，m表示所有關(guān)節(jié)點(diǎn)的集合；

24、s33：數(shù)字人角色綁定；首先將人體骨骼模型中的關(guān)節(jié)點(diǎn)與數(shù)字人進(jìn)行頂點(diǎn)配對，通過計(jì)算每個關(guān)節(jié)點(diǎn)i與頂點(diǎn)j之間的距離dij(t)及其相對運(yùn)動δdij(t)，設(shè)置權(quán)重矩陣wij(t)并分配給每個頂點(diǎn)i；然后通過動態(tài)調(diào)整骨骼關(guān)節(jié)的旋轉(zhuǎn)與位移參數(shù)，并基于當(dāng)前的關(guān)節(jié)權(quán)重對頂點(diǎn)j進(jìn)行實(shí)時更新，從而完成多人遮擋場景下連續(xù)幀不同姿態(tài)下的真人-骨骼模型-數(shù)字人實(shí)時映射，如式(5)所示；

25、

26、其中wij(t)是第i個關(guān)節(jié)點(diǎn)對第j個頂點(diǎn)的權(quán)重，隨時間t動態(tài)變化；dij(t)是第j個頂點(diǎn)與第i個關(guān)節(jié)點(diǎn)之間的歐氏距離，δdij(t)是第j個頂點(diǎn)與第i個關(guān)節(jié)點(diǎn)之間的相對運(yùn)動，表示兩者在連續(xù)幀之間的位置差異，ri(t)是第i個關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)矩陣，表示關(guān)節(jié)在時間t時的旋轉(zhuǎn)程度；||ri(t)||表示旋轉(zhuǎn)的范數(shù)，反映了關(guān)節(jié)旋轉(zhuǎn)對頂點(diǎn)j的影響；vi(t)是第i個關(guān)節(jié)點(diǎn)的速度向量，表示關(guān)節(jié)在時間t時的運(yùn)動速度；||vi(t)||是第i個關(guān)節(jié)點(diǎn)速度的范數(shù)，用來衡量關(guān)節(jié)運(yùn)動的速度對權(quán)重的影響；λ1，λ2是衰減因子，用于控制距離和相對運(yùn)動對權(quán)重的影響衰減速度，α1、α2、α3及β是調(diào)節(jié)因子，分別表示調(diào)整距離、相對運(yùn)動、旋轉(zhuǎn)及速度的影響；

27、s34：骨骼多剛體動力模型；通過人體多剛體動力學(xué)方法，將人體骨骼視為若干個相互之間通過鉸鏈連接的獨(dú)立剛體，將人體簡化為一個具有有限自由度的多剛體系統(tǒng)；對于描述力與運(yùn)動之間的關(guān)系，每個剛體都有如下平衡方程；

28、

29、其中，li為剛體i相對質(zhì)心的動力矩，mi和ii分別為剛體i的質(zhì)量和關(guān)于簡化中心的轉(zhuǎn)動慣量，si和ωi分別為剛體i的線加速度和角加速度，∑fi和∑mi是分別作用于剛體i的力系主矢和關(guān)于簡化中心的主矩，該力系既包括外部作用的力和力矩，也包括剛體之間及內(nèi)部的骨骼力和力矩，設(shè)質(zhì)心為點(diǎn)p的剛體i，在點(diǎn)o處受到骨骼力fip和骨骼力矩在點(diǎn)p處受到外部力fie，并受到外部力矩然后再點(diǎn)o處建立坐標(biāo)系，根據(jù)牛頓-歐拉公式則有：

30、

31、其中，si為該剛體i的線加速度，α、β、γ分別為該剛體繞x軸、y軸、z軸轉(zhuǎn)動的角加速度，ix、iy、iz分別為該剛體關(guān)于矩心繞x軸、y軸、z軸的轉(zhuǎn)動慣量，mif為剛體i所受的力fie和骨骼力fip以及慣性力關(guān)于矩心所產(chǎn)生的額外力矩；因此對于任意剛體i，有矩陣形式的動力學(xué)方程：

32、

33、其中i＝[ix?iy?iz]，ω＝[α?β?γ]t；

34、s35：肌肉力線模型；首先基于肌肉收縮或拉伸過程中其長度和速度變化的特性建立肌肉力線模型；肌肉的長度變化和收縮速度是影響肌肉力的關(guān)鍵因素，利用骨骼的運(yùn)動學(xué)信息，通過計(jì)算每塊肌肉在三維空間中的起始點(diǎn)獲取肌肉的長度l，從而獲取肌肉的收縮速度v；然后，通過分析肌肉的力-長度和力-速度關(guān)系來獲取肌肉力的最優(yōu)解；肌肉力與長度的關(guān)系表現(xiàn)為非線性，每塊肌肉i的力-長度關(guān)系通過函數(shù)fil(l)表示；當(dāng)肌肉收縮的速度越快，其產(chǎn)生的力量越小，每塊肌肉i的力-速度關(guān)系使用負(fù)指數(shù)衰減模型fis(v)來表示，如公式(9)所示；

35、

36、其中，fil(l)表示肌肉i的力-長度函數(shù)，根據(jù)肌肉長度與自然長度的偏差，調(diào)節(jié)肌肉力的大小，ξ表示控制肌肉長度變化的敏感度，表示肌肉i的自然長度，表示力最大時的肌肉i的最大長度；fis(v)表示肌肉i的力-速度函數(shù)，描述了肌肉收縮速度與肌肉力之間的負(fù)相關(guān)性，表示隨著速度增加，肌肉產(chǎn)生的力逐漸減小，δ表示控制收縮速度影響力的衰減系數(shù)，vi表示肌肉i的收縮速度，||vi||為肌肉i收縮速度的范數(shù)，exp用于描述肌肉力與肌肉長度和速度之間的非線性關(guān)系；

37、綜合考慮力-長度和力-速度的影響，最終肌肉力fim表示為如公式(10)所示；

38、

39、其中，是一個非線性變換矩陣，表示肌肉力在不同方向上的作用，用于調(diào)整最終的肌肉力向量，使其在肌肉空間中符合方向性約束，r的每個元素表示肌肉力方向調(diào)整的因子，fimax表示肌肉力的最大限度，w1、w2表示權(quán)重矩陣，用于控制力-長度和力-速度影響的強(qiáng)度，表示hadamard乘積，用于元素級的乘法；

40、s36：在骨骼模型和肌肉模型的共同作用下，數(shù)字人頂點(diǎn)的新位置由關(guān)節(jié)變換和力學(xué)共同決定，從而影響數(shù)字人模型的形變來實(shí)時驅(qū)動數(shù)字人，包括以下步驟：

41、步驟一：計(jì)算關(guān)節(jié)力矩；

42、根據(jù)剛體運(yùn)動學(xué)，模擬關(guān)節(jié)和骨骼系統(tǒng)運(yùn)動的第一步，即計(jì)算人體17個關(guān)節(jié)的力矩，推導(dǎo)出關(guān)節(jié)的運(yùn)動趨勢和角度變化，從而影響整個數(shù)字人的姿勢；

43、步驟二：更新關(guān)節(jié)角度與加速度；

44、角度的變化模擬數(shù)字人的轉(zhuǎn)動過程，在自然運(yùn)動中關(guān)節(jié)角度隨著加肌肉的收縮或伸展而不斷變化；更新加速度得出關(guān)節(jié)角度的變化，進(jìn)而推動骨骼系統(tǒng)的整體變動；

45、步驟三：更新骨骼剛體變換；

46、骨骼剛體變化確保骨骼系統(tǒng)隨著關(guān)節(jié)角度和加速度的變化而發(fā)生相應(yīng)的空間變化；通過剛體變換更新骨骼的位置和姿勢，確保數(shù)字人骨骼結(jié)構(gòu)與關(guān)節(jié)角度變化的一致性；

47、步驟四：骨骼-肌肉的力學(xué)交互；

48、肌肉通過收縮產(chǎn)生力，力通過肌腱傳遞到骨骼上的附著點(diǎn)，從而導(dǎo)致骨骼的轉(zhuǎn)動，影響關(guān)節(jié)角度的變化；肌肉與骨骼之間的力學(xué)交互通過骨骼剛體動力學(xué)模型和肌肉力線模型來模擬，以更真實(shí)地還原骨骼的反應(yīng)，從而帶動數(shù)字人呈現(xiàn)相應(yīng)的動作姿態(tài)；

49、步驟五：數(shù)字人頂點(diǎn)位置的更新；

50、數(shù)字人頂點(diǎn)位置的更新是驅(qū)動數(shù)字人運(yùn)動的核心步驟，通過骨骼系統(tǒng)的關(guān)節(jié)運(yùn)動，并結(jié)合肌肉力fim的反饋和骨骼力fip的作用來影響數(shù)字人的頂點(diǎn)位置；首先頂點(diǎn)更新基于骨骼關(guān)節(jié)之間的剛體變換矩陣ti(θi,li)進(jìn)行，每個頂點(diǎn)的位置vj通過對骨骼的變換矩陣進(jìn)行插值計(jì)算來得到；其次，通過骨骼之間力學(xué)互動反饋的骨骼力fim進(jìn)一步調(diào)整頂點(diǎn)的位置，肌肉力fip也會通過力反饋?zhàn)饔糜绊戫旤c(diǎn)位置；在頂點(diǎn)更新過程中，骨骼力和肌肉力是相互作用的，它們共同影響數(shù)字人頂點(diǎn)的位置v′j，如公式(11)所示；

51、

52、其中是更新后的頂點(diǎn)位置，是原始頂點(diǎn)位置，wij是關(guān)節(jié)點(diǎn)i對頂點(diǎn)j的影響權(quán)重，ti(θi,li)是關(guān)節(jié)變換矩陣，表示關(guān)節(jié)角度θi和骨骼長度li對骨骼的旋轉(zhuǎn)和平移的影響，反映了骨架的幾何特性，δtip是結(jié)合骨骼力fim引起的關(guān)節(jié)變換修正矩陣，反映了關(guān)節(jié)角度θi、骨骼長度li及骨骼力fim的相互影響，δtim是結(jié)合肌肉力fip引起的關(guān)節(jié)變換修正矩陣，反映了關(guān)節(jié)角度θi、骨骼長度li及肌肉力fip的相互影響；

53、步驟六：頂點(diǎn)-數(shù)字人肢體的動作傳導(dǎo)；

54、基于數(shù)字人頂點(diǎn)位置的更新，從頂點(diǎn)到關(guān)節(jié)、骨骼、肌肉的層層傳遞，最終數(shù)字人的肢體會隨著上一幀的狀態(tài)進(jìn)行修正，數(shù)字人肢體各個部位的動作姿勢發(fā)生相應(yīng)變化使得數(shù)字人能夠在時間軸上進(jìn)行連續(xù)的運(yùn)動模擬，從而使數(shù)字人動作實(shí)時同步，實(shí)現(xiàn)多人動作捕捉實(shí)時驅(qū)動數(shù)字人的過程。

55、本發(fā)明的有益效果在于：

56、(1)針對多人遮擋的二維關(guān)鍵點(diǎn)，本發(fā)明采取兩階段遮擋點(diǎn)補(bǔ)償方法，一方面，通過人體運(yùn)動學(xué)約束和骨架結(jié)構(gòu)關(guān)系對遮擋點(diǎn)進(jìn)行初步補(bǔ)償，基于人體拓?fù)浣Y(jié)構(gòu)的先驗(yàn)知識，利用可見點(diǎn)來粗略推測遮擋點(diǎn)的位置。另一方面，基于運(yùn)動一致性原理，考慮相鄰幀之間的位移和姿態(tài)變化，對遮擋點(diǎn)的位置進(jìn)行動態(tài)修正，進(jìn)而獲取到所有人體的二維關(guān)鍵點(diǎn)。

57、(2)相比于現(xiàn)有的骨骼驅(qū)動直接作用于頂點(diǎn)的變形，通常忽略了骨骼和肌肉之間的互動作用，而未考慮肌肉力、骨骼力以及二者之間的相互影響。本發(fā)明通過引入骨骼-肌肉互動模型，考慮到肌肉的力學(xué)作用和骨骼的運(yùn)動學(xué)約束，通過建立肌肉與骨骼之間的力量傳遞機(jī)制，肌肉收縮時產(chǎn)生的力量通過肌腱傳遞到骨骼上，驅(qū)動骨骼的運(yùn)動。這種互動機(jī)制使得數(shù)字人模型的變形不僅受骨骼的影響，還會受到肌肉力量的調(diào)節(jié)，使數(shù)字人的驅(qū)動過程更加符合人體真實(shí)運(yùn)動機(jī)制。而且這種方法通過從頂點(diǎn)到關(guān)節(jié)、骨骼、肌肉的層層傳遞，使得動作更加流暢且更具生動性。不同層次之間的信息流動，使得數(shù)字人的運(yùn)動不僅是骨架的運(yùn)動，而是一個完整的動態(tài)表現(xiàn)。

58、本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說明書中進(jìn)行闡述，并且在某種程度上，基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書來實(shí)現(xiàn)和獲得。