專利名稱：一種視頻中的人體運動編輯方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻中的人體運動編輯方法，屬于計算機圖像視頻處理研究領(lǐng)域，具體地說是一種支持用戶對視頻中的人體運動進行編輯的方法。
背景技術(shù)：
圖像編輯技術(shù)在實際生活中已有廣泛應(yīng)用，如采用Photoshop等編輯工具對圖像能實現(xiàn)諸如色調(diào)調(diào)整、結(jié)構(gòu)調(diào)整、圖像修復(fù)、圖像去噪、圖像變形等多種編輯操作。但目前已有的針對視頻的編輯工具如Adobe的Effects和Apple的Shake等僅能實現(xiàn)摳圖和前景提取等基本操作。要實現(xiàn)對視頻內(nèi)容的編輯，如視頻中的人物外觀和運動的編輯等仍然是項極具挑戰(zhàn)的任務(wù)。然而，視頻編輯在廣告設(shè)計、電影后期制作等領(lǐng)域有重要應(yīng)用，潛在應(yīng)用價值使得視頻編輯成為計算機圖像視頻處理研究領(lǐng)域的重要課題之一。目前，視頻編輯的已有研究主要集中在基本運動編輯、運動特效處理、特定對象編輯等三個方面。如文獻 I :SCH0LZ，V. ,EL-ABED,S. ,SEIDELjH. -P. ,AND MAGN0R,M. A. Editing object behavior in video sequences. CGF, 2009. 28 (6) :1632-1643 實現(xiàn)了一些基本的視頻編輯方法，如移除和添加物體、物體的運動編輯、非剛性物體形變、關(guān)鍵幀插值以及攝像機運動的處理等，然后該類操作只能實現(xiàn)視頻的基本編輯，無法滿足諸如編輯人體的外觀和姿態(tài)的要求；文獻 2 WANG, J.，DRUCKER, S. Μ.，AGRAffALA, Μ.，AND COHEN, M. F The cartoon animation filter. ACM TOG, 2006, 25 (3) :1169-1173.提出了一種動畫濾波方法， 該方法能使動畫中的人體運動變得更夸張和動感，但該方法僅是通過形變方法改變圖像中人體的外觀，難以實現(xiàn)對姿態(tài)的精確控制；文獻3 LEYVAND, T. , C0HEN-0R, D.，DR0R，G. ,AND LISCHINSKI, D.Data-driven enhancement of facial attractiveness. ACM TOG,2008, 27(3) :1-9從人臉圖像訓(xùn)練集中學(xué)習(xí)出一個二維形變函數(shù)，能對輸入圖像中的人臉進行形變以增加表情的吸引力，但該方法僅能處理人臉圖像，無法拓展到諸如人體編輯中。另外， 近年來還出現(xiàn)了對圖像和視頻中人體外觀編輯的研究，如文獻4 :ZH0U，S.，F(xiàn)U, H.，LIU, L，C0HEN-0R, D.，AND HAN, X. Parametric reshaping of human bodies in images. ACM TOG, 2010, 29 (4) :1-10引入?yún)?shù)化三維人體模型，通過調(diào)整人體的外觀屬性實現(xiàn)了對人體外觀的直接編輯；文獻 5 :ARJUN Jain, Thorsten Thorm " ahlen, Hans-Peter Seidel and Christian Theobalt. MovieReshape Tracking and Reshaping of Humans in Videos. ACM TOG, 2010，29 (5)將文獻4的工作擴展到視頻，實現(xiàn)了對視頻中人體外觀的編輯，但該方法不能編輯人體的姿態(tài)。概括起來，當(dāng)前視頻編輯方法研究主要集中在基本運動編輯、運動特效處理、特定對象編輯等，針對人體的編輯也僅限于人體外觀的編輯，針對視頻中人體姿態(tài)以及運動的編輯的研究尚未可見。這主要是因為視頻人體運動編輯是項極具挑戰(zhàn)的任務(wù)，包括以下原因首先，保持視頻幀間的人體骨架和外觀的一致性是視頻人體運動編輯的首要難題；其次，如何提供有效的用戶接口是研究面臨的重要難題。然而，視頻人體運動編輯在廣告設(shè)計和電影制作領(lǐng)域有著重要應(yīng)用，人體姿態(tài)和運動編輯技術(shù)能夠支持藝術(shù)家采用更加自由的藝術(shù)方式通過電影編輯去描述故事情節(jié)。重要的學(xué)術(shù)價值和應(yīng)用前景使得視頻人體姿態(tài)編輯成為本發(fā)明的研究內(nèi)容。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提出了一種視頻中的人體運動編輯方法。技術(shù)方案本發(fā)明公開了一種視頻中的人體運動編輯方法，包括以下步驟步驟一，人體姿態(tài)分析采用基于免疫進化的層次化姿態(tài)優(yōu)化方法，計算輸入視頻中每一幀圖像的人體姿態(tài)，得到人體運動的姿態(tài)數(shù)據(jù)；步驟二，姿態(tài)數(shù)據(jù)編輯采用草繪交互方式編輯步驟一得到的人體運動的姿態(tài)數(shù)據(jù)，生成新的人體運動的姿態(tài)數(shù)據(jù)；步驟三，圖像形變以步驟二中新的人體運動的姿態(tài)數(shù)據(jù)作為控制條件，采用模型驅(qū)動的移動最小二乘圖像形變方法對輸入視頻中每一幀圖像進行形變，生成包含新的人體運動的視頻。步驟一中所述基于免疫進化的層次化姿態(tài)分析方法，屬于生成式姿態(tài)分析方法， 其顯式定義一個人體模型，通過優(yōu)化人體模型的投影和圖像特征間的適應(yīng)度實現(xiàn)人體姿態(tài)估計。分層優(yōu)化思想是通過全局姿態(tài)優(yōu)化、姿態(tài)序列平滑、局部姿態(tài)優(yōu)化計算得到輸入視頻中的人體運動的姿態(tài)數(shù)據(jù)。由于利用了運動的時序信息和對姿態(tài)的局部優(yōu)化，有效提高了姿態(tài)分析的準(zhǔn)確性。包括以下步驟步驟21，全局姿態(tài)優(yōu)化對輸入視頻的每一幀圖像zt，采用免疫進化姿態(tài)優(yōu)化方法計算得到一個包含N個候選姿態(tài)的候選姿態(tài)集合{jfti，其中，j;為一個候選姿態(tài)，i為候選姿態(tài)的序號，i = 1，. . .，N，N為候選姿態(tài)的總個數(shù)，t = 1，. . .，T，T為輸入視頻的總幀數(shù)；步驟22，姿態(tài)序列平滑采用基于動態(tài)規(guī)劃的姿態(tài)序列平滑方法，從候選姿態(tài)集合{少丨丨匕中選擇一個候選姿態(tài)作為圖像Zt的預(yù)估姿態(tài)分(;)，其中，h(t)表示預(yù)估姿態(tài)在候選姿態(tài)集合WX1中的序號，h(t) e [I, N]；步驟23，局部姿態(tài)優(yōu)化利用預(yù)估姿態(tài)>^〕重定位圖像Zt中的人體輪廓；采用免疫進化姿態(tài)優(yōu)化方法計算人體的局部姿態(tài)，得到圖像Zt的人體運動的姿態(tài)數(shù)據(jù)yt。步驟21中所述免疫進化姿態(tài)優(yōu)化方法，是一種集合了進化機制和免疫機制的優(yōu)化方法，通過引入姿態(tài)疫苗和免疫算子，提高了姿態(tài)優(yōu)化的收斂性和局部優(yōu)化能力，具體包括以下步驟步驟31，初始化在疫苗V定義的約束范圍內(nèi)隨機產(chǎn)生M個姿態(tài)個體，記為種群Atl;其中，>r°=U，…，>ν，...，·Χ/)為一個姿態(tài)個體，m為姿態(tài)個體的序號，M為種群中姿態(tài)個體的總數(shù)目即種群的規(guī)模，O表示了種群的代數(shù)，Yj為姿態(tài)個體的每一維，j = 1，. . .，J， J為姿態(tài)個體的維度；所述疫苗V定義了姿態(tài)個體>?！?=的每一維的取值范圍，即min(yj) < y」< max(y」),min (Yj)和max(y」)分別為y」取值的最小值和最大值；步驟32，迭代優(yōu)化種群Atl，包括以下步驟步驟321，計算第k代種群Ak中每個姿態(tài)個體的適應(yīng)度，如果當(dāng)前種群Ak中包含最佳姿態(tài)個體，則停止運行并輸出結(jié)果，否則繼續(xù)；所述姿態(tài)個體的適應(yīng)度指的是姿態(tài)個體對應(yīng)的姿態(tài)模型與圖像特征的距離，采用輪廓和邊緣特征計算姿態(tài)個體的適應(yīng)度￡(>^'4)， 計算方法是
權(quán)利要求
1.一種視頻中的人體運動編輯方法，其特征在于，包括以下步驟步驟一，人體姿態(tài)分析采用基于免疫進化的層次化姿態(tài)優(yōu)化方法，計算輸入視頻中每一幀圖像的人體姿態(tài)，得到人體運動的姿態(tài)數(shù)據(jù)；步驟二，姿態(tài)數(shù)據(jù)編輯采用草繪交互方式編輯步驟一得到的人體運動的姿態(tài)數(shù)據(jù)，生成新的人體運動的姿態(tài)數(shù)據(jù)；步驟三，圖像形變以步驟二中新的人體運動的姿態(tài)數(shù)據(jù)作為控制條件，采用模型驅(qū)動的移動最小二乘圖像形變方法對輸入視頻中每一幀圖像進行形變，生成包含新的人體運動的視頻。
2.根據(jù)權(quán)利要求I所述的一種視頻中的人體運動編輯方法，其特征在于，步驟一包括以下步驟步驟21，全局姿態(tài)優(yōu)化對輸入視頻的每一幀圖像Zt，采用免疫進化姿態(tài)優(yōu)化方法計算得到一個包含N個候選姿態(tài)的候選姿態(tài)集合{jfti，其中，X為一個候選姿態(tài)，i為候選姿態(tài)的序號，i = 1，. . .，N，N為候選姿態(tài)的總個數(shù)，t = 1，. . .，T，T為輸入視頻的總幀數(shù)；步驟22，姿態(tài)序列平滑從候選姿態(tài)集合{少丨丨&中選擇一個候選姿態(tài)作為圖像Zt的預(yù)估姿態(tài)分(;)，其中，h(t)表示預(yù)估姿態(tài)少，在候選姿態(tài)集合{乂匕中的序號，h(t) e [I, N]；步驟23，局部姿態(tài)優(yōu)化利用預(yù)估姿態(tài)重定位圖像Zt中的人體輪廓；采用免疫進化姿態(tài)優(yōu)化方法計算人體的局部姿態(tài)，得到圖像Zt的人體運動的姿態(tài)數(shù)據(jù)yt。
3.根據(jù)權(quán)利要求2所述的基于免疫進化的層次化姿態(tài)分析方法，其特征在于，步驟21 包括以下步驟步驟31，初始化在疫苗V定義的約束范圍內(nèi)隨機產(chǎn)生M個姿態(tài)個體，記為種群Atl ;其中，= Οι，...，>>..，乃)為一個姿態(tài)個體，m為姿態(tài)個體的序號，M為種群中姿態(tài)個體的總數(shù)目，O表示了種群的代數(shù)，&為姿態(tài)個體的每一維，j = 1，. . .，J，J為姿態(tài)個體的維度；所述疫苗V定義了姿態(tài)個體3^’°的每一維的取值范圍，即Hiin(Yj)<Yj < max (yj), min(yj)和max(yj)分別為y」取值的最小值和最大值；步驟32，迭代優(yōu)化種群Atl，包括以下步驟步驟321，計算第k代種群Ak中每個姿態(tài)個體的適應(yīng)度，如果當(dāng)前種群Ak中包含最佳姿態(tài)個體，則停止運行并輸出結(jié)果，否則繼續(xù)；所述姿態(tài)個體的適應(yīng)度指的是姿態(tài)個體對應(yīng)的姿態(tài)模型與圖像特征的距離，表示為五(少；"氣4)，計算方法是 E(yT’k, ) = exp(_I(ws(y^k,zt) + we(y^k,)))，其中，y^k為第 k 代種群 Ak 中的一個姿態(tài)個體，# Of夂為基于輪廓的距離計算式，為基于邊緣的距離計算式；所述最佳姿態(tài)個體指的是適應(yīng)度五Of'Zi)小于閾值e的姿態(tài)個體，閾值e取值范圍O.001 O. 002 ；步驟322，遺傳算子對第k代種群Ak中的每個姿態(tài)個體進行交叉變異操作，得到中間種群Bk;其中^={(少;)—}仏，(y' t)m’k為交叉變異操作得到的姿態(tài)個體；步驟323，接種疫苗對于中間種群Bk中的每個姿態(tài)個體都接種疫苗V，得到抗體種群 (^其中匸,=“；^ ，〃}=，(y" t)m，k為接種疫苗得V到的姿態(tài)個體；所述接種疫苗V是指對于姿態(tài)個體(y' t)m’k，(y' t)m’k e Bk,如果< min(^)，則WtTfk = HiinCy7);如果(X)P > HiaxCyy)，則(少;)廣=max(^)；步驟324，免疫選擇對抗體種群Ck進行免疫檢測和退火選擇，得到臨時種群Dk ;所述免疫檢測是指對抗體種群Ck中的每一個姿態(tài)個體(y " t)m'k,如果姿態(tài)個體(y " t)m’k的適應(yīng)度提高，即E((y" t)m’k，zt)_E((y' t)m’k，zt) > 0，則將個體(y" t)m’k加入臨時種群Dk ; 所述退火選擇是指對抗體種群Ck中的每一個姿態(tài)個體(y",廣’15，如果姿態(tài)個體(7" t)m’k 的適應(yīng)度降低，即E((y" t)m’k，zt)_E((y' t)m’k，zt) < 0，則以概率P ((y " t)m’k)將姿態(tài)個體(y" Jnbk加入臨時種群Dk，概率= β;其中，E((y" t)m’k，zt)為步驟321中的適應(yīng)度函數(shù)，Tk為溫控序列，Tk= In(VVl)Jtl為初始溫度，k為種群的代數(shù)；步驟325，構(gòu)造新種群采用如下步驟構(gòu)造新一代父本種群Ak+1 :統(tǒng)計臨時種群Dk中姿態(tài)個體的數(shù)目M,;對種群Ak和臨時種群Dk中總數(shù)為M+M,的姿態(tài)個體，刪除M+M,個姿態(tài)個體中相同的姿態(tài)個體；計算剩余姿態(tài)個體的適應(yīng)度，選擇適應(yīng)度最高的前M個姿態(tài)個體構(gòu)成新一代父本種群Ak+1 ；步驟326，當(dāng)?shù)螖?shù)k小于閾值C時
4.根據(jù)權(quán)利要求3所述的基于免疫進化的層次化姿態(tài)分析方法，其特征在于，步驟22 包括以下步驟步驟41，從候選姿態(tài)集合{父}；^中選擇一個候選姿態(tài) 作為圖像Zt的預(yù)估姿態(tài)；為輸入視頻構(gòu)造一個預(yù)估姿態(tài)序列H = h(l)h(2). . . h(T),其中，h(t) e [I, N]表示圖像zt 的預(yù)估姿態(tài)的序號；步驟42，計算圖像特征約束fh(t):計算圖像Zt的候選姿態(tài)集合丨乂}=中每個候選姿態(tài)乂的適應(yīng)度^^.、貝IJ圖像特征約束的計算方法為/_ =
5.根據(jù)權(quán)利要求4所述的基于免疫進化的層次化姿態(tài)分析方法，其特征在于，步驟23 包括以下步驟步驟51，輪廓重定位利用預(yù)估姿態(tài)>^〕生成對應(yīng)的姿態(tài)模型，并將姿態(tài)模型投影到對應(yīng)的圖像Zt的圖像平面；對姿態(tài)模型的投影區(qū)域進行圖像的腐蝕和膨脹操作，將腐蝕操作得到的區(qū)域標(biāo)記為前景，將膨脹操作得到的區(qū)域以外部分標(biāo)記為背景；根據(jù)標(biāo)記的前景和背景，計算圖像Zt中的人體輪廓s, t;步驟52，種群初始化利用圖像Zt的預(yù)估姿態(tài)，采用高斯預(yù)測方法得到M個符合正態(tài)分布的姿態(tài)個體，并用初始化種群Atl ；步驟53，局部姿態(tài)優(yōu)化利用步驟51得到的人體輪廓s',計算姿態(tài)個體的適應(yīng)度，采用免疫進化姿態(tài)優(yōu)化方法計算得到候選姿態(tài)集合;步驟54，姿態(tài)生成從候選姿態(tài)集合{父丨二中選擇適應(yīng)度最高的姿態(tài)個體yt作為圖像 Zt的人體運動的姿態(tài)數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的一種視頻中的人體運動編輯方法，其特征在于，步驟二包括 對步驟一姿態(tài)分析得到的人體運動的姿態(tài)數(shù)據(jù)yk，采用草繪交互方式選定其中K個關(guān)鍵姿態(tài)yk，k = 1，...，K，K < T ;對每個關(guān)鍵姿態(tài)yk，采用草繪交互方式指定人體關(guān)鍵部位的末端關(guān)節(jié)點新位置；求解得到新的人體姿態(tài)數(shù)據(jù)太k;以太k為關(guān)鍵幀采用四元數(shù)插值方法對步驟一姿態(tài)分析得到的人體運動的姿態(tài)數(shù)據(jù)It進行插值，生成新的人體運動的姿態(tài)數(shù)據(jù)
7.根據(jù)權(quán)利要求6所述的一種視頻中的人體運動編輯方法，其特征在于，步驟三包括以下步驟步驟71，將步驟一姿態(tài)分析得到的人體運動的姿態(tài)數(shù)據(jù)yt以骨架方式繪制到圖像Zt 的圖像平面，得到圖像中的線段集bu ;將步驟二姿態(tài)編輯得到的人體運動的姿態(tài)數(shù)據(jù)y' t 以骨架方式繪制到圖像zt的圖像平面，得到圖像中的線段集b' t,1;其中，I = 1，...L，L 為人體骨架段數(shù)目；步驟72，將線段集bt, x作為控制線段的初始位置，將線段集b, t, i作為控制線段的目標(biāo)位置，利用基于線段形變的移動最小二乘圖像形變方法，對圖像Zt進行形變，得到形變后的視頻幀圖像Z' t ；步驟73，計算形變后的視頻幀圖像z' t中的人體輪廓s" t ;利用編輯得到的人體運動的姿態(tài)數(shù)據(jù)太t生成對應(yīng)的姿態(tài)模型，將姿態(tài)模型投影到形變后的視頻幀圖像^ t的圖像平面上；計算得到姿態(tài)模型投影的外輪廓mt ；步驟74，對人體輪廓s" t等距采樣得到采樣點集片’;;對模型投影的外輪廓mt等距采樣得到采樣點集，其中，j = 1，...，P，P為采樣點的數(shù)目；步驟75，將采樣點集片乍為控制點的初始位置，將采樣點集作為控制點的目標(biāo)位置，利用基于控制點形變的移動最小二乘圖像形變方法，對視頻幀圖像ζ' t進行形變，得到包含新的人體運動的視頻的每一幀圖像z " t。
全文摘要
本發(fā)明公開了一種視頻中的人體運動編輯方法，支持用戶對視頻中人體運動進行編輯以得到包含新的人體運動的視頻，具體包括人體姿態(tài)分析、姿態(tài)數(shù)據(jù)編輯、圖像形變?nèi)齻€步驟首先采用基于免疫進化的層次化姿態(tài)分析方法，通過全局姿態(tài)優(yōu)化、姿態(tài)序列平滑、局部姿態(tài)優(yōu)化計算得到輸入視頻中的人體運動的姿態(tài)數(shù)據(jù)；其次采用草繪交互方式編輯上述計算得到的人體運動的姿態(tài)數(shù)據(jù)，生成新的人體運動的姿態(tài)數(shù)據(jù)；最后，采用模型驅(qū)動的移動最小二乘圖像形變方法對輸入視頻的每一幀圖像進行形變，生成包含新的人體運動的視頻。本發(fā)明能實現(xiàn)對視頻中人體運動的編輯得到包含新的人體運動的視頻，在電影后期制作、廣告設(shè)計等領(lǐng)域有重要應(yīng)用。
文檔編號G06N3/12GK102609956SQ20121000951
公開日2012年7月25日 申請日期2012年1月13日 優(yōu)先權(quán)日2012年1月13日
發(fā)明者劉凱, 周俊昊, 孫正興, 李毅 申請人:南京大學(xué)