本技術(shù)涉及圖像處理，尤其涉及一種基于圖像處理的舞臺視頻數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)：

1、舞臺虛擬顯示是一種將虛擬現(xiàn)實（vr）、增強現(xiàn)實（ar）、混合現(xiàn)實（mr）以及計算機圖形學（cg）技術(shù)與舞臺表演相結(jié)合的技術(shù)。它通過實時或預(yù)處理的視頻數(shù)據(jù)生成虛擬場景、虛擬人物或特效，并將其與真實舞臺表演融合，創(chuàng)造出沉浸式的視聽體驗。

2、在獲取舞臺數(shù)據(jù)的過程中，一般采用動作捕捉設(shè)備對舞臺中演員的人物動作進行捕捉并生成實施的虛擬人物或特效數(shù)據(jù)，但是，受限于表演人員的服裝道具等因素，無法佩戴過多的傳感器，在一些情況下可能會對一些動作漏捕，同時，動作捕捉傳感器的續(xù)航能力較低，長時間的數(shù)據(jù)獲取可能會導(dǎo)致續(xù)航時間不夠，而傳統(tǒng)攝像機獲取的數(shù)據(jù)則無法直接生成能夠應(yīng)用于虛擬人物或場景的準確運動數(shù)據(jù)。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供一種基于圖像處理的舞臺視頻數(shù)據(jù)處理方法及系統(tǒng)，以改善上述問題。

2、為達到上述目的，本技術(shù)采用如下技術(shù)方案：

3、第一方面，本技術(shù)提出了一種基于圖像處理的舞臺視頻數(shù)據(jù)處理方法，適用于一種舞臺視頻處理系統(tǒng)，舞臺視頻處理系統(tǒng)包括圖像傳感單元、動作捕捉單元、顯示單元以及控制器，圖像傳感單元包括至少兩個不同角度設(shè)置的攝像頭，方法包括：

4、控制器在第一視頻周期基于圖像傳感單元獲第一視頻圖像與第二視頻圖像，并將第一視頻圖像與第二視頻圖像輸入初始神經(jīng)網(wǎng)絡(luò)模型，初始神經(jīng)網(wǎng)絡(luò)模型用于根據(jù)輸入的不同角度拍攝的視頻圖像，輸出預(yù)測的運動模型；

5、控制器基于初始神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果獲取第一運動模型；

6、控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型；

7、控制器在第二視頻周期獲取第三視頻圖像與第四視頻圖像，第二視頻周期為第一視頻周期之后的連續(xù)周期，并將第三視頻圖像與第四視頻圖像輸入目標神經(jīng)網(wǎng)絡(luò)模型，根據(jù)目標神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，獲取第三運動模型；

8、控制器控制顯示單元在第二視頻周期基于第三運動模型進行顯示。

9、結(jié)合第一方面，可選地，控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型之后，方法包括：

10、控制器將第一運動模型與第二運動模型進行擬合，根據(jù)擬合的結(jié)果獲取第四運動模型；

11、控制器控制顯示單元在第一視頻周期內(nèi)顯示第四運動模型。

12、結(jié)合第一方面，可選地，控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型，包括：

13、控制器在在第一視頻周期基于動作捕捉單元以第一數(shù)據(jù)獲取頻率獲取第二運動模型；

14、方法還包括：

15、將第一運動模型與第二運動模型相比對，并根據(jù)比對的結(jié)果獲取誤差值；

16、將誤差值與預(yù)設(shè)值相比對，若誤差值大于預(yù)設(shè)值，則控制器在第二視頻周期基于動作捕捉單元以第二數(shù)據(jù)獲取頻率獲取第五運動模型，并在下一連續(xù)周期中基于第五運動模型對神經(jīng)網(wǎng)絡(luò)模型所輸出的結(jié)果進行驗證及優(yōu)化，其中，第二數(shù)據(jù)獲取頻率大于第一數(shù)據(jù)獲取頻率。

17、結(jié)合第一方面，可選地，方法還包括：

18、將誤差值與預(yù)設(shè)值相比對，若誤差值小于預(yù)設(shè)值，則控制器在第二視頻周期基于動作捕捉單元以第三數(shù)據(jù)獲取頻率獲取第五運動模型，并在下一連續(xù)周期中基于第五運動模型對神經(jīng)網(wǎng)絡(luò)模型所輸出的結(jié)果進行驗證及優(yōu)化，其中，第三數(shù)據(jù)獲取頻率小于第一數(shù)據(jù)獲取頻率。

19、結(jié)合第一方面，可選地，控制器在第一視頻周期基于圖像傳感單元獲第一視頻圖像與第二視頻圖像，并將第一視頻圖像與第二視頻圖像輸入初始神經(jīng)網(wǎng)絡(luò)模型，初始神經(jīng)網(wǎng)絡(luò)模型用于根據(jù)輸入的不同角度拍攝的視頻圖像，輸出預(yù)測的運動模型，包括：

20、控制器從第一視頻圖像與第二視頻圖像中分別提取第m幀圖像與第n幀圖像，第m幀圖像與第n幀圖像的對應(yīng)獲取時間相同；

21、控制器對第m幀圖像與第n幀圖像進行特征提取，其中，提取的方式采用卷積神經(jīng)網(wǎng)絡(luò)；

22、控制器對提取的特征進行數(shù)據(jù)融合，并將數(shù)據(jù)融合的結(jié)果輸入遞歸神經(jīng)網(wǎng)絡(luò)并進行迭代計算，根據(jù)迭代計算的結(jié)果獲取預(yù)測的運動模型。

23、結(jié)合第一方面，可選地，控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型，包括：

24、控制器將第二運動模型輸入初始神經(jīng)網(wǎng)絡(luò)模型并確定損失函數(shù)，其中，損失函數(shù)為三維運動向量的誤差；

25、控制器基于損失函數(shù)的輸出結(jié)果對初始神經(jīng)網(wǎng)絡(luò)進行優(yōu)化并獲取目標神經(jīng)網(wǎng)絡(luò)模型，其中，優(yōu)化的過程中剔除第二運動模型的優(yōu)先級低于剔除第一運動模型的優(yōu)先級。

26、結(jié)合第一方面，可選地，控制器控制顯示單元在第二視頻周期基于第三運動模型進行顯示，包括：

27、顯示單元獲取第三運動模型與預(yù)設(shè)顯示模型，并將預(yù)設(shè)顯示模型與第三運動模型進行骨骼綁定；

28、顯示單元顯示經(jīng)過骨骼綁定后的預(yù)設(shè)顯示模型。

29、第二方面，本技術(shù)提出了一種基于圖像處理的舞臺視頻數(shù)據(jù)處理系統(tǒng)，舞臺視頻處理系統(tǒng)包括圖像傳感單元、動作捕捉單元、顯示單元以及控制器，圖像傳感單元包括至少兩個不同角度設(shè)置的攝像頭，該系統(tǒng)被配置為：

30、控制器在第一視頻周期基于圖像傳感單元獲第一視頻圖像與第二視頻圖像，并將第一視頻圖像與第二視頻圖像輸入初始神經(jīng)網(wǎng)絡(luò)模型，初始神經(jīng)網(wǎng)絡(luò)模型用于根據(jù)輸入的不同角度拍攝的視頻圖像，輸出預(yù)測的運動模型；

31、控制器基于初始神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果獲取第一運動模型；

32、控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型；

33、控制器在第二視頻周期獲取第三視頻圖像與第四視頻圖像，第二視頻周期為第一視頻周期之后的連續(xù)周期，并將第三視頻圖像與第四視頻圖像輸入目標神經(jīng)網(wǎng)絡(luò)模型，根據(jù)目標神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，獲取第三運動模型；

34、控制器控制顯示單元在第二視頻周期基于第三運動模型進行顯示。

35、結(jié)合第二方面，可選地，該系統(tǒng)被配置為：

36、控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型之后，方法包括：

37、控制器將第一運動模型與第二運動模型進行擬合，根據(jù)擬合的結(jié)果獲取第四運動模型；

38、控制器控制顯示單元在第一視頻周期內(nèi)顯示第四運動模型。

39、結(jié)合第二方面，可選地，該系統(tǒng)被配置為：

40、控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型，包括：

41、控制器在在第一視頻周期基于動作捕捉單元以第一數(shù)據(jù)獲取頻率獲取第二運動模型；

42、該系統(tǒng)還被配置為：

43、將第一運動模型與第二運動模型相比對，并根據(jù)比對的結(jié)果獲取誤差值；

44、將誤差值與預(yù)設(shè)值相比對，若誤差值大于預(yù)設(shè)值，則控制器在第二視頻周期基于動作捕捉單元以第二數(shù)據(jù)獲取頻率獲取第五運動模型，并在下一連續(xù)周期中基于第五運動模型對神經(jīng)網(wǎng)絡(luò)模型所輸出的結(jié)果進行驗證及優(yōu)化，其中，第二數(shù)據(jù)獲取頻率大于第一數(shù)據(jù)獲取頻率。

45、結(jié)合第二方面，可選地，該系統(tǒng)被配置為：

46、將誤差值與預(yù)設(shè)值相比對，若誤差值小于預(yù)設(shè)值，則控制器在第二視頻周期基于動作捕捉單元以第三數(shù)據(jù)獲取頻率獲取第五運動模型，并在下一連續(xù)周期中基于第五運動模型對神經(jīng)網(wǎng)絡(luò)模型所輸出的結(jié)果進行驗證及優(yōu)化，其中，第三數(shù)據(jù)獲取頻率小于第一數(shù)據(jù)獲取頻率。

47、結(jié)合第二方面，可選地，該系統(tǒng)被配置為：

48、控制器在第一視頻周期基于圖像傳感單元獲第一視頻圖像與第二視頻圖像，并將第一視頻圖像與第二視頻圖像輸入初始神經(jīng)網(wǎng)絡(luò)模型，初始神經(jīng)網(wǎng)絡(luò)模型用于根據(jù)輸入的不同角度拍攝的視頻圖像，輸出預(yù)測的運動模型，包括：

49、控制器從第一視頻圖像與第二視頻圖像中分別提取第m幀圖像與第n幀圖像，第m幀圖像與第n幀圖像的對應(yīng)獲取時間相同；

50、控制器對第m幀圖像與第n幀圖像進行特征提取，其中，提取的方式采用卷積神經(jīng)網(wǎng)絡(luò)；

51、控制器對提取的特征進行數(shù)據(jù)融合，并將數(shù)據(jù)融合的結(jié)果輸入遞歸神經(jīng)網(wǎng)絡(luò)并進行迭代計算，根據(jù)迭代計算的結(jié)果獲取預(yù)測的運動模型。

52、結(jié)合第二方面，可選地，該系統(tǒng)被配置為：

53、控制器在第一視頻周期基于動作捕捉單元獲取第二運動模型，并基于第二運動模型對第一運動模型進行驗證并優(yōu)化初始運動模型的算法，并確認初始神經(jīng)網(wǎng)絡(luò)模型在進行優(yōu)化后的模型為目標神經(jīng)網(wǎng)絡(luò)模型，包括：

54、控制器將第二運動模型輸入初始神經(jīng)網(wǎng)絡(luò)模型并確定損失函數(shù)，其中，損失函數(shù)為三維運動向量的誤差；

55、控制器基于損失函數(shù)的輸出結(jié)果對初始神經(jīng)網(wǎng)絡(luò)進行優(yōu)化并獲取目標神經(jīng)網(wǎng)絡(luò)模型，其中，優(yōu)化的過程中剔除第二運動模型的優(yōu)先級低于剔除第一運動模型的優(yōu)先級。

56、結(jié)合第二方面，可選地，該系統(tǒng)被配置為：

57、控制器控制顯示單元在第二視頻周期基于第三運動模型進行顯示，包括：

58、顯示單元獲取第三運動模型與預(yù)設(shè)顯示模型，并將預(yù)設(shè)顯示模型與第三運動模型進行骨骼綁定；

59、顯示單元顯示經(jīng)過骨骼綁定后的預(yù)設(shè)顯示模型。

60、本發(fā)明實施例第三方面提出一種電子設(shè)備，電子設(shè)備包括：

61、至少一個處理器；以及，與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執(zhí)行的指令，指令被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行本發(fā)明實施例第一方面提出方法。

62、本發(fā)明實施例第四方面提出一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明實施例第一方面提出方法。

63、綜上，上述方法及裝置具有如下技術(shù)效果：

64、本技術(shù)實施例提出的一種基于圖像處理的舞臺視頻數(shù)據(jù)處理方法及系統(tǒng)，首先在第一視頻周期基于圖像傳感單元獲第一視頻圖像與第二視頻圖像，并根據(jù)第一視頻圖像與第二視頻圖像得到預(yù)測的第一運動模型，然后通過同步獲取的動作捕捉單元獲取第二運動模型，并利用第二運動模型對神經(jīng)網(wǎng)絡(luò)模型進行優(yōu)化，在下一周期中可以得到較為準確的目標神經(jīng)網(wǎng)絡(luò)模型，并在下一周期可以采用該模型對視頻畫面進行處理，可以在提高動作捕捉傳感器續(xù)航的同時，得到更為精確的運動模型。