本技術涉及人工智能，特別是涉及一種動作生成方法、裝置、機器人、計算機可讀存儲介質和計算機程序產(chǎn)品。

背景技術：

1、隨著人工智能技術的發(fā)展，使得機器人的應用越來越廣泛，尤其是仿真機器人，其能夠根據(jù)動作指令完成各種擬人化的動作。機器人動作指令是指：機器人從起點到完成任務的終點這條路線上的各關節(jié)的角度變化，其代表了機器人每個關節(jié)在時間序列上的位姿。

2、傳統(tǒng)技術中，機器人動作指令一般通過強化學習或模仿學習來實現(xiàn)。強化學習是一種根據(jù)獎勵不斷與環(huán)境自主交互并學習生成動作指令的方法。模仿學習是一種監(jiān)督學習方式，其核心思想是輸出與示教動作一致的動作指令。其中，模仿學習方法首先需要收集人類演示的示教數(shù)據(jù)，并訓練一個擴散模型，在推理階段輸入當前觀測圖像和機器人各關節(jié)位姿，以及采用去噪的方式輸出機器人的下一步動作。

3、然而，上述機器人動作生成方式，原始動作數(shù)據(jù)體積龐大，難以通過高效的方式編碼、存儲和重建，導致機器人動作生成效率低下。

技術實現(xiàn)思路

1、基于此，有必要針對上述技術問題，提供一種能夠對動作數(shù)據(jù)進行量化編碼，減少了原始動作數(shù)據(jù)的體積，提升機器人動作生成效率的動作生成方法、裝置、機器人、計算機可讀存儲介質和計算機程序產(chǎn)品。

2、第一方面，本技術提供了一種動作生成方法，包括：

3、獲取機器人的關節(jié)角度數(shù)據(jù)；

4、將所述機器人的關節(jié)角度數(shù)據(jù)輸入到向量量化變分自編碼器中進行處理，得到動作序列和動作描述；

5、將所述動作序列和所述動作描述進行對齊處理，以使得每個動作序列對應一個動作描述；

6、根據(jù)對齊后的動作序列和動作描述，由所述向量量化變分自編碼器重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)生成動作指令；

7、將所述動作指令輸入到訓練好的動作模型中，由所述訓練好的動作模型輸出模型文件，所述模型文件用于指示機器人完成各種動作。

8、在其中一個實施例中，所述獲取機器人的關節(jié)角度數(shù)據(jù)，包括：

9、通過動作捕捉系統(tǒng)采集機器人的關節(jié)運動數(shù)據(jù)；

10、通過預先構建的運動語義分割模型對所述關節(jié)運動數(shù)據(jù)進行拆分，得到多個運動數(shù)據(jù)片段；

11、將所述運動數(shù)據(jù)片段進行重定向處理，并將重定向處理后的運動數(shù)據(jù)片段映射到機器人的關節(jié)角度，得到機器人的關節(jié)角度數(shù)據(jù)。

12、在其中一個實施例中，所述獲取機器人的關節(jié)角度數(shù)據(jù)，包括：

13、對傳感器采集的機器人運動視頻進行骨骼熱點提取，并將提取到的骨骼熱點重定向到機器人的關節(jié)角度，得到機器人的關節(jié)角度數(shù)據(jù)；或者

14、通過虛擬現(xiàn)實遙控操作直接獲取到機器人的關節(jié)角度數(shù)據(jù)。

15、在其中一個實施例中，所述將所述動作序列和所述動作描述進行對齊處理，以使得每個動作序列對應一個動作描述，包括：

16、分別獲取所述動作序列對應的時間戳和所述動作描述對應的時間戳；

17、按照時間戳指示的時間順序對所述動作序列和所述動作描述進行排序；

18、將相同時間戳對應的動作序列和動作描述進行對齊，以使得每個動作序列對應一個動作描述。

19、在其中一個實施例中，所述根據(jù)對齊后的動作序列和動作描述，由所述向量量化變分自編碼器重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)生成動作指令，包括：

20、由所述向量量化變分自編碼器根據(jù)所述動作描述構建運動詞匯表，其中，運動詞匯表中的每個詞匯對應一個運動特征向量；

21、由所述向量量化變分自編碼器對所述動作序列進行編碼，生成連續(xù)的潛在表示，并將所述連續(xù)的潛在表示映射到所述運動詞匯表中的運動特征向量，得到所述動作序列對應的運動標記；

22、由所述向量量化變分自編碼器對所述運動標記進行解碼，重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)，生成一系列動作指令。

23、在其中一個實施例中，在將所述動作指令輸入到訓練好的動作模型中，由所述訓練好的動作模型輸出模型文件之前，所述方法還包括：

24、構建初始動作模型；

25、基于所述向量量化變分自編碼器生成的動作指令構建訓練數(shù)據(jù)集；其中，所述動作指令對應的運動標記由所述向量量化變分自編碼器在生成動作指令的過程中確定；

26、通過所述訓練數(shù)據(jù)集訓練所述初始動作模型，并通過視頻語言基礎模型對所述初始動作模型生成的動作進行評估，得到評估結果；

27、根據(jù)所述評估結果對所述初始動作模型進行不斷優(yōu)化，得到訓練好的動作模型。

28、在其中一個實施例中，在由所述訓練好的動作模型輸出模型文件之前，所述方法還包括：

29、在所述訓練好的動作模型中，展示根據(jù)所述動作指令生成的動作；

30、通過人工審核，和/或自動審核方式，判斷根據(jù)所述動作指令生成的動作是否正確；

31、若不正確，則對所述訓練好的動作模型的模型參數(shù)進行調整，直到根據(jù)所述動作指令生成的動作正確。

32、第二方面，本技術還提供了一種動作生成裝置，包括：

33、獲取模塊，用于獲取機器人的關節(jié)角度數(shù)據(jù)；

34、處理模塊，用于將所述機器人的關節(jié)角度數(shù)據(jù)輸入到向量量化變分自編碼器中進行處理，得到動作序列和動作描述；

35、對齊模塊，用于將所述動作序列和所述動作描述進行對齊處理，以使得每個動作序列對應一個動作描述；

36、動作指令生成模塊，用于根據(jù)對齊后的動作序列和動作描述，由所述向量量化變分自編碼器重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)生成動作指令；

37、模型文件生成模塊，用于將所述動作指令輸入到訓練好的動作模型中，由所述訓練好的動作模型輸出模型文件，所述模型文件用于指示機器人完成各種動作。

38、第三方面，本技術還提供了一種機器人，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)以下步驟：

39、獲取機器人的關節(jié)角度數(shù)據(jù)；

40、將所述機器人的關節(jié)角度數(shù)據(jù)輸入到向量量化變分自編碼器中進行處理，得到動作序列和動作描述；

41、將所述動作序列和所述動作描述進行對齊處理，以使得每個動作序列對應一個動作描述；

42、根據(jù)對齊后的動作序列和動作描述，由所述向量量化變分自編碼器重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)生成動作指令；

43、將所述動作指令輸入到訓練好的動作模型中，由所述訓練好的動作模型輸出模型文件，所述模型文件用于指示機器人完成各種動作。

44、第四方面，本技術還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟：

45、獲取機器人的關節(jié)角度數(shù)據(jù)；

46、將所述機器人的關節(jié)角度數(shù)據(jù)輸入到向量量化變分自編碼器中進行處理，得到動作序列和動作描述；

47、將所述動作序列和所述動作描述進行對齊處理，以使得每個動作序列對應一個動作描述；

48、根據(jù)對齊后的動作序列和動作描述，由所述向量量化變分自編碼器重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)生成動作指令；

49、將所述動作指令輸入到訓練好的動作模型中，由所述訓練好的動作模型輸出模型文件，所述模型文件用于指示機器人完成各種動作。

50、第五方面，本技術還提供了一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟：

51、獲取機器人的關節(jié)角度數(shù)據(jù)；

52、將所述機器人的關節(jié)角度數(shù)據(jù)輸入到向量量化變分自編碼器中進行處理，得到動作序列和動作描述；

53、將所述動作序列和所述動作描述進行對齊處理，以使得每個動作序列對應一個動作描述；

54、根據(jù)對齊后的動作序列和動作描述，由所述向量量化變分自編碼器重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)生成動作指令；

55、將所述動作指令輸入到訓練好的動作模型中，由所述訓練好的動作模型輸出模型文件，所述模型文件用于指示機器人完成各種動作。

56、上述動作生成方法、裝置、機器人、計算機可讀存儲介質和計算機程序產(chǎn)品，通過獲取機器人的關節(jié)角度數(shù)據(jù)；將所述機器人的關節(jié)角度數(shù)據(jù)輸入到向量量化變分自編碼器中進行處理，得到動作序列和動作描述；從而可以通過向量量化變分自編碼器對關節(jié)角度數(shù)據(jù)進行量化編碼，減少了原始動作數(shù)據(jù)的體積，優(yōu)化了存儲與傳輸效率。將所述動作序列和所述動作描述進行對齊處理，以使得每個動作序列對應一個動作描述；從而可以將動作序列與動作描述進行一一對應，便于在實際解碼過程中，將原始運動數(shù)據(jù)進行拆解，得到一系列動作指令。根據(jù)對齊后的動作序列和動作描述，由所述向量量化變分自編碼器重構出原始的運動數(shù)據(jù)，并基于所述原始的運動數(shù)據(jù)生成動作指令；從而可以通過向量量化變分自編碼器將各種途徑采集的運動數(shù)據(jù)快速轉換為機器人能夠執(zhí)行的最小指令，提升了機器人動作指令生成的效率。將所述動作指令輸入到訓練好的動作模型中，由所述訓練好的動作模型輸出模型文件，所述模型文件用于指示機器人完成各種動作。從而能夠對動作數(shù)據(jù)進行量化編碼，減少了原始動作數(shù)據(jù)的體積，提升機器人動作生成效率，適用于各種場景下的機器人動作控制，便于機器人完成較為復雜的動作。